(서울=NSP통신) 이복현 기자 = 크래프톤(259960)이 음성 AI 파운데이션 모델 ‘A.X K2 Raon-Speech’를 글로벌 AI 플랫폼 허깅페이스에 공개했다.

A.X K2 Raon-Speech는 과학기술정보통신부가 주관하는 ‘독자 AI 파운데이션 모델’ 프로젝트의 2차수 성과 중 하나다.

크래프톤은 해당 프로젝트에서 SK텔레콤 정예팀에 참여해 차세대 멀티모달 모델 연구를 진행하고 있다.

이번 모델은 21B 파라미터 규모의 음성 언어 모델이다.

크래프톤에 따르면 A.X K2 Raon-Speech는 30B 이하급 공개 음성 언어 모델 중 한국어 종합 성능 1위, 영어 종합 성능 3위를 기록했다.

평가는 음성 인식, 음성 합성, 음성 이해, 음성 질의응답, 텍스트 질의응답, 도구 호출 등 6개 영역에서 진행됐다. 벤치마크는 한국어 24개, 영어 22개 등 총 46개가 활용됐다.

A.X K2 Raon-Speech는 SK텔레콤의 A.X K2 기반 소형 언어 모델에 크래프톤이 자체 학습한 음성 인코더와 코덱을 적용한 모델이다.

음성 인코더는 사람의 목소리를 AI가 이해할 수 있는 정보로 변환하고, 음성 코덱은 AI가 생성한 정보를 자연스러운 음성으로 복원하는 역할을 한다.

크래프톤은 언어 모델의 텍스트 역량을 유지하면서 음성 입력과 출력을 안정적으로 연결하는 학습 방식을 개발해 적용했다.

기존 AI 음성 대화 시스템은 음성을 텍스트로 바꾼 뒤 답변을 다시 음성으로 합성하는 구조가 일반적이다. 이 과정에서 감정과 억양 등 음성에 담긴 정보가 손실될 수 있다.

A.X K2 Raon-Speech는 이용자 목소리에 담긴 감정과 억양 정보를 반영해 보다 자연스러운 음성 답변을 생성하는 데 초점을 맞췄다.

크래프톤은 이번 연구 성과를 이용자와 함께 플레이하는 AI 캐릭터인 CPC 고도화에 활용할 계획이다.

이를 통해 게임 상황에 맞춰 이용자의 목소리와 의도를 이해하고 음성으로 반응하는 상호작용 경험을 구현한다는 방침이다.