일레븐랩스, 92개 언어 더빙 API 개방

인공지능 음성 기술 스타트업 일레븐랩스가 최신 더빙 모델 ‘더빙 v2’를 응용프로그램인터페이스(API) 형태로 10일 공개했다. 개발자와 기업은 이 모델을 자체 제품이나 워크플로우에 직접 연결해 다국어 더빙 기능을 통합할 수 있다. 핵심 기능은 원본 음성에 담긴 감정 표현을 새로운 언어의 음성에도 충실하게 재현하는 것이다.

더빙 v2는 입력 음성을 다른 음성으로 곧바로 바꾸는 오디오-투-오디오 구조를 채택했다. 음성을 문자로 인식한 뒤 번역하고, 복제한 목소리로 다시 합성하던 기존의 단계별 방식과 구별된다. 입력된 음성을 토대로 출력 음성을 직접 생성하기 때문에 말투와 감정 등 원본의 표현 요소를 더욱 온전하게 반영할 수 있다는 것이 일레븐랩스의 설명이다.

이 모델은 지난 5월 이용자 인터페이스(UI) 버전으로 먼저 출시됐으며, 이번에 API 제공 범위가 추가됐다. 지원 언어는 한국어와 일본어를 포함해 모두 92개다. 화면에서 기능을 이용하는 데 그치지 않고 기업과 개발자가 기존 서비스 및 업무 과정에 기술을 연동할 수 있게 되면서, 더빙 v2의 적용 방식도 제품별 목적에 맞춰 넓어질 수 있게 됐다.

일레븐랩스는 게임 캐릭터 현지화와 다국어 마케팅 영상 제작, 영화·드라마의 해외 유통을 주요 활용 분야로 제시했다. 특히 K-콘텐츠가 해외 시장에 진출할 때 여러 언어로 완성도 높은 더빙을 제작하는 용도와 해외 콘텐츠를 한국어로 옮기는 용도에 모두 활용될 것으로 기대하고 있다. 콘텐츠의 이동 방향과 관계없이 원본 감정을 유지하는 다국어 음성 제작이 가능하다는 점에 초점을 맞췄다.