일레븐랩스, 감정 살리는 더빙 기술 외부 연동

AI 오디오 기업 일레븐랩스가 원본 화자의 목소리와 감정, 연기 표현을 재현하는 AI 더빙 모델 ‘더빙 v2’를 기업과 개발자에게 개방했다. 일레븐랩스는 10일부터 이 모델을 ‘일레븐API’로 제공해 외부 제품과 업무 흐름에 더빙 기능을 직접 연결할 수 있도록 지원한다.

더빙 v2는 음성을 문자로 바꾼 뒤 번역과 음성 합성을 거치는 기존 처리 방식과 달리, 입력된 음성을 다른 언어의 음성으로 곧바로 변환하는 ‘오디오-투-오디오’ 기술을 적용했다. 원본 화자의 고유한 목소리는 물론 감정, 말투, 연기에서 드러나는 미세한 뉘앙스까지 자연스럽게 옮기는 데 초점을 맞췄다.

이 모델은 지난 5월 사용자 인터페이스 형태로 먼저 공개됐으며, 이번 API 출시를 계기로 기업과 개발자가 별도의 서비스 화면에 머물지 않고 자체 시스템에서 기능을 활용할 수 있게 됐다. 번역된 발화의 길이와 시점을 원본 영상에 맞게 조정하며, 한국어와 일본어를 비롯한 모두 92개 언어를 지원한다.

활용 대상으로는 게임 캐릭터와 영상 콘텐츠의 현지화, 여러 언어로 제작하는 마케팅 영상, 영화와 드라마의 글로벌 유통 등이 제시됐다. 특히 한국 콘텐츠를 해외 시청자용 다국어 음성으로 제작하거나 해외 콘텐츠를 한국어로 더빙하는 작업에 연결할 수 있어, 콘텐츠 제작·유통 과정에서 적용 범위가 넓어질 것으로 예상된다.