이스트소프트가 영상 속 화자의 음성을 복제하고 입모양까지 생성해 다국어 발화 영상으로 변환해 주는 새로운 오토 더빙 서비스를 앞세워 글로벌 콘텐츠 시장 공략에 나선다.

이스트소프트는 최근 'AI 비디오 트랜슬레이터(AI Video Translator)'를 출시했다고 13일 밝혔다.

AI 비디오 트랜슬레이터는 언어의 장벽을 뛰어넘는 혁신적인 AI 커뮤니케이션 서비스로 이스트소프트의 AI 휴먼 구독 서비스 페르소닷에이아이(PERSO.ai)의 확장 기능이다. 페르소(PERSO.ai)에 회원 가입만 하면 누구나 무료로 1분 분량의 더빙 영상을 제작해 볼 수 있다.

AI 비디오 트랜슬레이터의 혁신성은 화자의 음성과 미세한 어감은 물론 감정선까지 살리고, 이에 더해 배경 소음과의 조화까지 완벽하게 이루어 원본 영상에서 제공하는 메시지와 감동을 언어장벽 없이 그대로 경험할 수 있도록 돕는 데 있다.

이러한 기술적 혁신으로 시청자는 자막, 음성 더빙 없이 온전히 원본 영상에 집중할 수 있는 시청 환경을, 글로벌 콘텐츠 제작자는 혁신적인 영상 제작 환경을 AI 비디오 트랜슬레이터로 구축할 수 있게 된다.

AI 비디오 트랜슬레이터는 '페르소.ai'의 AI 휴먼 영상 생성 기능 'AI 스튜디오'에서 선보였던 고품질의 음성 및 영상 생성 기술에 높은 변역 정확도까지 확보해 글로벌 경쟁사 대비 우수한 품질로 영상을 번역한다. 지원되는 언어는 한국어를 포함해 영어, 스페인어, 프랑스어, 포르투갈어, 중국어, 일본어 등 29가지에 달한다.

사용성 역시 좋다. 우선 영상을 번역하는 데 걸리는 시간을 혁신적으로 줄였다. 일반적인 영상 더빙 작업에 최소 하루 이상의 시간과 수 백만원의 비용이 들지만, AI 비디오 트렌슬레이터는 불과 수분 만에 1만원 내외로 입모양까지 더빙에 맞춰 립싱크 영상을 생성해 업무 생산성을 획기적으로 높여준다.

아울러 유튜브, 틱톡 등에서 생성한 영상 링크 입력만으로도 스크립트 생성과 번역을 지원하는 등 영상 플랫폼과의 연동을 강화하고, 쾌적한 영상 공유 환경을 제공해 활용성을 극대화했다.

이스트소프트는 AI 비디오 트랜슬레이터가 글로벌 콘텐츠 제작자의 언어 장벽을 효과적으로 해소함과 동시에 다양한 시장을 열어줄 것으로 기대하고 있다.

실제 테크 유튜버와 진행한 베타 테스트 진행 결과 해외 시청자를 위한 영상 제작에 필요했던 시간이 AI 비디오 트랜슬레이터 활용 시 최대 70%까지 단축한 효과를 나타내기도 했다. 오토 더빙 서비스인 AI 비디오 트랜슬레이터 이용으로 번역과 추가 편집 과정이 없어지며 시간이 대폭 줄어든 것이다.

베타 테스트는 지난 7월부터 약 3개월간 유튜버와 기업 관계자 등 100여 명을 대상으로 진행했다. 이 과정에서 영상 번역이 필요한 다양한 수요처도 확보했다. 현재 이를 기반으로 여러 가지 프로젝트를 진행하고 있으며 향후 글로벌 더빙 시장 내 비즈니스 모델로 고도화할 계획이다.

앞으로 이스트소프트는 AI 비디오 트랜슬레이터 탑재로 페르소닷에이아이의 글로벌 경쟁력을 강화한 만큼 글로벌 시장에서 헤이젠, 신세시아 등 주요 기업들과 본격적인 경쟁을 펼칠 예정이다. 동시에 산업 내 역할을 지속해서 강화해 가며 핵심 플레이어로 자리매김해 나간다는 계획이다.

정상원 이스트소프트 대표는 "음색과 감정을 보존해 다국어로 변환하는 AI 비디오 트랜슬레이터가 글로벌 콘텐츠 제작 환경에 혁신을 가져올 것"이라며 "앞으로 언어 제약 없는 정보 공유, 크리에이터와 기업의 해외 진출을 AI 비디오 트랜슬레이터로 적극 지원하며 글로벌 소통을 위한 플랫폼으로 역할을 확장해 나갈 것"이라고 말했다.