더우바오, 실시간 멀티모달 AI 비서로 진화

바이트댄스(ByteDance)의 AI 비서인 더우바오(Doubao)가 음성 인식과 화면 이해를 동시에 처리하는 실시간 멀티모달 기능을 도입하게 되었다. 이 새로운 기능은 사용자가 질문하기 전에 화면의 변화나 작업 오류를 미리 감지하여 적극적으로 알리는 능동형 상호작용을 중시하고 있다.

바이트댄스의 AI 연구 조직인 시드(Seed)는 5일, 실시간 화면 이해 기능인 시드리얼타임(SeedRealtime)을 공개하며 더우바오 앱에 적용했다. 블록비츠(BlockBeats)는 이 새로운 기능이 음성과 화면을 동시에 처리하여 사용자가 보고 있는 장면을 이해하고 그에 따른 응답을 제공한다고 설명했다.

시드리얼타임 기능을 활용하면 사용자는 카메라 앞에 놓인 물체를 찾거나 작업 절차를 점검하고, 화면에 있는 문자를 읽어낼 수 있다. 만약 목표물이 나타나거나 화면이 바뀌고 사용자가 잘못된 단계를 수행하는 경우, 더우바오는 질문을 기다리지 않고 즉시 알림을 제공하게 된다.

이번 업데이트는 지난 4월에 공개된 전세대 음성 모델인 시드유플렉스(Seeduplex)의 기능을 시각적 영역으로 확장한 것이다. 바이트댄스는 4월 9일 공식 블로그를 통해 시드유플렉스를 듣기와 말하기를 동시에 처리하는 전이중 음성 대규모 모델로 소개한 바 있다.

시드유플렉스는 공개 당시 더우바오 앱에 바로 적용되었으며, 복잡한 음향 환경에서의 오답 응답률과 오인 중단률을 각각 절반으로 줄였다고 회사 측은 밝혔다. 또한, 복잡한 상황에서 AI가 사용자의 말을 끊는 비율도 40%나 낮췄다는 점도 주목할 만하다.

전이중 방식은 상대의 말이 끝나기를 기다리는 반이중 방식과는 달리, 듣기와 말하기를 동시에 처리할 수 있는 상호작용 방식을 제공한다. 시드리얼타임은 여기에 실시간 화면 이해 기능을 결합하여, 사용자가 책상에 있는 물체나 작업 화면, 표지판, 조립 과정 등의 맥락을 실시간으로 해석할 수 있도록 설계되었다.

중국 플랫폼에 국한되지 않고, 애플도 시리 AI의 개편 과정에서 화면 인식과 개인 정보를 이해하는 기능을 제시하고 있다. 이는 AI 비서의 경쟁 분야가 음성 응답에서 실시간 시각 이해 및 작업 지원으로 확장되고 있다는 점을 보여준다.

하지만 실시간 시각 입력 기능이 추가되면서 개인정보 처리 방식도 더욱 중요한 사안으로 떠오르고 있다. 더우바오의 개인정보 처리 방침에 따르면 사용자는 영상 통화나 화면 공유를 직접 활성화한 경우에만 카메라 또는 공유 화면의 내용을 처리할 수 있으며, 마이크와 앨범, 카메라와 같은 민감한 권한은 명시적 승인을 거쳐 사용해야 한다고 명시하고 있다.

이번 기능과 암호화폐·블록체인 시장 간의 직접적인 연관성은 확인되지 않았다. 바이트댄스는 AI 비서의 음성 및 화면 상호작용 기능에 중점을 두고 정보를 공개하고 있으며, 앞으로 이것들이 어떤 방식으로 진화할지 기대된다.