바이트댄스(ByteDance)의 AI 연구팀 시드(Seed)가 보고 듣고 말하는 능력을 하나의 모델에 통합한 새로운 대규모 언어모델(LLM) '시드 리얼타임(SeedRealtime)'을 발표했습니다. 이 모델은 오디오-비주얼 전이중(full-duplex) 상호작용을 지원하여, 사용자가 시각 및 청각 정보를 동시에 처리하며 실시간으로 대화할 수 있도록 설계되었습니다. 이는 기존의 멀티모달(multimodal) LLM들이 시각, 청각, 텍스트 처리 기능을 개별적으로 학습시킨 후 통합하는 방식과 달리, 처음부터 모든 감각 양식을 동시에 학습하여 더욱 자연스럽고 일관된 상호작용을 제공하는 것을 목표로 합니다.
시드 리얼타임은 주변 환경을 실시간으로 인지하고 이에 반응하는 능력을 갖추고 있습니다. 예를 들어, 모델은 사용자가 보여주는 이미지를 보고, 사용자의 질문을 듣고, 그에 대한 답변을 음성으로 즉시 생성할 수 있습니다. 이러한 기능은 기존의 LLM들이 텍스트 기반 대화에 집중하거나, 멀티모달 기능을 추가하더라도 실시간 상호작용에 한계가 있었던 점을 극복합니다. 바이트댄스는 이 모델이 인간과 유사한 수준의 인지 및 대화 능력을 구현하여, 보다 몰입감 있고 직관적인 사용자 경험을 제공할 것이라고 강조했습니다.
시드 리얼타임의 등장은 대규모 언어모델이 단순히 텍스트를 넘어 현실 세계와 더욱 밀접하게 상호작용하는 방향으로 진화하고 있음을 보여줍니다. 이는 가상 비서, 교육용 도구, 접근성 기술 등 다양한 분야에서 혁신적인 애플리케이션 개발을 가능하게 할 잠재력을 가지고 있습니다. 특히, 실시간으로 시각 및 청각 정보를 통합 처리하는 능력은 로봇 공학, 자율 주행, 스마트 홈 기기 등 물리적 환경과의 상호작용이 중요한 분야에서 새로운 가능성을 열어줄 것으로 기대됩니다. 이러한 통합 모델은 개발 복잡성을 줄이고 효율성을 높여, 미래 AI 시스템의 핵심 기반 기술이 될 수 있습니다.