개인 기기에서 대규모 언어모델(LLM) 기반의 롤플레잉을 즐길 수 있는 새로운 클라이언트 '오타쿠(Otaku.sh)'가 공개되어 주목받고 있습니다. 이 애플리케이션은 웹 UI와 터미널 인터페이스를 동시에 제공하며, 별도의 인프라 구축 없이 사용자 컴퓨터에 직접 설치해 로컬 모델이나 클라우드 API와 연동하여 사용할 수 있습니다. 단 한 줄의 명령어로 설치가 가능해 접근성이 매우 높습니다.
오타쿠는 몰입감 있는 롤플레잉 경험을 위해 여러 핵심 기능을 탑재했습니다. 대화의 처음 20개와 마지막 150개 메시지를 항상 LLM에 전달하여 일관된 문체를 유지하도록 돕고, 메시지 수가 늘어나면 중간 메시지를 요약하여 맥락(context)을 효율적으로 제어합니다. 또한, 스토리에 등장하는 캐릭터를 자동으로 인식하고 각 캐릭터의 경험을 기록하는 '일지(journal)' 기능을 제공합니다. 사용자는 고정된 페르소나 없이 자유롭게 역할을 전환할 수 있으며, '/me', '/you' 같은 명령어로 LLM에 누가 어떤 역할을 하는지 힌트를 줄 수 있습니다. '/ooc'(out of character)나 '/cue' 같은 보조 명령어를 통해 LLM의 행동을 제어하는 것도 가능합니다. 기존 실리태번(SillyTavern) 채팅이나 텍스트 파일 가져오기 기능도 지원해 콘텐츠 호환성을 높였습니다.
특히 개인 정보 보호와 보안에 중점을 둔 점이 인상적입니다. 모든 스토리는 로컬 SQLite 데이터베이스에 저장되며, 매일 스냅샷이 생성되어 관리됩니다. 기본적으로 비활성화되어 있지만, AES-256-GCM 암호화를 클라이언트 측에서 설정할 수 있어 민감한 정보 보호에 유리합니다. 암호화 키는 운영체제 키체인, 비밀번호 관리자, 하드웨어 토큰 등 다양한 방식으로 관리할 수 있습니다. 이러한 특징들은 사용자들이 자신의 데이터에 대한 통제권을 가지면서도 안전하게 AI 롤플레잉을 즐길 수 있도록 돕습니다. 오타쿠는 MIT 라이선스로 배포되는 오픈소스 프로젝트입니다.
이러한 개인화된 AI 롤플레잉 클라이언트의 등장은 LLM 활용의 새로운 가능성을 제시합니다. 클라우드 기반 서비스에 의존하지 않고 개인 기기에서 직접 구동함으로써, 사용자들은 데이터 프라이버시를 확보하고 자신만의 맞춤형 AI 경험을 구축할 수 있습니다. 이는 AI 기술이 특정 기업의 통제 아래 있기보다는, 개인의 창의성과 요구에 따라 자유롭게 활용될 수 있음을 보여주는 중요한 사례입니다. 향후 이러한 온디바이스(on-device) AI 솔루션은 더욱 다양해질 것으로 예상됩니다.