최근 한 개발자가 ElectricSQL의 '내구성 있는 스트림(Durable Streams)' 기술과 Tanstack DB를 활용하여 새로운 AI 챗 애플리케이션을 선보였습니다. 이 앱은 대규모 언어모델(LLM)이 생성하는 토큰을 실시간으로 저장하고 사용자에게 전송하는 방식을 혁신하여, 챗봇과의 대화 경험을 한층 부드럽게 만듭니다. 기존 방식의 지연 문제를 해결하고 데이터의 영속성을 동시에 확보한 것이 특징입니다.
이 AI 챗 앱의 핵심은 Durable Streams를 스토리지 형식과 전송 매체로 동시에 사용한다는 점입니다. LLM 제공자로부터 토큰이 스트리밍될 때마다 즉시 내구성 있게 저장되며, 동시에 프론트엔드로 스트리밍되어 사용자에게 끊김 없는 경험을 제공합니다. 프론트엔드에서는 Tanstack DB의 차등 데이터플로우(differential dataflow) 구현을 활용하여 Postgres의 메타데이터와 채팅 스트림을 효율적으로 연결하고 관리합니다. 이는 채팅 기록뿐만 아니라 관련 사용자 정보나 설정 같은 메타데이터도 함께 처리할 수 있게 합니다.
이러한 접근 방식은 AI 챗봇의 사용자 경험을 크게 향상시킬 수 있습니다. 토큰이 생성되는 즉시 저장되고 전송되므로, 사용자는 LLM의 응답을 기다리는 시간 없이 실시간으로 대화를 이어갈 수 있습니다. 또한, 데이터가 내구성 있게 저장되므로 시스템 장애 시에도 대화 기록이 유실될 염려가 적습니다. 이는 특히 실시간성이 중요한 고객 서비스 챗봇이나 협업 도구 등 다양한 AI 기반 애플리케이션에 적용될 수 있는 잠재력을 가지고 있습니다.