최근 TokenPath가 대규모 언어모델(LLM)의 답변에 대한 출처를 토큰(token) 단위로 정확하게 명시하는 새로운 API를 선보였습니다. 이 기술은 LLM이 생성한 문장 내 특정 단어나 구절이 원본 문서의 어느 부분에서 파생되었는지 정밀하게 지목하여, LLM의 신뢰성을 획기적으로 높일 수 있는 잠재력을 가집니다. 이는 LLM의 고질적인 문제 중 하나인 환각(hallucination)을 방지하고, 사용자가 답변의 근거를 명확히 확인할 수 있게 돕는 중요한 진전입니다.
TokenPath의 핵심은 모델의 어텐션(attention) 메커니즘을 분석하여 출처를 추적하는 방식에 있습니다. 기존의 출처 명시 방식은 LLM 자체에 각주를 달도록 요청하거나(model.cite()), 관련 문서를 검색 후 재순위화(retrieve + rerank)하는 방식이었습니다. 하지만 이 방법들은 출처의 정확도가 떨어지거나, 동일한 정보가 여러 곳에 있을 때 어느 것을 참조했는지 구분하기 어렵다는 한계가 있었습니다. 반면 TokenPath는 모델이 답변을 생성할 때 실제 어떤 원본 토큰에 '집중'했는지를 추적하여, 문자 단위로 정확한 출처를 제공합니다. 예를 들어, '3월 2일, 2026'이라는 답변이 원본 문서의 여러 곳에 등장하더라도, LLM이 실제로 참조한 특정 '3월 2일, 2026'을 정확히 짚어낼 수 있습니다. 이 과정은 단 한 번의 포워드 패스(forward pass)로 이루어져 20,000 토큰 문서도 2초 이내에 처리하며, 앤트로픽(Anthropic)의 인용 API와 유사한 성능을 보이면서도 비용은 약 7배 저렴하고 속도는 5~6배 빠르다는 것이 TokenPath 측의 설명입니다.
이러한 토큰 단위 출처 명시 기술은 LLM 기반 애플리케이션의 신뢰도를 크게 향상시킬 수 있습니다. 특히 금융, 법률, 의료 등 정확성이 필수적인 분야에서 AI 에이전트의 답변에 대한 강력한 근거를 제공함으로써 오용 위험을 줄일 수 있습니다. 또한, 개발자들은 어떤 LLM 모델을 사용하든 관계없이 TokenPath API를 통해 자사 서비스에 정밀한 출처 기능을 쉽게 통합할 수 있어, 사용자 경험 개선과 함께 LLM 활용의 폭을 넓힐 수 있을 것입니다. 이는 LLM이 단순한 정보 생성 도구를 넘어, 검증 가능하고 신뢰할 수 있는 지식 시스템으로 발전하는 데 중요한 이정표가 될 것입니다.