사카나 AI(Sakana AI)가 대규모 언어모델(LLM)이 생성하는 정보의 신뢰성을 획기적으로 높일 수 있는 새로운 동료 평가(peer review) 시스템을 선보였습니다. 이 시스템은 여러 LLM이 서로의 응답을 검토하고 평가하도록 설계되어, LLM의 핵심 주장(core-claim)에서 발생하는 오류의 73%를 성공적으로 포착했습니다. 이는 단일 LLM이 자체적으로 오류를 감지하는 기존 방식보다 훨씬 높은 정확도를 보여주며, LLM의 고질적인 문제인 환각(hallucination) 현상을 줄이는 데 중요한 돌파구가 될 것으로 기대됩니다.
사카나 AI의 이 시스템은 여러 개의 LLM을 활용하여 특정 질문에 대한 답변을 생성하게 한 뒤, 다른 LLM들이 이 답변들을 상호 검증하는 방식으로 작동합니다. 예를 들어, 한 LLM이 특정 주장을 내놓으면 다른 LLM들이 해당 주장의 사실 여부, 논리적 일관성, 근거의 타당성 등을 평가하고 피드백을 제공하는 식입니다. 이러한 다중 검증 과정을 통해 잘못된 정보나 논리적 비약이 포함된 답변을 효과적으로 식별하고 수정할 수 있게 됩니다. 연구 결과에 따르면, 이 동료 평가 시스템은 기존의 단일 LLM 기반 검증 방식보다 훨씬 더 많은 오류를 찾아냈으며, 특히 중요한 핵심 정보의 오류를 잡아내는 데 탁월한 성능을 보였습니다.
이번 사카나 AI의 성과는 LLM 기술의 상업적 활용과 대중적 신뢰를 높이는 데 결정적인 역할을 할 수 있습니다. 현재 LLM은 뛰어난 정보 생성 능력을 가지고 있지만, 때때로 사실과 다른 정보를 마치 사실인 것처럼 제시하는 환각 현상으로 인해 중요한 의사결정이나 전문 분야에서의 활용에 제약이 있었습니다. 동료 평가 시스템은 이러한 신뢰성 문제를 해결하여 LLM이 뉴스 요약, 보고서 작성, 법률 문서 검토 등 정확성이 필수적인 분야에서 더욱 폭넓게 활용될 수 있는 기반을 마련했습니다. 이는 LLM 기반 서비스의 품질을 향상시키고 사용자 만족도를 높이는 데 크게 기여할 것입니다.