최근 공개된 '피노키오(Pinocchio)'는 인공지능(AI) 모델, 특히 대규모 언어모델(LLM)의 고질적인 문제인 환각(hallucination) 현상을 해결하기 위한 연구 프로젝트입니다. 이 도구는 AI가 생성하는 결과물에 출처(provenance)와 검증(verification) 기능을 내장하여, 사용자가 AI의 답변이 어디에서 왔고 어떤 과정을 거쳐 도출되었는지 정확히 확인할 수 있도록 돕습니다. 이는 AI의 신뢰성을 높여 실제 비즈니스 환경에서의 활용도를 크게 확장할 잠재력을 가지고 있습니다.
피노키오의 핵심 기능은 AI가 특정 작업을 수행할 때 사용한 원본 자료(source material)와 그 자료에 적용된 모든 계산 및 추론 과정을 상세하게 기록하는 것입니다. 예를 들어, 스프레드시트, PDF, 문서 등 다양한 소스 자료를 기반으로 견적서 재작성 같은 작업을 지시하면, 피노키오는 최종 결과물에 포함된 모든 숫자나 정보가 어떤 원본 문서의 어느 부분에서 왔고, 어떤 연산을 통해 계산되었는지 명확히 보여줍니다. 특히 숫자 계산의 경우, 모델이 값을 재구성하는 대신 원본에서 직접 가져와 사용하며, 이 모든 과정을 기록하여 결정론적 검증기(deterministic verifier)가 동일한 과정을 재현하고 확인할 수 있게 합니다. 이를 통해 AI가 임의로 정보를 지어내거나 잘못된 계산을 하는 환각 현상을 원천적으로 방지합니다.
피노키오와 같은 검증 가능한 AI 출력 도구의 등장은 AI의 신뢰성 문제로 인해 도입을 망설였던 기업들에게 중요한 전환점이 될 수 있습니다. 특히 금융, 법률, 회계, 공급망 관리 등 정확성과 투명성이 필수적인 분야에서 AI의 활용을 가속화할 것입니다. 사용자는 AI가 제시한 정보의 출처를 클릭 한 번으로 확인할 수 있게 되어, AI의 답변을 맹목적으로 신뢰하는 대신 비판적으로 검토하고 필요한 경우 직접 검증할 수 있게 됩니다. 이는 AI가 단순한 보조 도구를 넘어, 중요한 의사결정 과정에 깊이 관여할 수 있는 신뢰할 수 있는 파트너로 발전하는 데 기여할 것입니다.