Anthropic(앤트로픽)이 대규모 언어모델(LLM)의 응답이 특정 모델에서 나왔는지 검증할 수 있는 새로운 오픈소스 연구 프로토타입 'FlashProve'를 공개했습니다. 이 기술은 모델 제공자가 가중치를 공개하지 않으면서도 사용자가 응답의 출처와 무결성을 확인할 수 있도록 설계되어, AI 서비스의 신뢰성을 높이는 데 중요한 진전으로 평가받고 있습니다.
FlashProve는 영지식 증명(zkSNARK) 기술을 기반으로 하며, Llama 4 Maverick(라마 4 마버릭)과 같은 4,000억 매개변수 혼합 전문가(MoE) 모델에서 단일 H100 GPU로 초당 약 110토큰의 증명을 생성할 수 있습니다. 이는 기존 vLLM 추론 대비 약 70~95배의 GPU 시간을 요구하지만, 모델 가중치와 중간 계산값, 선택된 전문가 네트워크를 숨기면서도 추론의 정확성을 검증할 수 있다는 장점이 있습니다. Anthropic의 AI 모델 Claude(클로드)가 시스템 최적화에 기여했으며, Lean(린) 정형 검증을 통해 프로토콜의 보안 속성을 증명했습니다. 현재는 최대 1,024토큰 문맥과 정수 모델의 탐욕적 디코딩만 지원하며, 일반적인 부동소수점 추론이나 샘플링 결과와는 차이가 있을 수 있습니다.
이 기술은 AI 신뢰성 문제 해결에 중요한 의미를 가집니다. 사용자나 독립 평가자는 현재 LLM 응답이 실제로 약속된 모델에서 나왔는지, 혹은 제3자 서비스가 비용 절감을 위해 다른 모델로 대체하거나 공격자가 토큰 스트림을 조작했는지 확인하기 어렵습니다. FlashProve는 이러한 모델 변조 탐지, 텍스트 출처 확인, 모델 승인 준수 등 다양한 시나리오에서 활용될 수 있습니다. 예를 들어, 규제 기관은 AI 개발 속도 조절을 위해 특정 모델 사용을 감시하거나, 기업은 자사 서비스가 승인된 안전한 모델만 사용하고 있음을 증명할 수 있게 됩니다. 이는 AI 시스템의 투명성과 책임성을 강화하고, 궁극적으로 AI 산업 전반의 신뢰도를 높이는 데 기여할 것입니다.