애플 머신러닝 연구팀이 대규모 언어모델(LLM)이 외부 함수를 호출할 때 발생하는 불확실성을 측정하고 관리하는 새로운 방법을 공개했습니다. 이 연구는 LLM이 복잡한 작업을 수행하기 위해 외부 도구와 상호작용할 때, 모델이 얼마나 확신을 가지고 결정을 내리는지 파악하는 데 중점을 둡니다. 이는 LLM의 응답 신뢰도를 높이고, 특히 오류 발생 시 심각한 결과를 초래할 수 있는 애플리케이션에서 필수적인 기술입니다.
이번 연구는 LLM이 특정 함수를 호출할지 여부와 어떤 인수를 전달할지에 대한 불확실성을 정량화하는 데 초점을 맞춥니다. 애플은 이를 위해 다양한 불확실성 측정 기법을 탐구했으며, 모델의 예측에 대한 신뢰도를 수치화하는 방법을 제시했습니다. 예를 들어, LLM이 날씨 정보를 얻기 위해 '날씨 API 호출' 함수를 선택할 때, 이 선택이 얼마나 정확할지에 대한 확률적 추정치를 제공하여 개발자가 모델의 결정을 더 잘 이해하고 관리할 수 있도록 돕습니다. 이는 LLM이 단순히 답변을 내놓는 것을 넘어, 실제 세계와 상호작용하는 시스템의 안정성을 높이는 중요한 단계입니다.
이 기술은 LLM 기반 애플리케이션의 안정성과 안전성을 크게 향상시킬 잠재력을 가지고 있습니다. 불확실성 정량화(Uncertainty Quantification)는 자율주행, 의료 진단, 금융 거래와 같이 오류가 치명적일 수 있는 분야에서 AI 시스템의 신뢰도를 확보하는 데 결정적인 역할을 합니다. 개발자들은 이 정보를 활용하여 모델의 낮은 확신도 예측에 대해 추가적인 검증 로직을 추가하거나 사용자에게 경고를 제공함으로써, 예측 오류로 인한 위험을 최소화할 수 있습니다. 궁극적으로 이는 더욱 견고하고 책임감 있는 인공지능 시스템을 구축하는 데 기여할 것입니다.