인공지능(AI) 에이전트가 복잡한 문제를 해결할 때, 종종 중간 단계에서 중요한 정보가 부족함에도 불구하고 잘못된 방향으로 나아가 오류를 범하는 경우가 많습니다. 이러한 문제를 해결하기 위해 새로운 연구에서 AI가 스스로 정보 부족을 인지하고 능동적으로 도움을 요청하는 '액션-레이팅(ACTION-RATING)'이라는 프레임워크를 제안했습니다. 이는 AI의 의사결정 과정에 '질문하기'를 핵심적인 행동 옵션으로 통합하여, 불확실성이 발생했을 때 외부 트리거에 의존하지 않고 내부적으로 판단하게 합니다.
액션-레이팅은 AI 에이전트의 행동 공간에 '질문하기'를 포함시켜, 탐색(navigation)과 동일한 서열 척도(ordinal scale)에서 경쟁하도록 설계되었습니다. 즉, AI는 매 의사결정 지점에서 다음 행동을 할지, 아니면 추가 정보를 요청할지 직접적으로 저울질하게 됩니다. 이 프레임워크를 통해 두 가지 정보 탐색 모드(information-seeking modes)가 나타났는데, 하나는 '필수적(mandatory)' 모드로 더 이상 진행할 수 있는 유효한 경로가 없을 때 도움을 요청하는 경우이고, 다른 하나는 '기회적(opportunistic)' 모드로 유력한 후보가 있음에도 잔여 불확실성이 남아있을 때 도움을 요청하는 경우입니다. 국제 통일 상품 분류 체계(Harmonized Tariff Schedule classification) 벤치마크 테스트에서 이 방법을 적용한 결과, 정보 탐색 효율성(Information-Seeking Effectiveness, ISE)이 50%에서 74%로 크게 향상되었으며, 이는 AI가 적절한 시점에 도움을 요청함으로써 다음 단계의 정확도를 높였음을 의미합니다.
이 연구는 AI 에이전트가 단순히 주어진 작업을 수행하는 것을 넘어, 스스로의 인지 상태를 평가하고 필요한 정보를 능동적으로 탐색하는 메타 인지(meta-cognition) 능력을 강화할 수 있음을 시사합니다. 특히, AI가 도움을 요청하는 시점과 제공받는 도움의 품질이 독립적이라는 점을 보여주어, AI의 '질문 능력' 자체가 정확도 향상에 중요한 역할을 한다는 것을 강조합니다. 이는 복잡한 계층적 추론이 필요한 다양한 AI 응용 분야, 예를 들어 법률, 의료 진단, 복잡한 코드 작성 등에서 AI의 신뢰성과 효율성을 크게 높일 수 있는 잠재력을 가집니다. 궁극적으로는 AI가 인간처럼 스스로 학습하고 문제를 해결하는 데 한 걸음 더 다가서는 중요한 발전으로 평가됩니다.