최근 인공지능(AI) 에이전트가 자연어 설명을 바탕으로 소프트웨어를 작성하는 능력이 발전하고 있지만, 단순히 작동하는 코드와 사용자의 의도에 완벽히 부합하는 코드 사이에는 여전히 큰 간극이 존재합니다. 특히 블록체인 기반의 웹3(Web3) 애플리케이션에서 자산을 이동시키고, 일단 배포되면 수정이 불가능한 스마트 계약(smart contract)의 경우 이러한 간극은 치명적인 문제로 이어질 수 있습니다. 이 연구는 AI가 작성한 스마트 계약이 사용자의 요청대로 작동하는지, 그리고 요청된 행동이 어디서 누락되는지를 측정하는 새로운 평가 방법을 제시합니다.
연구팀은 기존의 '의견 기반' 평가 대신 '실행 기반' 평가를 설계했습니다. 이는 AI가 작성한 계약과 원본 계약에 동일한 트랜잭션(transaction)을 반복적으로 실행하여 얼마나 일치하는지 측정하는 방식입니다. 이들은 AI 심사관이나 표준 분석 도구가 명백한 오류를 놓치기 쉽다는 점을 발견했으며, 평가 기준 선택이 결과에 큰 영향을 미친다는 것을 확인했습니다. 예를 들어, 모든 시스템에 포함된 기능만 확인하면 파이프라인 간 차이의 절반 가량을 놓치게 됩니다. 이에 연구진은 '선제적 질문 아키텍처(elicitation-first architecture)'를 제안했습니다. 이는 AI 에이전트가 코드 작성 전에 고객에게 짧은 질문 목록을 던져 요구사항을 명확히 하고, 독립적으로 작성된 실행 가능한 정답 키(answer key)와 계약을 비교하여 불일치하는 부분을 고객에게 다시 확인하는 방식입니다.
이 연구는 코드 생성 후 수정하거나 패치하는 것보다, 코드 작성 전에 질문을 통해 요구사항을 명확히 하는 것이 훨씬 중요하다는 점을 세 가지 AI 모델을 통해 입증했습니다. 몇 가지 잘 선택된 질문만으로도 짧은 설명에서 누락될 수 있는 많은 정보를 보완할 수 있으며, 그 가치는 원본 계약 없이도 추정 가능합니다. 자동화된 보안 수정 기능이 오히려 요청된 행동을 망가뜨리는 경우도 있었습니다. 이 연구는 스마트 계약 합성 분야에서 생성 전에 누락된 요구사항을 수집하고 독립적인 실행 모델과 결과를 비교한 최초의 사례로, AI 에이전트가 요청을 프로그램으로 변환하는 모든 상황에 적용될 수 있는 중요한 시사점을 제공합니다.