최근 자연어-SQL(NL2SQL) 모델들은 스파이더(Spider)나 버드(BIRD) 같은 기존 벤치마크에서 89% 이상의 높은 실행 정확도를 자랑합니다. 하지만 이러한 벤치마크들은 학술적인 용도로 단순화된 스키마와 오픈소스 SQL 방언을 사용하기 때문에, 실제 기업 데이터베이스 환경의 복잡성을 제대로 반영하지 못한다는 한계가 있었습니다. 이러한 간극을 해소하기 위해 새로운 기업용 벤치마크인 'ESQ-Bench'가 등장했습니다.
ESQ-Bench는 오라클(Oracle) 데이터베이스를 중심으로 설계된 NL2SQL 벤치마크로, 체계적인 복잡성 계층과 '침묵하는 의미론적 불일치(silent semantic divergence)' 평가 기능을 제공합니다. 연구진은 오라클, PostgreSQL, MySQL, SQL 서버에 동일한 시드 데이터로 채워진 6개의 스키마(465개 테이블, 164,682개 행)를 구축했으며, 550쌍의 검증된 질문-쿼리 쌍을 포함합니다. 특히, 세 가지 복잡성 계층(Tier-1, Tier-2, Tier-3)으로 나뉘어 있어 실제 기업 환경의 다양한 시나리오를 시뮬레이션할 수 있습니다. 평가 지표로는 정확 일치(EM), 실행 일치(EX), 스키마 복구(SR), 의미론적 불일치(SD)를 사용합니다.
GPT-4o와 클로드 소네트(Claude Sonnet) 4.6 모델을 ESQ-Bench에 적용한 결과, 기존 벤치마크와는 다른 양상을 보였습니다. GPT-4o는 스키마 연결 프롬프트(schema-linked prompting) 사용 시 복잡성 계층이 높아질수록 실행 일치(EX) 정확도가 79.8%에서 57.2%로 크게 떨어졌습니다. 특히, 실행은 성공했지만 결과가 틀린 '침묵하는 의미론적 불일치'가 73~99%에 달해 심각한 문제로 드러났습니다. 반면, 클로드 소네트 4.6은 모든 계층에서 GPT-4o보다 우수한 성능을 보였지만, 여전히 복잡한 기업 환경에서는 NL2SQL 모델의 성능 개선이 시급함을 시사합니다. 이 연구는 기업들이 NL2SQL 솔루션을 도입할 때 단순히 높은 벤치마크 점수보다는 실제 운영 환경에서의 성능과 잠재적 오류에 대한 심층적인 평가가 필요함을 강조합니다.