데이터베이스 쿼리 최적화는 오랜 연구에도 불구하고 여전히 개선의 여지가 많은 난제로 꼽힙니다. 특히 여러 테이블을 결합(join)하는 순서를 결정하는 조인 순서 결정(join ordering) 문제는 NP-난해(NP-hard)로 알려져 있어, 기존 데이터베이스 관리 시스템(DBMS)의 쿼리 최적화기(query optimizer)는 항상 최적의 계획을 찾지 못하는 한계가 있었습니다. 이러한 배경 속에서, 최근 한 연구는 소규모 언어모델(LLM)을 활용해 포스트그레스(Postgres)의 쿼리 계획을 개선하는 실험을 진행했습니다.
이 연구는 40억 개 매개변수(4B)의 오픈소스 언어모델을 지도 미세조정(SFT)과 에이전트 강화 학습(RL) 방식으로 후처리 학습(post-training)하여 포스트그레스 쿼리 플랜을 생성하도록 했습니다. 특히, 113개의 조인(join)이 많은 쿼리에서 포스트그레스의 기본 계획보다 평균 44.7%의 지연 시간(latency) 감소를 달성했으며, 일부 쿼리에서는 최대 81%까지 빨라지는 놀라운 성과를 보였습니다. 연구팀은 리눅스 페이지 캐시(page cache) 간섭을 최소화하는 측정 환경을 구축하고, 노이즈가 많은 환경에서 강화 학습 보상(RL rollout)을 평가하기 위한 맞춤형 GRPO 변형을 설계하는 등 정교한 실험 설계를 통해 이러한 결과를 얻었습니다.
이번 연구는 LLM이 단순히 텍스트 생성이나 코드 작성에 그치지 않고, 데이터베이스 쿼리 최적화와 같은 복잡하고 성능에 민감한 영역에서도 강력한 도구가 될 수 있음을 입증했습니다. 쿼리 계획의 실행 시간이라는 명확한 최적화 목표가 존재하고, 그 결과의 좋고 나쁨을 쉽게 검증할 수 있다는 점이 LLM의 강화 학습에 유리하게 작용했습니다. 이는 기존의 휴리스틱(heuristic) 기반 최적화 방식의 한계를 넘어, 인공지능(AI) 기반의 새로운 데이터베이스 성능 개선 패러다임을 제시하며, 향후 데이터베이스 관리 시스템(DBMS) 개발에 큰 영향을 미칠 것으로 예상됩니다.