파이썬 개발자라면 누구나 한 번쯤 겪어봤을 '의존성 지옥(Dependency Hell)'은 호환되지 않는 버전 제약, 누락된 패키지, 그리고 문서화되지 않은 호환성 문제 등으로 인해 수많은 코드 스니펫(code snippets)이 실행에 실패하는 고질적인 문제입니다. 최근 발표된 논문에서 연구진은 이러한 문제를 해결하기 위한 하이브리드 의존성 수리 파이프라인 'PLLM+'를 공개했습니다. 이 시스템은 파이썬 프로젝트의 의존성 충돌을 자동으로 감지하고 해결하여 개발 생산성을 높이는 데 기여할 것으로 기대됩니다.
PLLM+는 2,891개의 의존성 실패 스니펫으로 구성된 HG2.9K 벤치마크에서 평가되었으며, 기존 PLLM 대비 향상된 성능을 보여주었습니다. PLLM+는 대규모 언어모델(LLM) 기반 수리 방식을 사용하기 전에 정적 AST(추상 구문 트리) 기반 인터프리터 추론, 과거 성공적인 의존성 구성 재활용, 그리고 PyPI(파이썬 패키지 인덱스)를 통한 후보 패키지 버전 검증 등 비용 효율적인 결정론적 단계를 우선적으로 수행합니다. 이러한 초기 단계에서 문제가 해결되지 않을 경우에만 LLM 기반의 수리 루프가 작동하며, 이는 유형별 오류 분류와 제안자(Proposer)/비평가(Critic) 에이전트 방식을 활용합니다. 이 접근 방식을 통해 PLLM+는 2,891개 중 1,500개의 스니펫을 해결하여 기존 PLLM의 1,169개보다 높은 해결률을 보였고, 평균 실행 시간 또한 스니펫당 368.7초에서 71.8초로 대폭 단축했습니다.
주목할 점은 1,500개의 성공적인 수정 중 1,495개가 '솔루션 데이터베이스(solutions database)'에서 과거에 성공했던 의존성 구성을 재활용한 결과라는 것입니다. LLM 기반의 수리 방식은 단 5개의 추가적인 문제 해결에 기여했습니다. 이는 벤치마크 환경에서 이전에 검증된 의존성 구성을 재사용하는 것이 간단하면서도 매우 효과적인 전략이며, LLM 기반 수리는 기존 솔루션으로 해결되지 않는 경우를 위한 보조적인 대안으로 작용한다는 것을 시사합니다. 이러한 결과는 파이썬 의존성 문제 해결에 있어 결정론적이고 데이터 기반의 접근 방식이 여전히 강력한 힘을 발휘하며, LLM은 복잡하고 새로운 상황에 대한 최종적인 해결책으로 활용될 수 있음을 보여줍니다.