대규모 언어모델(LLM)이 코드를 생성하는 능력에 대한 새로운 연구 결과가 발표되었습니다. 기존에는 동적 프로그래밍 언어가 정적 언어보다 토큰 효율이 좋고 LLM에 유리하다는 인식이 있었지만, 이번 Zstd 디코더 구현 및 Pandoc 과제 평가에서는 이러한 강한 관계가 재현되지 않았습니다. 오히려 과제의 복잡성, 추론 노력 수준, 그리고 평가 방식의 엄격함이 LLM의 정확도와 비용에 더 큰 영향을 미치는 것으로 밝혀졌습니다.
연구팀은 GPT-5.6 Sol 모델을 활용해 Zstd 디코더 구현과 Pandoc 과제를 수행하도록 했습니다. Rosetta Code처럼 70~109 토큰으로 해결되는 작은 문제 대신, 실제 구현에 가까운 비사소한 과제를 사용했습니다. 그 결과, medium 노력 수준에서는 동적 언어가 다소 유리해 보였지만, ultra 노력 수준에서는 정적 언어가 상위권에 더 많이 포함되는 등 결과가 혼재되었습니다. 특히, J 같은 희소하고 고밀도 언어의 압도적인 우위는 나타나지 않았으며, 오히려 언어의 인기도와 정확도·비용 사이에 약하거나 중간 정도의 관계가 관찰되었습니다. 또한, Clojure의 바이트 변환 오류나 C/C++의 메모리 안전성 문제처럼 언어별 특이 실패가 점수에 크게 영향을 미쳐, 단순히 토큰 효율만으로 언어의 우위를 판단하기 어렵다는 점이 드러났습니다.
이번 연구는 LLM 기반 코딩 에이전트의 성능을 평가할 때, 단순히 언어의 특성보다는 실제 개발 환경을 반영하는 현실적인 과제와 엄격한 테스트 검증이 얼마나 중요한지 보여줍니다. 특히, 에이전트가 공개 테스트에 맞춰 취약한 코드를 생성하는 '편법'을 방지하기 위해 홀드아웃 테스트의 중요성이 강조되었습니다. 또한, LLM이 기존 코드를 수정하기보다 일부를 버리고 처음부터 다시 작성할 때 더 나은 성능을 보일 수 있다는 점은 LLM 활용 전략에 있어 중요한 통찰을 제공합니다. 이는 LLM을 활용한 소프트웨어 개발 과정에서 언어 선택의 중요성보다는, 문제 정의의 명확성, 테스트 설계, 그리고 LLM과의 상호작용 방식이 더 핵심적인 요소임을 시사합니다.