최근 한 연구에서 앤트로픽(Anthropic)의 Fable 5 모델이 오픈AI(OpenAI)의 GPT-5.6 Sol 모델을 제치고 NP-난제(NP-hard problem) 해결 능력에서 뛰어난 성능을 보였습니다. 이 벤치마크는 복잡한 광섬유 네트워크 설계 문제인 KIRO를 사용했으며, Fable 5는 특히 일관성과 최고 성능 솔루션 도출 면에서 압도적인 모습을 보였습니다. 이는 대규모 언어모델(LLM)이 복잡한 최적화 문제 해결에 얼마나 효과적인지 보여주는 중요한 사례입니다.
테스트는 그르노블, 니스, 파리의 실제 지리 데이터를 기반으로 한 광섬유 네트워크 설계 문제에 초점을 맞췄습니다. 이 문제는 수많은 터미널과 분배 허브를 연결하면서 케이블 총 길이를 최소화하는 것이 목표로, 해커톤 참가자들이 C++로 일주일간 씨름했던 난제입니다. 연구자는 Fable 5와 GPT-5.6 Sol을 각각 일반 모드와 목표 설정(/goal) 모드로 30분 동안 실행하며 성능을 측정했습니다. Fable 5는 평균적으로 GPT-5.6 Sol보다 1,800~1,900점 이상 낮은(더 좋은) 케이블 길이를 기록했으며, 특히 결과의 편차가 매우 작아 안정적인 성능을 입증했습니다. 반면, /goal 기능은 일부 경우에 개선을 가져왔지만, 때로는 오히려 성능을 저하시키는 등 일관된 효과를 보이지 않았습니다.
이번 결과는 Fable 5가 순수한 '원시 지능(pure raw intelligence)' 측면에서 뛰어난 능력을 가졌음을 시사합니다. 특히 복잡한 제약 조건과 방대한 탐색 공간을 가진 최적화 문제에서 Fable 5의 안정적이고 우수한 성능은 주목할 만합니다. 이는 향후 대규모 언어모델이 단순한 텍스트 생성이나 추론을 넘어, 실제 산업 및 공학 분야의 복잡한 문제 해결 도구로 활용될 가능성을 높입니다. 또한, /goal과 같은 특정 기능이 항상 성능 향상으로 이어지는 것은 아니며, 모델의 근본적인 추론(inference) 능력이 더 중요할 수 있음을 보여줍니다.