최근 공개된 Memdoor 워크플로우를 활용한 실험에서, 5개의 Qwen3.8-27B 대규모 언어모델(LLM) 팀이 프로그래밍 문제 해결 능력 벤치마크인 LiveCodeBench Hard에서 기존 강자인 Fable 5 단일 모델을 능가하는 성과를 거두었습니다. 이 멀티 에이전트 시스템은 플래너, 두 명의 아이디어 생성자, 해결사, 관리자, 그리고 오류 수정 작업자로 구성되어 각자의 역할을 수행하며 협업했습니다. 이들은 디스크 파일을 통해서만 소통하며 문제를 해결했고, 모델이 아닌 셸 스크립트가 샘플 실행을 통해 성공 여부를 판단했습니다.
이 팀은 LiveCodeBench Hard의 첫 10개 문제에 대해 5회 반복 테스트를 진행했으며, 평균 9.8/10점이라는 높은 점수를 기록했습니다. 이는 Fable 5 단일 모델의 8.0점과 비교해 현저히 높은 수치입니다. 특히, 이 시스템은 저자들이 직접 작성한 프롬프트와 루프를 Qwen3.8-27B 모델에 적용하여 재구축되었으며, 모든 실행 과정은 OpenRouter를 통해 이루어졌습니다. 총 50번의 실행 중 49번의 문제가 해결되었고, 전체 비용은 약 35.79달러(15.3M 출력 토큰)가 소요되었습니다. 각 실행은 평균 40분 정도 소요되었으며, 문제당 약 0.39달러의 비용이 들었습니다.
이번 결과는 단일 대규모 언어모델이 아닌, 여러 LLM 에이전트가 특정 역할을 맡아 협력하는 멀티 에이전트 시스템의 효율성과 잠재력을 명확히 보여줍니다. 각 에이전트가 독립적인 컨텍스트에서 작업하고 파일 기반으로 소통하며 문제를 해결하는 방식은 복잡한 프로그래밍 과제를 더 효과적으로 처리할 수 있음을 시사합니다. 이는 향후 AI 기반 소프트웨어 개발, 자동화된 코드 생성 및 디버깅 분야에서 새로운 가능성을 열어줄 것으로 기대됩니다. 또한, 상대적으로 저렴한 비용으로 고성능을 달성했다는 점은 AI 개발 및 활용의 문턱을 낮추는 데 기여할 수 있습니다.