최근 Memdoor 다중 에이전트 워크플로가 LiveCodeBench Hard 벤치마크에서 Qwen3.8-27B 모델 5개로 구성된 팀을 활용하여 인상적인 성과를 달성했습니다. 이 팀은 첫 10개 문제를 5회씩 총 50회 실행하여 49회 성공, 평균 9.8점을 기록하며 기존 최고 성능인 Fable 5 단독 실행의 8.0점과 원 연구진의 하네스 9.6점을 넘어섰습니다. 이는 대규모 언어모델(LLM)이 단독으로 문제를 해결하는 것을 넘어, 여러 LLM이 협력하여 복잡한 과제를 수행할 때 더 높은 효율과 정확성을 보일 수 있음을 보여주는 중요한 사례입니다.
Memdoor 워크플로는 계획자, 두 명의 아이디어 제안자, 해결자, 관리자 등 총 다섯 가지 역할을 하는 에이전트(agent)로 구성됩니다. 각 에이전트는 새로운 컨텍스트(context)에서 시작하며, 채팅 기록에 의존하지 않고 오직 디스크의 파일을 통해서만 소통합니다. 예를 들어, 계획자는 task.md를 읽고 plan.md를 작성하며, 아이디어 제안자는 이 계획을 바탕으로 각자의 제안을 파일에 기록합니다. 해결자는 제안을 바탕으로 코드를 작성하고, 관리자는 테스트 결과를 검토하며 코드 수정 지침을 제공합니다. 이 모든 과정은 사람이 수작업으로 워크플로 파일을 작성한 것이 아니라, 코딩 에이전트가 방법에 대한 설명을 바탕으로 직접 생성했습니다. 총 50회 실행에 약 35.79달러의 비용과 1,530만 개의 출력 토큰이 소요되었으며, 실행당 모델 사용 시간은 중앙값 40분, 최장 4시간이었습니다. 모든 실행은 OpenRouter를 통해 원격으로 이루어졌습니다.
이번 연구 결과는 인공지능(AI) 기반의 다중 에이전트 시스템이 복잡한 프로그래밍 문제 해결에 있어 인간 팀과 유사한 협업 모델을 구축할 수 있음을 입증합니다. 각 에이전트가 특정 역할을 맡아 전문성을 발휘하고, 파일 기반의 명확한 소통 방식을 통해 정보의 혼란을 줄이며 효율적으로 협력하는 방식은 향후 AI 시스템 설계에 중요한 시사점을 제공합니다. 특히, 관리자의 잘못된 반례 생성이나 종료 판단 실패와 같은 문제점도 발견되었는데, 이는 다중 에이전트 시스템의 신뢰성과 안정성을 높이기 위한 추가적인 연구와 개선의 필요성을 보여줍니다. 이러한 시스템은 소프트웨어 개발, 연구, 교육 등 다양한 분야에서 복잡한 문제를 해결하는 데 혁신적인 도구가 될 잠재력을 가지고 있습니다.