최근 오픈소스 대규모 언어모델(LLM)을 활용해 최상급 모델에 버금가는 성능을 내면서도 비용은 대폭 절감하는 새로운 AI 시스템 '에코(Echo)'가 공개되어 주목받고 있습니다. 에코는 단일 모델에 의존하는 대신, 여러 오픈소스 모델 풀(pool)에서 작업에 가장 적합한 모델을 지능적으로 선택하고 그 결과물을 결합하는 방식으로 작동합니다. 개발자는 이를 통해 기존 최상급 모델인 'Fable'과 비슷한 수준의 종합적인 결과를 얻으면서도 추론(inference) 비용을 약 1/3 수준으로 줄일 수 있었다고 밝혔습니다.
에코의 핵심 아이디어는 각기 다른 오픈소스 모델들이 특정 유형의 문제에 대해 상호 보완적인 강점을 가진다는 관찰에서 출발했습니다. 개발자는 GLM-5.2, Kimi K2.7 등 여러 모델을 동일한 평가에 투입한 뒤, 각 문제에 어떤 모델이 유용하고 그 출력을 어떻게 결합해야 하는지 미리 알 수 있다면 개별 모델보다 훨씬 뛰어난 성능을 보인다는 가설을 세웠습니다. 에코는 이러한 가상의 이점을 실제 시스템으로 구현하기 위해, 각 요청이 들어올 때마다 필요한 연산량, 참여할 모델, 그리고 결과물 결합 방식을 자체적으로 결정합니다. 예를 들어, 간단한 프롬프트는 적은 연산으로 처리하고, 복잡한 문제는 여러 모델이 각기 다른 부분을 담당하도록 하는 식입니다. 개발 과정에서 놀라웠던 점은 전반적으로 약한 모델이라도 특정 문제나 조합의 일부로서는 매우 유용할 수 있다는 사실이었습니다.
이러한 접근 방식은 고품질의 AI 서비스를 저렴한 비용으로 제공하려는 기업 및 개발자에게 중요한 의미를 가집니다. 특히, 대규모 언어모델의 활용이 늘어나면서 추론 비용이 큰 부담으로 작용하는 상황에서, 에코는 비용 효율적인 대안을 제시합니다. 현재 에코는 챗 인터페이스(echo.tracerml.ai)와 OpenAI 호환 API(echo.tracerml.ai/docs/api)를 통해 일반에 공개되어 있으며, 개발자는 시스템의 할당 및 조합 결정이 잘못되는 사례를 분석하고 코딩 및 에이전트(agentic) 작업 등 더 복잡한 영역에서의 적용 가능성을 탐색하고 있습니다. 이는 오픈소스 모델 생태계의 발전과 함께 AI 서비스의 접근성을 높이는 데 기여할 것으로 기대됩니다.