최근 캐스트폼(Castform)과 네온(Neon)이 협력하여 대규모 언어모델(LLM) 기반 검색 에이전트의 비용 효율성을 혁신적으로 개선하는 방법을 공개했습니다. 이들은 강화 학습(RL) 후처리 훈련(post-training)을 통해 40억 개 매개변수(4B) 규모의 오픈소스 모델이 GPT-5.6 Sol과 동일한 수준의 검색 정확도를 달성하면서도, 운영 비용은 무려 100배나 절감할 수 있음을 입증했습니다. 이는 고비용의 최첨단 모델에 대한 의존도를 줄이고, 기업들이 자체 데이터를 활용하여 맞춤형 AI 에이전트를 구축할 수 있는 새로운 길을 제시합니다.
기존의 AI 에이전트 검색 시스템은 주로 임베딩 검색(embedding search) 방식에 의존했지만, 2025년경부터는 다단계 검색(multi-hop search)을 수행하는 에이전트 방식이 부상했습니다. 이 방식은 복잡한 문제를 작은 단위로 분해하여 여러 번 검색을 반복하는데, 이때마다 최첨단 모델(frontier model)을 호출하게 되어 비용과 지연 시간이 크게 증가하는 문제가 있었습니다. 예를 들어, GPT-5.6 Sol을 사용하는 다단계 검색 요청은 건당 약 0.03달러의 비용과 10초 이상의 시간이 소요되어 상업적 활용에 제약이 컸습니다. 캐스트폼은 기업의 내부 문서, 제품 기록, 고객 지원 자료 등 방대한 독점 데이터를 강화 학습 훈련 데이터로 자동 변환하고, 네온의 레이크베이스 서치(Lakebase Search)를 검색 도구로 활용하여 오픈소스 모델을 후처리 훈련합니다. 이 과정을 통해 소형 오픈소스 모델이 최첨단 모델에 버금가는 검색 능력을 갖추게 됩니다.
이 기술은 AI 에이전트의 상업적 활용 가능성을 크게 확장할 것으로 기대됩니다. 비용과 속도 문제로 인해 실제 서비스에 적용하기 어려웠던 다단계 검색 에이전트가 이제는 훨씬 저렴하고 효율적으로 운영될 수 있게 된 것입니다. 특히, 기업들은 외부 대규모 모델에 의존하지 않고도 자체 데이터를 활용하여 특정 도메인에 최적화된 AI 에이전트를 구축할 수 있게 되어 데이터 주권과 보안을 강화할 수 있습니다. 이는 AI 기술의 민주화를 가속화하고, 더 많은 기업이 AI를 비즈니스에 통합할 수 있는 기회를 제공할 것입니다. 캐스트폼은 복잡한 머신러닝 및 GPU 인프라 지식 없이도 후처리 훈련을 프롬프트 엔지니어링(prompt engineering)만큼 쉽게 만들겠다는 목표를 가지고 있습니다.