최근 강화학습(Reinforcement Learning)으로 후처리된 4B(40억) 파라미터 오픈소스 모델 'Castform'이 주목받고 있습니다. 이 모델은 GPT-5.6 Sol과 같은 수준의 검색 정확도를 보이면서도, 요청당 비용은 100분의 1 수준으로 대폭 낮춰 AI 에이전트 검색의 효율성에 새로운 지평을 열었습니다. 이는 고가의 최첨단 모델에 대한 의존도를 줄이고, 비용 효율적인 AI 솔루션 개발 가능성을 보여주는 중요한 진전입니다.
기존 에이전트 검색은 단일 임베딩 검색을 넘어 여러 차례 계획하고 검색하는 다중 턴(multi-turn) 방식으로 진화했습니다. 하지만 GPT-5.6 Sol 같은 대규모 언어모델(LLM) 기반의 다중 턴 검색은 요청당 10초 이상의 지연 시간과 약 0.03달러의 비용이 발생하여 확장성에 한계가 있었습니다. Castform은 기업의 내부 문서, 제품 기록, 고객 상호작용 등 독점 데이터를 활용해 질문과 정답을 생성하고, 검색 도구와 보상 함수를 결합하여 모델을 강화학습으로 후처리합니다. 이 과정에서 Neon의 Lakebase Search 환경을 활용하여 원문 저장부터 합성 데이터 생성, 학습, 추론까지 전체 파이프라인을 효율적으로 관리하며, 급격한 병렬 검색 부하는 동적 컴퓨팅 확장으로 처리합니다.
이러한 접근 방식은 기업이 보유한 방대한 비정형 데이터를 효과적인 학습 데이터셋으로 변환하는 데 드는 막대한 데이터 엔지니어링 및 수작업 라벨링 비용을 절감할 수 있게 합니다. Castform은 머신러닝(ML) 및 GPU 내부 구조에 대한 깊은 지식 없이도 모델 후처리를 가능하게 하여, 프롬프트 엔지니어링(Prompt Engineering)만큼 접근하기 쉽게 만드는 것을 목표로 합니다. 이는 특정 도메인에 특화된 고성능 AI 에이전트를 저렴한 비용으로 구축하려는 기업들에게 매력적인 대안이 될 것입니다. 특히, 검색을 넘어 데이터를 변경하는 상태 변경 에이전트(state-changing agent) 훈련 시, Neon의 브랜칭(branching) 기능을 활용해 롤아웃(rollout)마다 격리된 데이터베이스 상태를 제공함으로써 안전하고 효율적인 학습 환경을 제공합니다.
이 기술의 확산은 대규모 연구소의 범용 모델과 경쟁하는 대신, 특정 '긴 꼬리(long-tail)' 응용 분야에서 맞춤형 미세조정(fine-tuning) 모델이 지배적인 역할을 할 것이라는 전망을 뒷받침합니다. 소형 모델은 사람의 일자리를 대체하기보다는, 대형 모델을 활용하는 에이전트의 효율성을 높여 기업의 AI 도입 비용을 획기적으로 낮추는 데 기여할 수 있습니다. 이는 AI 기술의 민주화와 함께 다양한 산업 분야에서 혁신적인 비즈니스 모델을 창출할 기회를 제공할 것입니다.