AI 애플리케이션 시장의 경쟁 양상이 변화하고 있습니다. 과거에는 사용자 인터페이스(UI)나 워크플로우 개선, 빠른 시장 진입이 중요했지만, 이제는 제품의 학습 방식과 성능을 좌우하는 '지능 계층'의 소유권 경쟁으로 초점이 옮겨가고 있습니다. 이는 기업들이 핵심 비즈니스에 필요한 AI 지능을 외부 대규모 언어모델(LLM) 제공업체에 의존할 것인지, 아니면 자체적으로 구축하고 제어할 것인지에 대한 근본적인 질문을 던지고 있습니다.
이러한 변화는 Kimi K3, GLM 5.2와 같은 오픈 웨이트(Open-weight) 모델의 빠른 발전과 독립적인 사후 학습(post-training) 생태계의 성숙 덕분입니다. 과거에는 오픈 모델을 선택하면 성능을 일부 포기해야 했지만, 이제는 강력한 평가(evaluation) 체계, 하네스(harness) 엔지니어링, 목적별 사후 학습, 그리고 프로덕션 궤적(trajectory)을 활용한 온라인 학습을 결합하여 특정 도메인에서는 프런티어 모델을 능가하는 성능을 달성할 수 있게 되었습니다. Mercor, Fireworks 같은 기업들은 훈련, 추론, 데이터 관리 등 프런티어 연구소 수준의 기술 스택에 대한 접근성을 높여 자체 지능 구축을 현실화하고 있습니다.
그렇다면 모든 기업이 자체 지능을 구축해야 할까요? 전문가들은 모든 워크로드에 적용할 원칙은 아니며, 비용, 속도, 독점 데이터, 그리고 제품 통제권이라는 네 가지 핵심 요소를 기준으로 '소유'와 '임대'를 구분해야 한다고 강조합니다. AI 추론 비용이 매출원가(COGS)에 직접적인 영향을 미치거나, 사이버보안처럼 지연 시간이 중요한 경우, 혹은 고객 상호작용 데이터가 핵심 경쟁력인 경우, 그리고 제품의 사고방식을 결정하는 학습 루프까지 통제하고 싶다면 자체 지능 구축을 고려할 필요가 있습니다. 이는 프런티어 연구소와의 완전한 결별을 의미하는 것이 아니라, 특정 제품 영역에서 수직 통합을 통해 자체 AI 역량을 강화하는 전략적 선택입니다.
자체 지능 구축을 위한 실행 과정은 전담 소규모 팀 구성과 반복 가능한 평가 체계 구축에서 시작됩니다. Harvey Research는 7명의 연구팀으로도 상당한 성과를 내고 있으며, Legal Agent Benchmark와 같은 실제 법률 업무 기반의 평가 시스템을 통해 모델 성능을 측정 가능한 결정으로 바꿀 수 있습니다. 이후에는 모델 주변의 제품 로직을 관리하는 하네스와 컨텍스트를 설계하고, 사실 부족, 출력 형식 오류, 선호도 반영, 전문 작업 능력 개선 등 개선하려는 문제에 맞춰 지도 미세조정, 선호도 조정, 강화 학습, 증류(distillation) 등 목적에 맞는 사후 학습 기법을 선택해야 합니다.
마지막으로, 프로덕션 환경에서의 경험을 학습 루프로 전환하는 것이 중요합니다. 모델은 계속 똑똑해지지만, 특정 조직과 업무에서 곧바로 최고의 성과를 내지는 못합니다. 에이전트가 작업을 수행하는 전체 경로인 '궤적'을 수집하고 분석함으로써, 실패한 작업은 새로운 평가 과제가 되고, 누락된 정보는 컨텍스트나 메모리에 추가되며, 잘못된 도구 응답은 하네스 수정으로 이어지는 지속적인 개선 사이클을 구축할 수 있습니다. LangChain의 LangSmith 같은 도구들이 이러한 궤적 수집을 돕습니다.
폐쇄형 모델 스택은 높은 최저 성능과 단순한 개발 환경을 제공하지만 성능 상한이 낮을 수 있습니다. 반면, 자체 지능 스택은 더 많은 작업과 낮은 초기 성능을 감수해야 하지만, 특정 제품과 도메인에서 도달 가능한 성능 상한을 높일 수 있습니다. 더 많은 기업이 자체 지능을 소유하게 되면, 각기 다른 제품 특성이 유지되고 AI 생태계의 다양성도 커질 것으로 예상됩니다. 이는 단순히 기술적 선택을 넘어, 기업의 장기적인 경쟁력과 시장 포지셔닝을 결정하는 중요한 전략적 전환점이 될 것입니다.