최근 한 AI 스타트업이 오픈AI(OpenAI)와 앤스로픽(Anthropic) 등 주요 대규모 언어모델(LLM) 제공업체의 가격 정책에 존재하는 '틈새'를 활용하여 매달 3만 달러(약 3천만원)에 달하는 비용을 절감하고 있다고 비즈니스 인사이더가 보도했습니다. 이들은 단순히 가장 강력한 모델을 사용하는 대신, 각 모델의 성능과 비용 효율성을 면밀히 분석하여 특정 작업에 최적화된 모델을 선택하는 전략을 통해 상당한 운영 비용을 아끼고 있습니다.
이 스타트업은 특히 GPT-4와 같은 고성능 모델이 불필요한 특정 작업에서는 클로드(Claude)나 GPT-3.5와 같은 상대적으로 저렴한 모델을 사용하고 있습니다. 예를 들어, 간단한 데이터 분류나 요약 작업에는 비용이 훨씬 저렴하면서도 충분한 성능을 제공하는 모델을 활용하고, 복잡한 추론이나 창의적 글쓰기 등 고성능이 필수적인 작업에만 GPT-4를 사용하는 방식입니다. 이처럼 작업의 난이도와 필요한 정확도에 따라 모델을 유연하게 전환하는 것이 핵심입니다.
이러한 전략은 대규모 언어모델을 비즈니스에 통합하려는 많은 기업들에게 중요한 시사점을 제공합니다. 무조건 최신, 최고 성능의 모델만을 고집하기보다는, 각 작업의 특성과 비용 효율성을 종합적으로 고려하여 모델을 선택하고 조합하는 '멀티 LLM' 전략이 필요하다는 것을 보여줍니다. 이는 AI 기술 도입의 문턱을 낮추고, 스타트업이나 중소기업도 제한된 예산으로 AI를 효과적으로 활용할 수 있는 현실적인 방안을 제시하며, 장기적으로 LLM 시장의 가격 경쟁을 촉진할 수도 있습니다.