최근 한 개발자가 클로드(Claude)나 챗GPT(ChatGPT)와 같은 상용 대규모 언어모델(LLM) 대신, 오픈소스 AI 모델을 직접 자신의 추론(inference) 엔드포인트에 구축하여 사용한 경험을 공유했습니다. 그는 이 과정에서 예상치 못한 '자유로움'과 만족감을 느꼈다고 밝혀 주목받고 있습니다. 이는 단순히 비용 절감을 넘어, 데이터 주권과 기술 통제에 대한 새로운 관점을 제시합니다.
모달(Modal)이라는 회사에 재직 중인 이 개발자는 개인 계정의 상용 LLM 요금제 업그레이드 대신, 회사에서 출시한 키미 K3(Kimi K3)라는 오픈소스 모델을 활용하기로 했습니다. 그는 약 5분 만에 '오픈코드(opencode)'를 자신의 모달 엔드포인트에 연결하여 모델을 실행하는 데 성공했습니다. 이 경험은 마치 복잡한 편집기 대신 빔(Vim)을 열었을 때 느끼는 '텅 빈 깔끔함'과 같았으며, 다른 제공업체에 묶여 있던 연결고리가 끊어지고 자유롭게 숨 쉴 수 있는 기분이었다고 표현했습니다.
이러한 경험은 AI 기술 활용에 있어 새로운 방향성을 제시합니다. 상용 LLM은 편리하지만, 사용자의 데이터가 외부 서버를 거치고 서비스 제공업체의 정책에 종속될 수밖에 없습니다. 반면, 오픈소스 모델을 직접 구축하고 운영하면 데이터가 사용자의 통제 하에 놓이며, 원하는 대로 모델을 커스터마이징하고 활용할 수 있는 유연성을 얻게 됩니다. 이는 개인 개발자나 소규모 팀에게도 AI 기술의 주체적인 활용 가능성을 열어주며, AI 서비스 개발 및 운영 방식에 있어 다양성을 촉진할 것으로 기대됩니다.