AI 추론 속도 경쟁이 치열한 가운데, 프랑스 스타트업 Kog(코그)가 기존 데이터센터 GPU에서 AI 추론 성능을 획기적으로 끌어올리는 소프트웨어 최적화 기술을 개발해 주목받고 있습니다. Kog는 AMD MI300X, NVIDIA H200 같은 표준 GPU에서 '단일 요청 디코딩(single-request decoding)'을 매우 빠르게 처리할 수 있음을 기술 시연을 통해 입증하며, 에이전트 기반 AI 워크플로우에 GPU가 적합하지 않다는 통념에 도전하고 있습니다.
Kog는 지난 5월 해커 뉴스(Hacker News)에서 기술 프리뷰를 공개한 후 200개 이상의 잠재 고객 문의를 받았다고 밝혔습니다. 특히 코드 생성 AI(예: Claude Code) 사용자 중 몇 시간씩 결과 대기를 경험하는 전문가나, 프롬프트 기반 게임/앱 생성 서비스 제공자들이 빠른 추론 속도를 통해 더 많은 수익을 창출할 수 있을 것으로 기대하고 있습니다. Kog의 목표는 20억 개 매개변수의 소규모 모델(Laneformer 2B)에서 시연한 초당 3,000 토큰(TPS)의 인상적인 성능을 대규모 언어모델(LLM)에도 적용하여, 궁극적으로 30배 빠른 LLM 추론 속도를 달성하는 것입니다. 이는 GPU의 메모리 대역폭이 충분히 활용되지 못하고 있다는 창업자 가엘 들랄로(Gaël Delalleau)의 통찰에서 비롯되었습니다. 그는 고체 물리학 및 사이버 보안(화이트햇 해킹) 분야의 독특한 배경을 바탕으로, GPU 하드웨어의 물리적 한계를 깊이 이해하고 저수준(low-level)에서 역설계하여 최적의 성능을 끌어내는 접근 방식을 취하고 있습니다.
Kog의 이러한 시도는 AI 서비스의 핵심 병목인 추론 속도와 비용 문제를 해결하는 데 중요한 의미를 가집니다. 기존 하드웨어의 잠재력을 소프트웨어 최적화로 끌어낸다면, 기업들은 고가의 전용 AI 칩에 투자하지 않고도 AI 워크로드 성능을 대폭 향상시킬 수 있습니다. 이는 AI 서비스 제공자에게는 운영 비용 절감과 사용자 경험 개선을, 최종 사용자에게는 더 빠르고 효율적인 AI 활용을 가능하게 할 것입니다. 특히 에이전트 기반 AI 시스템과 같이 실시간 상호작용이 중요한 분야에서 Kog의 기술은 새로운 가능성을 열어줄 것으로 기대됩니다. 다만, 모든 새로운 GPU에 대해 수주에서 수개월이 걸리는 깊이 있는 최적화 작업은 현재 11명 규모의 팀에게는 도전 과제이며, 더 많은 GPU와 모델을 지원하기 위한 방법론 자동화가 장기적인 목표입니다.