최근 투게더 AI(Together AI)가 대규모 언어모델(LLM) 서비스의 고질적인 문제였던 콜드 스타트(cold start)를 해결하는 새로운 접근 방식을 발표했습니다. 콜드 스타트란 유휴 상태의 LLM이 요청을 처리하기 위해 처음 로딩될 때 발생하는 지연 시간을 의미하며, 이는 사용자 경험을 저해하고 GPU(그래픽 처리 장치) 자원의 비효율적인 사용으로 이어져 운영 비용을 증가시키는 주요 원인이었습니다. 투게더 AI는 이 문제를 해결함으로써 LLM 서비스의 반응 속도를 높이고 비용 효율성을 극대화할 수 있는 길을 열었습니다.
투게더 AI의 핵심 기술은 LLM을 메모리에 미리 로드해 두는 대신, 필요한 부분만 빠르게 불러와 실행하는 '지연 로딩(lazy loading)'과 '증분 로딩(incremental loading)' 방식에 있습니다. 기존에는 LLM 전체를 GPU 메모리에 올려야 했지만, 이 방식은 모델의 특정 레이어(layer)나 가중치(weights)만 필요할 때 로드하여 초기 로딩 시간을 수십 초에서 수백 밀리초(ms) 단위로 단축시킵니다. 이는 특히 온디맨드(on-demand) 방식으로 LLM을 사용하는 경우, 즉 사용자가 요청할 때마다 모델을 준비해야 하는 상황에서 GPU 유휴 시간을 줄여 자원 활용률을 크게 향상시킵니다.
이러한 기술 혁신은 LLM 서비스 시장에 상당한 파급 효과를 가져올 것으로 예상됩니다. 서비스 제공자 입장에서는 값비싼 GPU 자원을 더욱 효율적으로 사용하여 운영 비용을 절감할 수 있으며, 이는 곧 사용자에게 더 저렴하고 빠른 LLM 서비스를 제공할 수 있는 기반이 됩니다. 또한, 사용자들은 모델이 응답하기까지 기다리는 시간을 줄여 더 원활하고 즉각적인 AI 경험을 누릴 수 있게 됩니다. 투게더 AI의 이번 발표는 LLM의 상용화와 대중화를 가속화하는 중요한 진전으로 평가됩니다.