코베닉 AI(Corbenic AI)가 대규모 언어모델(LLM)의 추론(inference) 방식을 혁신할 수 있는 새로운 시스템을 발표했습니다. '프리즌 12B(Frozen 12B)'로 명명된 이 시스템은 모델을 재학습하는 대신, 한번 검증된 솔루션을 영구 메모리에 저장하여 동일한 문제 발생 시 토큰 생성 없이 즉시, 그리고 100% 정확하게 답변을 제공합니다. 이는 LLM의 고질적인 문제였던 비결정적 출력과 높은 추론 비용을 해결하는 데 중점을 둡니다.
이 시스템의 핵심은 '검증된 솔루션 메모리'입니다. 12B 매개변수 모델을 고정(frozen)한 상태에서, 특정 문제군에 대한 해답이 한번 검증되면 이 해답을 메모리에 저장합니다. 이후 같은 문제군이 들어오면 LLM이 새로 추론하는 대신 메모리에서 정확한 해답을 찾아 제공합니다. 놀라운 점은 이 메모리가 600만 토큰(token)에 달하는 방대한 컨텍스트 창(movable window)을 단일 46GB GPU에서 처리한다는 것입니다. 이는 vLLM이 3만 399 토큰, SGLang이 3만 2천 토큰에서 멈추거나 잘라내는 것과 비교하면 압도적인 성능입니다. 메모리 검색은 1.4마이크로초, 전체 재활용은 6~23밀리초에 불과하며, 전력 소비도 36mWh로 매우 효율적입니다.
이 기술은 LLM 활용 방식에 중요한 변화를 가져올 수 있습니다. 현재 최첨단(frontier) LLM은 매번 새로운 쿼리에 대해 처음부터 추론을 수행하며 비용을 발생시키지만, 프리즌 12B는 한번 해결되고 검증된 문제에 대해서는 '제로 토큰(zero generation tokens)' 비용으로 동일한 결과를 반복해서 제공합니다. 이는 특히 기업 환경에서 반복적이고 정형화된 질문에 대한 답변, 코드 생성, 데이터 처리 등 정확성과 일관성이 중요한 작업에서 막대한 비용 절감과 효율성 향상을 가져올 수 있습니다. 또한, 모델의 매개변수 규모에 의존하지 않고 실행 능력(execution-bound capability)을 확장할 수 있음을 보여주며, LLM의 발전 방향에 새로운 가능성을 제시합니다.