최근 '리임(Reame)'이라는 새로운 대규모 언어모델(LLM) 추론 서버가 공개되어, 저사양 CPU 환경에서도 LLM의 성능을 크게 향상시킬 수 있는 가능성을 제시하고 있습니다. 이 서버는 GPU가 아닌 공유 vCPU, 무료 클라우드 티어, 2코어 ARM 박스와 같은 저렴한 CPU 하드웨어에 최적화되어 설계되었으며, 특히 반복적인 AI 워크로드에서 뛰어난 효율을 보여줍니다.
리임의 핵심 아이디어는 'CPU에서는 같은 것을 두 번 계산하지 않는다'는 것입니다. 이를 위해 영구적인 공유 접두사 KV 캐시(Persistent shared-prefix KV cache), 생성 기록 아카이브인 팔림세스트(Palimpsest), 문법 기반 예측(Il Suggeritore), 그리고 자체 조절 투기적 디코딩(Self-regulating speculative decoding) 등 다양한 기술을 통합했습니다. 예를 들어, 시스템 프롬프트는 한 번만 비용을 지불하고 재사용하며, 이전에 생성된 내용은 디스크에 저장되어 이후 요청 시 무료로 활용됩니다. 또한, 여러 후보 답변을 생성하여 다수결로 최적의 결과를 선택하는 '콘클라베(The Conclave)' 기능은 모델의 정확도를 높이는 데 기여합니다. 이 모든 기능은 Redis 호환 서비스인 ARCA 데몬을 통해 공유 메모리 방식으로 구현되어, 여러 노드 간에 캐시와 생성 기록을 공유할 수 있습니다.
이러한 접근 방식은 특히 문서 추출 및 분류, 배치 파이프라인, 박리다매 SaaS 내 AI 기능, 개인정보 보호가 중요한 작업, 사내 코드 자동 완성 등 특정 도메인의 반복적인 AI 작업에 매우 적합합니다. 리임은 7B 규모의 모델로도 긴 컨텍스트 추출에서 100% 정확도를 달성하며, 첫 번째 요청 대비 100번째 요청의 비용을 크게 절감하는 등 실제 환경에서 측정된 성능 향상을 보여주었습니다. 이는 고가의 GPU 인프라 없이도 온디바이스 AI나 비용 효율적인 AI 서비스를 구축하려는 스타트업 및 개발자들에게 매력적인 대안이 될 수 있습니다. 궁극적으로 리임은 AI 기술의 접근성을 높이고, 더 많은 기업과 개발자가 비용 부담 없이 AI를 활용할 수 있는 길을 열어줄 것으로 기대됩니다.