베슬AI가 한국의 인공지능(AI) 스타트업 업스테이지(Upstage)가 개발한 대규모 언어모델(LLM) '솔라 프로4(Solar Pro 4)'의 글로벌 추론(inference) 운영을 성공적으로 담당했습니다. 추론은 학습을 마친 AI 모델을 실제 서비스에 적용하여 사용자 질문에 답을 제공하는 과정을 의미합니다. 베슬AI는 한국, 유럽, 미국에 분산된 데이터센터의 GPU 서버를 통해 전 세계 사용자들의 솔라 프로4 요청을 안정적으로 처리하며 기술력을 입증했습니다.
베슬AI는 솔라 프로4의 글로벌 서비스 기간 동안, 특히 신규 모델 출시나 프로모션으로 인해 요청이 폭증하는 시기에 대비하여 업스테이지와 긴밀히 협력했습니다. 예상 수요를 기반으로 필요한 처리 용량을 함께 설계하고, 모델 특성과 실제 이용 패턴에 맞춰 GPU 자원 및 서비스 인프라를 최적화했습니다. 또한, 캐시(cache) 활용률을 높이고 모델을 경량화하는 양자화(quantization) 기법 등을 적용하여 처리 효율을 극대화했습니다. 그 결과, 솔라 프로4의 처리 속도를 평균 2배, 최대 3배까지 향상시키고, 토큰(단어 단위)당 처리 비용을 최대 절반으로 절감하는 성과를 달성했습니다.
이번 협력은 한국에서 개발된 AI 모델이 글로벌 시장에서 성공적으로 서비스될 수 있도록 국내 클라우드 인프라 기술이 뒷받침했다는 점에서 큰 의미를 가집니다. 베슬AI는 모델 개발사가 연구와 제품 개발에 집중할 수 있도록 추론 운영 역량을 강화하겠다는 포부를 밝혔습니다. 이는 GPU 인프라 공급을 넘어 AI 모델 서비스 운영으로 사업 영역을 확장하는 베슬AI의 전략을 보여주며, 앞으로도 한국 AI 기술의 글로벌 경쟁력 강화에 기여할 것으로 기대됩니다.