SIE(Superlinked Inference Engine)가 소형 AI 모델을 위한 관리형 추론 서비스인 'SIE 서버리스'를 출시했습니다. 이 서비스는 검색, OCR(광학 문자 인식), 에이전트(agent) 실행 등 20가지 이상의 특정 작업에 최적화된 소형 오픈 모델(open model)을 제공하며, 대규모 언어모델(LLM) 기반의 기존 서비스 대비 비용을 크게 절감하고 속도는 향상시키는 것이 특징입니다. 특히, 급증하는 워크로드(spiky workload)에 유연하게 대응하면서도 보안과 데이터 주권(data sovereignty)을 중시하는 기업들을 위해 자체 호스팅 옵션도 함께 제공합니다.
SIE 서버리스는 미스트랄(Mistral) OCR 대비 93% 저렴한 비용으로 영수증 및 필기 인식을, GPT-트랜스크라이브(GPT-Transcribe) 대비 83% 저렴하게 오디오를 텍스트로 변환할 수 있다고 강조합니다. 또한, 클로드 소네트 5.5(Claude Sonnet 5.5)와 유사한 품질의 지식 그래프(knowledge graph) 구축을 99% 저렴하게, 코히어 리랭크 4 프로(Cohere Rerank 4 Pro)보다 3배 빠르고 94% 저렴하게 검색 결과를 재순위화(rerank)하는 등 구체적인 성능 및 비용 절감 수치를 제시했습니다. 이는 특정 작업에 특화된 소형 모델을 활용하여 불필요한 컴퓨팅 자원 소모를 줄이고 효율성을 극대화한 결과입니다. SIE는 API 호출 방식 외에도 고객의 자체 클라우드 환경에 모델을 배포할 수 있는 'SIE 로컬(Local)' 및 'SIE 클러스터(Cluster)' 솔루션도 제공하여, 데이터가 외부로 나가지 않도록 내부 네트워크에서 추론을 수행할 수 있게 합니다.
이러한 접근 방식은 AI 도입을 고려하는 기업들에게 중요한 시사점을 제공합니다. 특히 민감한 데이터를 다루는 금융, 법률, 헬스케어 분야에서는 데이터 보안과 규제 준수가 최우선 과제인데, SIE의 자체 호스팅 옵션은 이러한 우려를 해소하며 AI 활용의 폭을 넓힐 수 있습니다. 또한, 대형 LLM의 높은 추론 비용에 부담을 느끼던 중소기업이나 스타트업에게는 AI 기능을 도입할 수 있는 현실적인 대안을 제시합니다. 특정 작업에 최적화된 소형 모델의 활용은 AI 비용 효율성을 높이는 동시에, 필요한 성능을 유지하면서도 더 빠르고 민첩하게 서비스를 구축하고 운영할 수 있는 길을 열어줄 것입니다.