Spinfinc이 대규모 언어모델(LLM)을 활용한 대량 분류 및 의사결정 추론(inference) 서버인 'Spinf-serve'를 오픈소스로 공개했습니다. 이 서버는 단일 GPU에서 콘텐츠를 한 번만 읽어 여러 질문에 대한 점수(scoring)와 결정을 동시에 수행할 수 있도록 설계되어, 기존 LLM 추론 방식의 비효율성을 개선했습니다. OpenAI 호환 API를 제공하며, 아파치 2.0(Apache 2.0) 라이선스로 배포됩니다.
Spinf-serve는 특히 대량의 텍스트에 대해 여러 가지 질문을 동시에 처리할 때 강력한 성능을 발휘합니다. 예를 들어, 수백만 건의 뉴스 기사에서 시장 지수를 추출하거나, 고객 지원 메시지에서 환불 요청 여부와 문제 유형을 동시에 분류하는 작업에 적합합니다. 기존 챗봇 서버는 각 질문마다 콘텐츠를 다시 읽고 토큰을 하나씩 생성하는 방식이어서 느리고 비용이 많이 들었지만, Spinf-serve는 모든 질문을 콘텐츠의 한 번의 읽기 과정에 병렬적으로 배치하고 여러 콘텐츠를 한 번의 포워드 패스(forward pass)에 묶어 처리함으로써 효율성을 극대화합니다. 이는 텍스트 생성 대신 고정된 답변 옵션에 대한 확률을 반환하는 '결정 모델(decision model)' 방식에 기반합니다.
이러한 최적화는 대규모 데이터 분석이 필요한 산업에서 비용 절감과 처리 속도 향상에 크게 기여할 것으로 기대됩니다. 금융 시장 분석, 콘텐츠 모더레이션, 고객 피드백 분류 등 대량의 비정형 데이터를 빠르고 정확하게 분류하고 의사결정을 내려야 하는 분야에서 Spinf-serve는 핵심적인 도구가 될 수 있습니다. 또한, 자체 하드웨어에서 LLM 추론을 실행하고자 하는 기업이나 개발자들에게 유연하고 효율적인 솔루션을 제공하며, 오픈소스 생태계에 기여할 것입니다.