오픈AI(OpenAI)가 최근 데브데이(DevDay) 행사에서 새로운 '디시전 API(Decision API)'를 공개하며 인공지능(AI) 서비스 개발의 새로운 지평을 열었습니다. 이 API는 오픈AI의 소형 모델 루나(Luna)를 기반으로 하며, 개발자가 입력한 질문, 답변 후보, 그리고 맥락 정보를 분석해 미리 정의된 답변 후보들에 신뢰도 점수를 매기는 방식으로 작동합니다. 이는 기존의 대규모 언어모델(LLM)을 활용한 분류 방식이나 별도의 소형 분류기를 학습시키는 방식의 대안으로 제시되었습니다.
디시전 API의 가장 큰 특징은 압도적인 속도입니다. 오픈AI 발표에 따르면 응답 시간이 150밀리초(ms)에 불과해, 일반적인 GPT-6 루나 모델의 1.6초 대비 약 10배 빠릅니다. 이는 실시간에 가까운 의사결정이 필요한 서비스에 특히 유리합니다. 주요 활용처로는 웹사이트 콘텐츠를 자동으로 분류하거나, 고객 문의를 적절한 부서로 라우팅(routing)하는 것, 그리고 AI 에이전트가 다음 행동을 결정하는 시나리오 등이 있습니다. 기존 모더레이션 API(Moderation API)도 범주별 점수를 제공하지만, 디시전 API는 개발자가 직접 답변 후보를 지정할 수 있어 훨씬 유연하게 활용할 수 있다는 차이가 있습니다.
이 디시전 API의 출시는 AI 서비스 개발 패러다임에 중요한 변화를 가져올 것으로 보입니다. 개발자들은 더 이상 복잡한 프롬프트 엔지니어링(prompt engineering)이나 별도의 분류 모델 학습 없이도 빠르고 정확한 의사결정 기능을 애플리케이션에 통합할 수 있게 됩니다. 이는 AI 기반 서비스의 개발 비용과 시간을 절감하고, 사용자 경험을 크게 향상시키는 데 기여할 것입니다. 특히, 실시간 상호작용이 중요한 분야에서 AI의 활용도를 높여 새로운 비즈니스 기회를 창출할 잠재력이 큽니다.