AI 모델 라우팅을 위한 개방형 프로토콜이자 참조 라우터인 '롤-모델(role-model)'이 새롭게 출시되었습니다. 이 프로토콜은 AI 애플리케이션이 어떤 모델에 요청을 보낼지 결정하는 복잡한 과정을 명확하고 설명 가능하게 만듭니다. 작업 유형, 필요한 기능, 비용, 지연 시간, 그리고 모델이 로컬에서 실행되는지 클라우드에서 실행되는지 등 다양한 요소를 종합적으로 고려하여 최적의 AI 모델을 선택합니다.
롤-모델은 요청의 요구사항, 엔드포인트의 기능, 정책 허용 여부, 그리고 최종 라우팅 결정의 이유를 설명하는 견고한 계약을 라우터에 제공합니다. 이는 하이브리드 배포 환경, 즉 로컬 모델 간, 로컬 모델과 클라우드 공급자 간, 또는 여러 클라우드 공급자 간의 라우팅을 지원합니다. 예를 들어, 간단한 채팅 요청은 빠른 로컬 모델로, 복잡한 코딩 작업은 강력한 클라우드 모델로, 그리고 주력 모델에 문제가 생기면 더 저렴한 클라우드 엔드포인트로 자동으로 전환하는 것이 가능해집니다. 이를 통해 개발자는 단일 런타임으로 다양한 시나리오에 대응할 수 있습니다.
이러한 라우팅 방식은 AI 애플리케이션의 성능과 비용 효율성을 크게 향상시킬 수 있습니다. 개발자는 더 이상 각 모델의 특성과 배포 환경을 일일이 고려하여 라우팅 로직을 직접 구현할 필요 없이, 롤-모델 프로토콜을 활용해 복잡성을 줄일 수 있습니다. 이는 AI 서비스의 안정성과 유연성을 높이는 동시에, AI 모델 활용의 투명성을 제공하여 어떤 모델이 어떤 이유로 선택되었는지 쉽게 파악할 수 있게 합니다. 결과적으로 AI 개발 생태계 전반에 걸쳐 효율성과 혁신을 촉진할 중요한 기반 기술이 될 것으로 기대됩니다.