대규모 언어모델(LLM)을 활용하는 에이전트 인공지능(AI) 시스템은 여러 단계를 거쳐 자율적으로 작업을 수행합니다. 이 과정에서 도구를 호출하고, 관찰 내용을 기억에 통합하며, 작업이 완료되거나 자원 예산이 소진될 때까지 반복하죠. 문제는 이러한 시스템이 고정된 작업 흐름(workflow)을 따르는 기존 방식과 달리, 필요한 컴퓨팅(compute), 대역폭(bandwidth), 그리고 전체 지연 시간(latency)을 사전에 예측하기 매우 어렵다는 점입니다. 중간 관찰 결과나 토큰 샘플링의 무작위성 때문에 자원 요구량이 실시간으로 변동하며, 이는 자원 관리자에게 큰 딜레마를 안겨줍니다.
이러한 예측 불가능성 때문에 인프라 관리자는 자원 부족으로 인한 작업 지연이나 마감 기한 미준수 위험을 감수하거나, 반대로 과도한 자원 할당으로 귀중한 클라우드 또는 엣지(edge) 컴퓨팅 자원을 낭비할 수밖에 없었습니다. 기존 스케줄러는 작업 흐름이 완전히 알려져 있어야 하고, 엣지 자원 관리 방식은 고정된 수요 모델에 의존하기 때문에, 에이전트 AI 시스템의 불확실하고 비정상적인 자원 요구량을 처리하기에는 역부족이었습니다. 이에 마수드 쇼크르네자드(Masoud Shokrnezhad)와 타릭 탈렙(Tarik Taleb) 연구팀은 '불확실성 인식 에이전트 오케스트레이션 문제(uncertainty-aware agentic orchestration problem)'를 정립하고, 이를 해결하기 위한 온라인 알고리즘 'CRO(Conformal Reservation for Orchestration)'를 제안했습니다.
CRO는 콘포멀 예측(Conformal Prediction)이라는 통계적 방법을 활용하여, 과거 실행 기록(execution traces)을 기반으로 자원 할당량을 결정합니다. 이 방식은 특정 확률로 실제 자원 수요를 충족하고 마감 기한을 준수할 수 있도록 보장하며, 기존 방식과 달리 특정 분포 가정을 필요로 하지 않는다는 장점이 있습니다. 다양한 작업 혼합 시뮬레이션 결과, CRO는 모든 위험 수준에서 목표 확률적 커버리지(probabilistic coverage)를 만족시키면서도, 자원 과잉 할당(over-reservation)을 최소화하여 기존 방식 대비 자원 낭비를 절반 수준으로 줄이는 효과를 보였습니다. 이 연구는 에이전트 AI 시스템의 효율적인 운영을 위한 중요한 진전을 의미하며, 미래 AI 인프라 설계에 큰 영향을 미칠 것으로 기대됩니다.