Oodle.ai가 대규모 언어모델(LLM) 에이전트의 관측성(observability) 솔루션을 새롭게 선보였습니다. 이 솔루션은 LLM 에이전트가 생성하는 방대한 추적(trace) 데이터를 샘플링 없이 100% 저장하면서도, 100만 스팬(span)당 10달러라는 파격적인 가격을 제시합니다. LLM 에이전트는 비결정적 특성 때문에 예측 불가능한 방식으로 오류를 발생시키므로, 모든 실행 과정을 기록하고 분석하는 것이 안정적인 운영에 필수적입니다.
Oodle.ai는 지난 2년간 로그, 메트릭, 추적 데이터를 위한 컬럼형 스토리지 엔진을 개발해왔으며, 이를 기반으로 LLM 에이전트 관측성 기능을 구현했습니다. 이들은 대용량 추적 데이터를 S3에 자체 개발한 Parquet 유사 파일 형식으로 저장하고, AWS Lambda를 활용해 빠르고 저렴하게 쿼리할 수 있도록 설계했습니다. 이를 통해 사용자 불만, 도구 호출 최적화, 이상 탐지 등 에이전트의 다양한 실패 유형을 자동으로 분석하고, 프롬프트(prompt)와 도구 호출(tool call) 등 메타데이터가 큰 추적 데이터도 1초 미만의 P99(99번째 백분위수) 속도로 빠르게 검색할 수 있습니다.
이 솔루션은 LLM 에이전트를 프로덕션 환경에 배포하고 운영하는 기업들에게 큰 이점을 제공합니다. 기존에는 에이전트의 비결정적 실패를 모두 추적하기 어려웠고, 방대한 데이터를 저장하고 분석하는 비용 또한 부담이 컸습니다. Oodle.ai는 이러한 문제를 해결하여 개발팀이 에이전트의 성능과 안정성을 효과적으로 개선할 수 있도록 돕습니다. 모든 추적 데이터를 보관함으로써 사소한 오류나 비효율적인 부분을 놓치지 않고 발견하여, 최종 사용자 경험을 향상시키고 운영 비용을 절감하는 데 기여할 것으로 기대됩니다.