AI 에이전트 개발자들이 겪는 가장 큰 어려움 중 하나는 에이전트의 동작을 이해하고 개선하는 것입니다. '키타루(Kitaru)'는 이러한 문제를 해결하기 위해 고안된 오픈소스 런타임으로, 에이전트의 모든 실행 과정을 기록하고 재현하며 개선할 수 있는 기능을 제공합니다. 이는 'AI 엔지니어링 월드 페어'에서 강조된 '자체 개선 루프(self-improvement loop)'를 구현하는 핵심 도구로 주목받고 있습니다.
키타루는 기존 에이전트 스택에 쉽게 통합될 수 있도록 설계되었습니다. 개발자는 자신이 선택한 대규모 언어모델(LLM), 프롬프트, 도구, 프레임워크를 그대로 사용하면서 키타루를 런타임 계층에 추가할 수 있습니다. 키타루는 에이전트 실행의 모든 단계, 즉 모델 호출, 도구 호출, 의사 결정 과정을 체크포인트로 기록하여 객체 저장소에 저장합니다. 이 기록을 통해 개발자는 실패 지점을 정확히 진단하고, 특정 체크포인트부터 실행을 재개하며, 모델이나 매개변수, 도구 출력을 변경하여 '가상 실험'을 수행할 수 있습니다. 또한, 토큰 사용량과 지연 시간 등 성능 지표를 추적하여 비용 효율적인 모델 선택에도 도움을 줍니다.
키타루의 강점은 프로덕션 환경에서의 안정성과 유연성입니다. 시스템 충돌이나 타임아웃 발생 시에도 처음부터 다시 시작할 필요 없이 마지막 체크포인트부터 복구할 수 있어 토큰 낭비를 줄입니다. `kitaru.wait()` 기능을 통해 에이전트 실행을 일시 중지하고 필요할 때 재개할 수 있으며, `flow.deploy()`를 통해 에이전트 버전을 관리하고 롤백하는 것이 용이합니다. 이 모든 기능은 개발자의 자체 인프라에서 호스팅되므로 데이터 주권과 보안을 확보할 수 있습니다. 키타루는 파이썬(Python) 기반으로, `@flow`와 `@checkpoint` 두 가지 데코레이터와 몇 가지 유틸리티 함수만으로 에이전트 로직을 구현할 수 있어 개발 편의성도 높습니다. 내장된 사용자 인터페이스(UI)를 통해 에이전트 실행을 시각적으로 관찰하고 체크포인트 출력을 검사할 수 있습니다.
키타루는 에이전트 플랫폼을 직접 구축하려는 팀에게 특히 유용합니다. 실행 기록, 체크포인트, 재실행, 호출 라우팅 등 에이전트 실행 계층에서 필요한 핵심 기능을 제공하면서도, 상위 애플리케이션 팀이 어떤 하네스(Harness)를 사용할지 강제하지 않아 유연성을 보장합니다. 이는 다양한 에이전트 개발 환경에 맞춰 확장 가능한 인프라를 구축하려는 기업들에게 매력적인 솔루션이 될 것입니다.