랭와치(LangWatch)가 AI 에이전트의 개발 및 개선 과정을 자동화하는 새로운 AI 엔지니어 '랭이(Langy)'를 공개했습니다. 랭이는 단순한 코드 도우미를 넘어, 실제 프로덕션 환경에서 AI 에이전트의 동작을 분석하고, 문제점을 찾아내며, 이를 해결하기 위한 시나리오 테스트와 평가를 직접 작성합니다. 나아가 코드 변경 사항을 깃허브(GitHub)에 풀 리퀘스트(Pull Request)로 올리고, CI(Continuous Integration) 환경에서 변경 사항의 유효성까지 검증하는 전 과정을 자동화합니다.
랭이는 수천 개의 프로덕션 대화를 분석하여 AI 에이전트의 실제 동작 패턴과 문제점을 파악하고, 이를 해결하기 위한 평가 및 시나리오 시뮬레이션을 생성합니다. 발견된 문제점을 재현하는 실패 테스트를 만들고, 깃허브에 연결하여 에이전트를 수정하는 풀 리퀘스트를 생성하며, CI에서 자체 시뮬레이션을 실행하여 수정 사항을 검증합니다. 또한, 두 가지 모델 또는 프롬프트 버전 비교, 프롬프트 언어 번역, 문제 재발 방지 신호 설정 등 다양한 작업을 수행할 수 있습니다. 랭와치 플랫폼 내에서 랭이의 모든 실행 과정 또한 추적, 비용 산정, 평가되어 투명하게 관리됩니다.
이러한 자동화는 AI 에이전트 개발 팀에 큰 변화를 가져올 것으로 예상됩니다. 기존에는 도메인 전문가(PM 등)가 발견한 문제나 개선 아이디어를 개발자에게 전달하면, 개발자가 이를 코드로 구현하고 테스트하는 과정에서 병목 현상이 발생했습니다. 랭이는 도메인 전문가가 평이한 언어로 개선 사항을 설명하면, 이를 시나리오 테스트와 평가로 전환하고 수정 사항을 풀 리퀘스트로 생성하여 개발자는 변경 사항을 검토하고 승인하는 역할에 집중할 수 있게 됩니다. 이는 개발자의 업무 부담을 줄이고, 도메인 전문가의 기여도를 높여 AI 에이전트의 개선 속도와 효율성을 획기적으로 향상시킬 것입니다.