최근 한 연구에서 클로드(Claude), 코덱스(Codex), 커서(Cursor)와 같은 주요 코딩 AI 에이전트들이 실제 개발 환경에서 어떤 서드파티(third-party) 도구를 선택하는지 대규모 분석을 진행했습니다. 총 1만 7천 건에 달하는 실행(run)을 통해 이들이 어떤 정보원을 활용하고, 어떤 도구를 선호하며, 어떤 상황에서 내장(in-house) 솔루션을 구축하는지 등을 면밀히 조사했습니다. 이는 AI 기반 개발 도구의 실제 활용 패턴과 잠재력을 이해하는 데 중요한 통찰을 제공합니다.
실험은 수천 개의 공개 깃허브(GitHub) 저장소(repository)를 분석하여 실제 스타트업 환경과 유사한 75개의 가상 저장소를 구축하는 방식으로 진행되었습니다. 각 저장소는 10가지 프로그래밍 언어로 구성되었고, 가짜 회사명, 가짜 깃(Git) 기록, 가짜 API 키를 사용했지만, 실제 패키지 관리자 레지스트리(npm 등)와 연동된 잠금 파일(lockfile)을 활용해 현실성을 높였습니다. '초보 개발자'부터 '대기업 엔지니어'까지 4가지 사용자 프로필을 설정하고,