최근 앤트로픽(Anthropic)의 클로드(Claude) 모델을 활용한 실험에서 코딩 에이전트가 코드 탐색 및 편집 작업 시 언어 서버 프로토콜(LSP) 기반의 정교한 의미 기반 도구보다 'grep'과 같은 단순 텍스트 검색 도구를 선호하는 경향이 나타났습니다. 특히 단순 코드 위치 찾기 작업에서는 의미 기반 도구 호출 비중이 0~6%에 그쳤고, 심지어 의미 기반 탐색을 강제했을 때 성공률이 100%에서 89%로 하락하는 결과도 관찰되었습니다. 이는 에이전트가 도구를 선택하고 활용하는 방식에 대한 흥미로운 시사점을 제공합니다.
실험은 클로드 Opus 4.8, Sonnet 4.6, Haiku 4.5 모델을 대상으로 파이썬(Python) 및 타입스크립트(TypeScript) 저장소에서 코드 위치 찾기, 전체 호출자 찾기, 편집 작업을 비교했습니다. 의미 기반 탐색은 실제 함수 호출과 주석의 같은 단어를 구분할 수 있는 반면, grep은 일치하는 텍스트를 검색합니다. 흥미롭게도, LSP 기반 도구가 파일 경로와 행, 열만 반환한 반면, grep은 일치하는 코드 줄 전체를 반환하여 에이전트가 추가 파일 읽기 없이 즉시 맥락을 파악할 수 있었습니다. 이처럼 LSP 결과에 소스 코드 맥락을 함께 제공하자 다중 파일 이름 변경 작업의 첫 시도 성공률이 0.67에서 0.83으로 높아지고, 후속 파일 읽기 횟수가 15.2회에서 3.2회로 크게 줄어드는 등 성능 개선이 확인되었습니다.
이 연구는 에이전트의 역량이 단순히 모델의 성능뿐 아니라, 모델을 둘러싼 실행 환경인 하네스(harness)와 도구 인터페이스, 그리고 출력 형식에 크게 좌우됨을 보여줍니다. 즉, 도구의 기술적 정교함만큼이나 에이전트가 정보를 얼마나 효율적으로 이해하고 활용할 수 있도록 제공하는지가 중요합니다. 주석이나 문자열까지 수정해야 하는 광범위한 리팩토링 작업에서는 의미 기반 탐색이 놓칠 수 있는 부분을 grep의 넓은 검색 범위가 보완할 수 있어, 작업의 성격에 따라 적절한 도구 선택이 필요하다는 점도 강조됩니다. 따라서 새로운 도구를 도입할 때는 단순히 기능을 제공하는 것을 넘어, 에이전트가 이를 효과적으로 사용하도록 충분한 맥락을 제공하고 기존 도구와의 대체 경로를 유지하는 등 전체적인 작업 흐름을 고려해야 합니다.