최근 연구에 따르면, 대규모 언어모델(LLM) 에이전트가 복잡한 그래프 구조의 정보를 탐색할 때, 동일한 증거를 여러 경로를 통해 반복적으로 접하면 이를 독립적인 여러 증거로 착각하여 잘못된 판단을 내릴 수 있다는 문제점이 제기되었습니다. 'GraphEcho'라는 새로운 벤치마크는 이러한 LLM 에이전트의 구조적 중복성(structural redundancy)과 증거 출처(evidence provenance) 문제를 체계적으로 평가하기 위해 개발되었습니다.
GraphEcho 벤치마크는 증거 내용은 동일하게 유지하면서 경로의 수와 증거의 출처를 다양하게 조절하여 에이전트의 판단 능력과 실제 탐색 행동을 평가합니다. 통제된 합성 실험 결과, 모델에 따라 판단의 변화가 있었지만, 중복된 지원 경로가 많아질수록 모든 평가 대상 에이전트에서 반복적인 탐색(repeated walks)의 비중이 증가하는 경향을 보였습니다. 이는 LLM 에이전트가 불필요하게 같은 정보를 여러 번 확인하며 자원을 낭비하고, 심지어는 중복된 정보를 독립적인 근거로 오인하여 확증 편향에 빠질 수 있음을 시사합니다. 연구팀은 출처 인지 사후 훈련(Provenance-aware post-training, PAPT)을 통해 반복 방문 횟수를 줄일 수 있었으나, 이는 동시에 탐색하는 고유한 출처의 수가 줄어드는 부작용을 낳기도 했습니다. 과학적 주장을 검증하는 실험에서는 반복은 줄었지만 정확도가 오히려 떨어지는 현상도 관찰되었습니다.
이러한 결과는 LLM 에이전트가 효율적인 탐색(efficient exploration)과 효과적인 증거 활용(effective evidence use) 사이에서 아직 균형을 찾지 못하고 있음을 명확히 보여줍니다. 즉, 에이전트가 스스로 반복 탐색을 멈추는 법을 배울 수는 있지만, 정작 필요한 정보를 간과할 수 있다는 것입니다. GraphEcho는 그래프 기반 에이전트가 어떤 결론을 내리는지뿐만 아니라, 그들의 탐색이 얼마나 다양한 독립적 증거 출처에 도달하는지를 통제된 방식으로 평가할 수 있는 중요한 도구를 제공하며, 향후 LLM 에이전트의 신뢰성과 의사결정 능력을 향상시키는 연구에 필수적인 기반이 될 것으로 기대됩니다.