대규모 언어모델(LLM)이 금융 시장, 콘텐츠 중재, 채용 등 중요한 실제 시스템에 대규모로 배포되면서, 개별 모델의 성능 향상이 오히려 시스템 전체의 결과를 저해할 수 있다는 흥미로운 연구 결과가 나왔습니다. 아카이브(arXiv)에 발표된 이 논문은 LLM 에이전트들이 공유된 훈련 데이터와 아키텍처로 인해 유사하게 행동할 가능성이 높고, 이러한 상관된 행동이 분산되지 않는 위험을 초래할 수 있다고 지적합니다.
연구팀은 금융 시장 시뮬레이션을 통해 이 가설을 검증했습니다. 다양한 역량을 가진 LLM 트레이더들을 활용한 에이전트 기반 시뮬레이션 결과, 최신 LLM(프론티어 LLM)들은 역량이 향상될수록 행동의 상관관계가 유의미하게 증가하는 것으로 나타났습니다. 흥미로운 점은, LLM 에이전트들의 공유된 추론이 정확할 때는 시장 위험이 감소했지만, 공통된 잘못된 정보 환경에 노출될 경우 동일한 상관된 행동이 오히려 시스템에 큰 부담으로 작용한다는 사실이었습니다. 이는 개별 모델이 아무리 뛰어나도 시스템 전체의 안정성을 보장하지 못하는 '역량 역설(capability paradox)'을 보여줍니다.
이 연구는 AI 시스템을 설계하고 배포하는 데 있어 중요한 시사점을 제공합니다. 단순히 개별 LLM의 성능을 높이는 것만이 능사가 아니라, 여러 LLM이 상호작용하는 시스템 수준에서의 행동 다양성과 견고성을 함께 고려해야 함을 의미합니다. 특히 금융 시장과 같이 작은 오류가 큰 파급 효과를 낳을 수 있는 분야에서는, LLM 에이전트들의 상관된 행동이 시스템 전반의 안정성을 위협하는 새로운 형태의 위험으로 작용할 수 있음을 인지하고 대비해야 합니다. 이는 AI 기술의 발전과 함께 시스템 전반의 위험 관리 전략도 고도화되어야 함을 강조합니다.