최근 AI 기반의 다중 에이전트(multi-agent) 사회 시뮬레이션 기술이 주목받고 있습니다. 이는 수백 개의 AI 페르소나를 생성하여 특정 문서나 정책에 대한 대중의 반응을 예측하는 것을 목표로 합니다. 하지만 이러한 시뮬레이션이 실제 현실을 얼마나 정확하게 예측하는지에 대한 객관적인 검증은 부족했습니다. 이에 한 개발자가 '미로피시 캘리브레이션(MiroFish Calibration)'이라는 로컬 테스트 환경을 공개하며, AI 사회 시뮬레이션의 예측력을 측정하고 검증할 수 있는 도구를 제시했습니다.
이 테스트 환경은 올라마(Ollama)를 통해 100% 로컬에서 실행되며, 단일 대규모 언어모델(LLM)의 예측과 다중 에이전트 '미니 스웜(mini_swarm)'의 예측을 비교합니다. 초기 5가지 합성 사례(synthetic cases)에 대한 'qwen2.5:7b' 모델을 사용한 예비 실험 결과는 흥미롭습니다. 사람들의 반응 방향(감성 방향) 예측에서는 단일 LLM과 미니 스웜이 비슷한 수준(약 60%)을 보였으나, 어떤 반대 의견이 나올지(반대 의견 회수율)에 대해서는 단일 LLM이 약 98%로 미니 스웜(약 70%)보다 훨씬 우수했습니다. 특히 시뮬레이션이 강점을 가질 것으로 기대되었던 바이럴 확산(virality magnitude)이나 양극화(polarization)와 같은 '집단적 마법' 신호들은 이 작은 규모의 실험에서는 통계적으로 유의미한 결과를 보이지 않고 노이즈에 가까웠습니다. 에이전트 간 상호작용 라운드를 추가해도 예측력 향상에 큰 도움이 되지 않았습니다.
이러한 잠정적인 결과는 현재의 다중 에이전트 사회 시뮬레이션 기술이 '예측의 마법'을 제공한다는 주장에 대해 신중한 접근이 필요함을 시사합니다. 물론 이 실험은 제한된 데이터(n=5)와 단순화된 시뮬레이션 모델(실제 미로피시가 아닌 '미니 스웜')을 사용했으므로, 실제 미로피시(MiroFish)와 같은 정교한 엔진에 수십 개의 실제 사례와 다양한 시드를 적용하여 추가 검증이 필요합니다. 하지만 이 '캘리브레이션 리그(calibration rig)'는 데모에만 의존하지 않고, AI 사회 시뮬레이션 기술의 실제 효용성을 객관적으로 측정하고 개선할 수 있는 중요한 방법론적 토대를 제공한다는 점에서 의미가 큽니다. 이는 AI 에이전트 시스템 개발자들이 '주장'이 아닌 '증명'을 통해 기술의 가치를 입증하도록 독려하는 계기가 될 것입니다.