앤트로픽(Anthropic)의 대규모 언어모델(LLM) 클로드 페이블 5.1(Claude Fable 5.1) 에이전트 군집이 실제 도시를 3D 가상 세계로 재현하는 놀라운 프로젝트를 선보였습니다. 이 에이전트들은 샌프란시스코 유니언 스퀘어(Union Square)와 교토 히가시야마(Higashiyama) 지역을 스스로 조사하고, 3D 모델링하며, 심지어 실제 사진과 비교해 검수까지 마쳤습니다. 이 모든 과정은 브라우저에서 바로 탐색 가능한 Three.js 기반의 세계로 구현되었으며, 약 2시간 동안 800만 토큰과 33달러의 API 비용만으로 완성되었습니다.
프로젝트는 게임 엔진이나 독점 3D 타일 없이 공개 데이터와 참조 이미지를 활용했습니다. 샌프란시스코 유니언 스퀘어는 453개 건물 윤곽, 129개 상점, 움직이는 보행자와 차량, 심지어 애플(Apple)과 닌텐도(Nintendo) 매장 내부까지 구현했습니다. 교토 히가시야마는 2.3km의 도보 경로를 애니메이션 배경처럼 재현했으며, 표지판, 등불, 기와 등은 바이너리 자산 없이 실행 시점에 코드로 생성했습니다. 특히 교토의 경우, 일본 국토지리원(GSI)의 1m LiDAR 데이터를 조회해 고도를 결정하고, 실제 측량 결과 오차가 있던 야사카 탑(Yasaka Pagoda) 높이 등 6가지 수치를 정정해 반영하는 등 높은 정확도를 보였습니다.
이 프로젝트의 핵심은 AI 에이전트들이 정찰, 오프라인 자산 생성, 런타임 조립, 카메라 매칭 품질 검사, 독립 검토까지 전 과정을 파이프라인으로 구성해 자율적으로 수행했다는 점입니다. 이는 LLM이 단순히 텍스트를 생성하는 것을 넘어, 복잡한 실제 세계 데이터를 이해하고, 3D 자산을 생성하며, 품질을 검증하는 다단계 작업을 스스로 관리할 수 있음을 보여줍니다. 이러한 기술은 디지털 트윈(Digital Twin) 구축, 가상 현실(VR) 및 증강 현실(AR) 콘텐츠 제작, 그리고 시뮬레이션 환경 개발 등 다양한 분야에 혁신적인 변화를 가져올 잠재력을 가지고 있습니다. 특히, 수작업에 의존하던 3D 모델링 및 환경 구축 과정을 자동화하여 비용과 시간을 획기적으로 절감할 수 있을 것으로 기대됩니다.