PhiloLabs가 AI 에이전트 'Claude Fable 5.1'을 활용해 실제 세계를 정교한 3D 디지털 트윈(digital twin)으로 재구성하는 'Fable 5.1 World Modeling' 프로젝트를 선보였습니다. 이 프로젝트는 샌프란시스코의 유니언 스퀘어와 교토의 히가시야마 지역을 웹 브라우저에서 바로 실행 가능한 3D 앱 형태로 구현하며, 모든 건물, 상점, 표지판, 가로수, 신호등까지 오픈 데이터와 공개 참조 이미지를 통해 코드로 자동 생성됩니다. 기존 게임 엔진이나 독점 3D 타일 없이 순수 Three.js 앱으로 구동되는 점이 특징입니다.
샌프란시스코 유니언 스퀘어 모델은 실제 지형과 도로망 위에 453개의 건물, 129개의 상점, 작동하는 신호등과 케이블카, 220명의 보행자 등을 포함합니다. 특히 애플 유니언 스퀘어와 닌텐도 샌프란시스코 매장의 내부까지 탐험할 수 있도록 구현되었습니다. 교토 히가시야마 모델은 기온에서 기요미즈데라까지 2.3km에 달하는 실제 도보 경로를 재현하며, 1,938그루의 나무와 3,076개의 소품 등 세밀한 디테일을 자랑합니다. 이 모델은 수작업으로 그린 애니메이션 배경처럼 렌더링되어 독특한 시각적 경험을 제공하며, 모든 요소가 바이너리 에셋 없이 Canvas2D로 그려집니다. 이 모든 과정은 정찰, 오프라인 에셋 생성, 런타임, 카메라 매치 품질 보증(QA)의 파이프라인을 거치며, 각 단계마다 자율 에이전트가 데이터를 수집하고 모델링하며 실제 사진과 비교 검증합니다.
이 프로젝트는 대규모 언어모델(LLM) 기반 AI 에이전트가 복잡한 현실 세계를 디지털화하는 데 얼마나 강력한 도구가 될 수 있는지 보여줍니다. 모든 요소가 코드로 생성되고 오픈 데이터를 활용한다는 점에서, 특정 소프트웨어 종속성 없이 확장 가능한 디지털 트윈 제작의 새로운 패러다임을 제시합니다. 이는 도시 계획, 시뮬레이션, 가상 관광, 그리고 미래 메타버스 환경 구축에 있어 비용 효율적이고 유연한 접근 방식을 제공할 잠재력이 큽니다. 특히, 실제와 다른 것으로 알려진 건축물의 수치까지 정밀 측량하여 반영하는 등 정확성에 대한 집착은 디지털 트윈의 신뢰도를 한 차원 높이는 중요한 시사점을 던집니다.