대규모 언어모델(LLM)의 평가 방식이 단순한 이미지 생성 과제를 넘어, 복잡한 3D 세계를 절차적으로 구현하는 장시간 작업으로 진화하고 있습니다. 최근 앤트로픽(Anthropic)의 클로드 3 오푸스(Claude 3 Opus)는 J.R.R. 톨킨의 소설 《반지의 제왕(The Lord of the Rings)》 첫 문단을 입력받아, 웹 기반 3D 그래픽 라이브러리인 Three.js를 활용한 3D 세계를 생성하는 데 성공했습니다. 이 작업은 약 2시간 동안 5,500줄의 코드를 작성하며 진행되었고, 약 10달러의 비용이 소요되었습니다.
클로드 3 오푸스는 주어진 문단에 맞춰 여러 폴리곤 자산(polygon assets)을 절차적으로 생성하고 3차원 좌표에 배치한 뒤, 이야기 전개에 따라 애니메이션으로 연결했습니다. 결과물은 다소 어설픈 부분이 있었지만, LLM이 시각적 자산과 움직임을 조율하여 실제로 작동하는 3D 환경을 완성했다는 점에서 주목할 만합니다. 이는 사람이 시간 대비 가치가 낮아 시도하지 않던 '초맞춤형 콘텐츠'를 LLM의 인내력과 저렴한 비용으로 주문형 제작할 수 있는 가능성을 보여줍니다. 예를 들어, 특정 소설을 기반으로 한 '일회성 GTA(Grand Theft Auto)' 같은 맞춤형 게임 세계를 생성하는 개념으로 확장될 수 있습니다.
하지만 이러한 장시간 생성 작업에는 여전히 한계가 존재합니다. LLM은 자신이 생성한 세계나 게임을 직접 플레이하며 검증하기 어렵고, 비디오를 효율적으로 인식하는 능력도 부족합니다. 클로드 3 오푸스 역시 여러 시점의 스크린샷을 느리고 수고롭게 확인하는 과정을 거쳤으며, 이 과정에서 몇 차례 실수를 범해 완성도 문제를 남겼습니다. 이는 멀티모달(multimodal) 인식 및 게임 플레이 능력과 같은 복합적인 추론 능력이 장시간 생성 작업의 완성도를 높이는 데 여전히 중요한 과제임을 시사합니다. 그럼에도 불구하고, 이번 시도는 LLM이 단순한 텍스트나 이미지 생성을 넘어 물리 세계에 대한 이해와 복잡한 상호작용이 필요한 영역으로 나아가고 있음을 보여주는 중요한 이정표가 될 것입니다.