최근 한 개발자가 '성(castle)'이라는 동일한 프롬프트 하나로 8가지 대규모 언어모델(LLM)을 활용해 총 24개의 절차적(procedural) 3D 세계를 생성하고 이를 비교하는 흥미로운 실험을 진행했습니다. 이 프로젝트는 각 LLM이 동일한 지시에도 불구하고 얼마나 다양하고 독창적인 결과물을 만들어낼 수 있는지 시각적으로 보여주며, 텍스트 기반으로 복잡한 3D 환경을 구축하는 새로운 가능성을 제시합니다.
이 실험에서는 GPT-4o, Claude 3 Opus, Gemini 1.5 Pro 등 주요 LLM들이 사용되었으며, 각 LLM은 Three.js 라이브러리를 이용해 3D 모델을 생성하는 코드를 출력하도록 지시받았습니다. 개발자는 각 LLM에 세 번씩 동일한 프롬프트를 입력하여 총 24개의 고유한 3D 성 세계를 만들었습니다. 결과물은 단순한 성벽부터 복잡한 지형과 구조를 가진 성까지 다양했으며, LLM마다 코드 생성 방식과 창의성에서 뚜렷한 차이를 보였습니다. 예를 들어, 어떤 LLM은 매우 사실적인 구조를 제안한 반면, 다른 LLM은 더 추상적이거나 예술적인 요소를 포함한 결과물을 내놓았습니다.
이 프로젝트는 대규모 언어모델이 단순한 텍스트 생성이나 요약을 넘어, 복잡한 프로그래밍 코드를 생성하고 이를 통해 시각적인 결과물을 만들어낼 수 있는 잠재력을 명확히 보여줍니다. 이는 게임 개발, 가상현실(VR), 건축 시뮬레이션 등 다양한 분야에서 3D 콘텐츠 제작의 패러다임을 바꿀 수 있는 중요한 의미를 가집니다. 특히, 전문적인 3D 모델링 지식 없이도 아이디어만으로 복잡한 3D 환경을 빠르게 프로토타이핑할 수 있게 되어, 개발자와 디자이너의 생산성을 크게 향상시킬 수 있을 것으로 기대됩니다. 또한, LLM의 프롬프트 엔지니어링(prompt engineering)이 3D 콘텐츠의 품질과 다양성에 얼마나 큰 영향을 미치는지 다시 한번 입증하는 사례이기도 합니다.