최근 한 개발자가 여러 장의 사진을 이용해 3D 공간을 재구성하는 증분형 SfM(Structure from Motion) 파이프라인을 공개했습니다. 이 파이프라인은 이미지 시퀀스에서 장면의 3D 형상과 카메라의 움직임을 동시에 복원하여 희소(sparse) 3D 포인트 클라우드를 생성합니다. 특히, 새로운 이미지가 추가될 때마다 전체를 처음부터 다시 계산하는 대신, 기존에 구축된 3D 모델을 점진적으로 확장하는 '증분(incremental)' 방식을 채택해 효율성을 높인 것이 특징입니다.
이 파이프라인은 SIFT(Scale-Invariant Feature Transform)를 이용한 특징점(feature point) 검출 및 매칭으로 시작합니다. 이후 첫 번째 이미지 쌍에서 필수 행렬(Essential Matrix)을 추정해 초기 카메라 자세(pose)를 복구하고, 이를 바탕으로 3D 점들을 삼각 측량(triangulation)합니다. 새로운 이미지가 들어오면, 기존 3D 포인트 클라우드와 새 이미지의 2D 특징점 간의 대응 관계를 찾아 PnP(Perspective-n-Point) 알고리즘으로 새 카메라의 위치와 방향을 결정합니다. 이 과정을 반복하며 3D 모델을 점진적으로 확장하고, 재투영 오차(reprojection error)를 계산해 모델의 품질을 검증합니다. 개발자는 튀르키예 이스탄불의 '크즈쿨레시'(Kız Kulesi, Maiden's Tower) 사진들을 활용해 이 기술이 어떻게 작동하는지 시각적으로 보여주었습니다.
이러한 증분형 SfM 기술은 드론 매핑, 자율주행, 가상현실(VR) 콘텐츠 제작 등 다양한 분야에서 활용될 잠재력이 큽니다. 특히, 실시간 또는 준실시간으로 3D 환경을 구축해야 하는 애플리케이션에 매우 유용할 수 있습니다. 기존 SfM 방식이 대규모 데이터셋 처리 시 많은 시간과 연산 자원을 요구했던 것에 비해, 증분 방식은 효율적인 자원 활용을 가능하게 하여 더 넓은 범위의 사용자들이 3D 재구성 기술에 접근할 수 있도록 돕습니다. 이는 3D 스캐닝 장비 없이도 스마트폰이나 일반 카메라로 촬영한 영상만으로도 고품질의 3D 모델을 만들 수 있는 기반을 제공하며, 관련 기술의 대중화와 혁신을 가속화할 것으로 기대됩니다.