고품질 3D 이미지 합성에 필수적인 확산 모델(Diffusion Model)이 GPU 자원 소모 문제로 실제 적용에 어려움을 겪어왔습니다. 특히 3D 의료 영상(MRI) 합성 모델인 Med-DDPM과 같은 최첨단 모델은 샘플당 수백 번의 U-Net 평가와 이질적인 커널(kernel) 동작으로 인해 막대한 GPU 리소스가 필요했습니다. 최근 연구에서는 이러한 3D 확산 모델의 성능 병목 현상을 심층 분석하고, 특정 GPU 아키텍처에 최적화된 방법을 통해 처리 효율을 최대 100배까지 향상시키는 데 성공했습니다.
연구팀은 엔비디아(NVIDIA)의 세 가지 GPU 아키텍처(아마도 V100, A100, H100 등)에서 Med-DDPM의 커널 수준 런타임 분석, 명령어 혼합 특성, 메모리 시스템 활용, 워프(warp) 수준 활동 등을 면밀히 조사했습니다. 그 결과, 학습 과정의 대부분이 cuDNN 컨볼루션(convolution)과 암시적 GEMM(implicit-GEMM) 커널에 의해 지배되며, 메모리 접근 패턴, 텐서(tensor) 레이아웃 변환, 그리고 텐서 코어(Tensor Core) 활용률 부족이 비효율성의 주원인임을 밝혀냈습니다. 이러한 통찰력을 바탕으로, 연구팀은 두 가지 아키텍처 인지 최적화 기법을 적용했습니다. 바로 TF32 텐서 코어 활성화와 3D 채널-라스트(channels-last) 레이아웃입니다. 이 최적화를 통해 A100 GPU에서 SM(Streaming Multiprocessor) 사이클과 동적 명령어를 최대 100배 줄였고, 텐서 코어 활용률은 1.45배에서 9.98배로 크게 증가했으며, IPC(Instructions Per Cycle)는 7% 향상되었습니다. 이 모든 개선은 합성 품질 저하 없이 이루어졌습니다.
이번 연구 결과는 3D 확산 모델의 상용화와 확산에 중요한 전환점이 될 것입니다. 특히 의료 AI 분야에서 고해상도 3D 의료 영상 데이터를 효율적으로 생성하고 분석하는 데 있어 GPU 자원 제약이 크게 완화될 수 있습니다. 이는 신약 개발, 질병 진단 보조, 수술 시뮬레이션 등 다양한 의료 분야에서 3D 생성 AI의 활용 가능성을 넓히고, 궁극적으로 더 빠르고 정확한 의료 서비스 제공에 기여할 수 있습니다. 또한, 이번 최적화 기법은 의료 분야를 넘어 다른 고해상도 3D 콘텐츠 생성 및 처리에도 적용될 수 있어, 메타버스(Metaverse), 게임, 산업 디자인 등 다양한 산업군에서 3D AI 기술의 발전을 가속화할 것으로 기대됩니다.