일반적인 디지털 카메라의 베이어(Bayer) 센서로 촬영한 사진을 시그마(Sigma)의 포베온 X3(Foveon X3) 센서 특유의 아름다운 색감과 미세 디테일로 변환해주는 macOS 앱 '포베온(Foveon)'이 공개되었습니다. 이 앱은 딥러닝(deep learning) 기술을 활용하여, 베이어 센서의 한계인 색 보간(color interpolation)으로 인한 아티팩트(artifact)를 줄이고 포베온 센서가 가진 독특한 '입체감'을 재현하는 것이 핵심입니다. 사용자들은 기존에 가지고 있는 카메라로도 포베온 룩(Foveon look)을 경험할 수 있게 되었습니다.
대부분의 디지털 카메라는 베이어 컬러 필터 어레이(Bayer Color Filter Array, CFA)를 사용해 각 픽셀이 R, G, B 중 한 가지 색상만 기록하고, 나머지 두 색상은 주변 픽셀에서 보간(demosaicing)하여 채웁니다. 이 과정에서 미세한 디테일 손실이나 색상 번짐이 발생할 수 있습니다. 반면, 시그마 DP2 메릴(Merrill) 시리즈에 사용된 포베온 X3 센서는 컬러 필름처럼 각 픽셀마다 R, G, B 세 가지 색상 레이어를 수직으로 쌓아 모든 색상 정보를 한 번에 포착합니다. 이로 인해 보간이 필요 없어 탁월한 미세 디테일과 독특한 색감을 자랑합니다. '포베온' 앱은 이러한 베이어와 포베온 센서 간의 구조적 차이를 딥러닝으로 학습하여, 일반 카메라 사진을 포베온 X3 센서로 찍은 것처럼 변환합니다. 특히, U-Net 아키텍처에 3층 픽셀 스택 구조를 인코딩하는 1차원 레이어를 추가하여 Foveon 센서의 깊이별 색상 흡수 특성을 모방한 것이 특징입니다.
이 기술은 사진 애호가들에게 새로운 창작의 기회를 제공합니다. 값비싼 포베온 카메라를 구매하지 않고도 그 특유의 미학적 결과물을 얻을 수 있게 된 것입니다. 또한, 기존 사진 편집 워크플로우에 AI 기반의 새로운 이미지 처리 방식을 도입함으로써, 사진의 잠재력을 확장하고 디지털 이미지의 한계를 극복하려는 시도로도 볼 수 있습니다. 이는 단순히 필터 효과를 넘어, 센서의 물리적 특성을 소프트웨어적으로 모방하려는 혁신적인 접근이며, 향후 다양한 카메라 시스템과 센서 특성을 AI로 재현하는 가능성을 열어줄 수 있습니다.