최근 공개된 연구 논문에서 새로운 AI 연산자 '하이에나ND(HyenaND)'가 소개되었습니다. 이 기술은 이미지, 볼륨, 편미분 방정식(PDE)과 같은 다차원 데이터를 처리할 때 기존 어텐션(attention) 모델의 대안으로 떠오르며, 데이터의 고유한 공간 구조를 유지하면서도 효율적인 연산을 가능하게 합니다.
기존 어텐션 모델은 다차원 데이터를 처리할 때 연산 비용이 급증하는 문제가 있었고, 순환 모델(recurrent models)은 데이터를 1차원 스캔 순서로 변환해야 하는 제약이 있었습니다. 이는 데이터의 공간적 특성을 왜곡할 수 있습니다. 반면, 하이에나ND는 입력 의존적인 장거리 합성곱(long convolutions)을 통해 다차원 데이터의 원래 형태를 직접 처리하며, CUDA 기반의 'nSubQ' 구현을 통해 FFT-합성곱 경로를 통합하여 $\mathcal{O}(L \log L)$의 하위 이차(subquadratic) 스케일링을 실제 속도 향상으로 이끌어냈습니다.
하이에나ND는 장문 유전체학(long-context genomics), 컴퓨터 비전(computer vision), 의료 영상(medical imaging), PDE 모델링 등 다양한 분야에서 순수 어텐션 기반 모델과 동등한 정확도를 보여주었습니다. 특히, 하이에나ND와 어텐션 레이어를 혼합한 하이브리드 구성은 순수 어텐션이나 강력한 순환 기반 하이브리드 모델보다 뛰어난 성능을 기록했습니다. 이는 AI 모델이 복잡한 다차원 데이터를 더 빠르고 정확하게 이해하고 처리할 수 있게 함으로써, 의료 진단, 신약 개발, 자율주행 등 다양한 응용 분야에서 혁신을 가속화할 잠재력을 가지고 있습니다.