인공지능(AI) 모델에서 필수적인 합성곱(convolution) 연산을 더 빠르고 효율적으로 수행하기 위한 새로운 연구 결과가 발표되었습니다. 기존에는 이산 푸리에 변환(DFT)을 활용한 고속 푸리에 변환(FFT)이 주로 사용되었지만, 하드마르 변환(Hadamard transform)은 실수(real-valued) 기반의 연산으로 이론적으로 더 효율적입니다. 그러나 하드마르 변환을 순환 합성곱에 적용할 경우 발생하는 대수적 오차(algebraic error) 때문에 실용화에 어려움이 있었습니다. 최근 연구는 이 오차의 구조를 심층적으로 분석하여, 특정 조건에서 오차가 상쇄되거나 예측 가능함을 밝혀냈습니다.
벤 파우버(Ben Fauber)와 알리레자 모라드자데(Alireza Moradzadeh) 연구팀은 이 순환-이진 합성곱(circular-dyadic convolution) 오차의 세 가지 주요 특성을 제시했습니다. 첫째, 입력 및 출력 위치 중 두 곳에서 오차가 정확히 상쇄되는 '오차 상쇄(error cancellation)' 현상을 발견했습니다. 이는 출력 순서를 재배열해도 사라지지 않는 보편적인 특성입니다. 둘째, 오차 연산자(error operator)는 거의 완전한 랭크(full rank)를 가지며, 널 공간(null space)의 차원(dimension)은 로그 수준에 불과합니다. 셋째, 무작위 필터에 대해 평균을 냈을 때, 예상 오차는 단일 정렬 스칼라(alignment scalar)에 의해 결정되며, 이에 대한 닫힌 형태의 표현식(closed-form expression)을 도출했습니다.
이러한 연구 결과는 하드마르 변환을 활용한 합성곱 연산의 실용화 가능성을 크게 높일 수 있습니다. 오차의 구조를 이해하고 예측할 수 있게 됨으로써, AI 모델 개발자들은 연산 효율성을 극대화하면서도 정확도를 유지할 수 있는 새로운 방법을 모색할 수 있습니다. 특히, 특정 필터에서는 오차가 전혀 발생하지 않는다는 점은 AI 모델의 추론(inference) 속도를 획기적으로 개선할 잠재력을 가지고 있습니다. 이는 대규모 언어모델(LLM)과 같이 연산량이 많은 AI 시스템의 전력 소비를 줄이고, 더 빠른 응답 시간을 제공하는 데 기여할 수 있을 것으로 기대됩니다.