최근 오픈AI가 푸리에 변환(FFT) 알고리즘의 속도를 획기적으로 개선했다고 주장하며 수학 커뮤니티에 큰 관심을 불러일으켰습니다. 푸리에 변환은 디지털 신호 처리의 핵심 기술로, 신호에서 주파수 성분을 추출하는 데 사용됩니다. 1965년 쿨리-튜키(Cooley-Tukey)가 개발한 고속 푸리에 변환(FFT)은 계산 복잡도를 n^2에서 n log n으로 줄여 디지털 신호 처리 분야에 혁명적인 변화를 가져왔습니다.
오픈AI는 자신들의 수학 리포지토리에서 기존 FFT보다 더 빠른 푸리에 변환을 계산한다고 주장했습니다. 이 주장의 핵심은 알고리즘의 점근적 복잡도(asymptotic complexity)가 기존 FFT보다 이론적으로 약간 더 낮다는 것입니다. 하지만 이 주장을 분석한 벤 렉트(Ben Recht) 교수는 오픈AI의 알고리즘이 실제로는 '은하계 알고리즘(galactic algorithm)'에 해당한다고 비판했습니다. 은하계 알고리즘은 이론적으로는 효율적이지만, 실제로 적용 가능한 수준의 입력값(n)에서는 상상할 수 없을 정도로 큰 상수(constant) 때문에 실용성이 없는 알고리즘을 뜻합니다.
렉트 교수의 분석에 따르면, 오픈AI 알고리즘의 숨겨진 상수 C는 10^100에 달하며, 이는 우주의 원자 수보다도 훨씬 큰 값입니다. 따라서 이 알고리즘이 기존 쿨리-튜키 FFT보다 실제로 빨라지려면 입력값 n이 10^100보다 커야 합니다. 이는 현실 세계에서는 결코 마주할 수 없는 크기의 데이터입니다. 즉, 이론적으로는 더 빠르다고 할 수 있지만, 실용적인 관점에서는 기존 알고리즘이 10^99배 더 빠르다는 결론입니다. 이러한 비판은 '빅-O(Big-O) 표기법'의 오용과 형식주의가 현실과 괴리될 때 발생하는 문제를 지적하며, AI 시대의 수학 연구 방식에 대한 근본적인 질문을 던지고 있습니다.
이번 논란은 최첨단 AI 연구 기관의 발표가 실제 적용 가능성과는 거리가 있을 수 있음을 보여줍니다. 특히, 이론적 우수성이 실제 성능으로 이어지지 않는 '은하계 알고리즘'의 문제는 학계와 산업계 모두에 중요한 시사점을 제공합니다. 단순히 점근적 복잡도만으로 알고리즘의 가치를 판단하기보다는, 실제 적용 환경에서의 상수와 현실적인 입력값 범위를 함께 고려하는 실용적인 접근 방식이 필요하다는 점을 강조합니다.