OpenAI가 최근 기존 고속 푸리에 변환(FFT) 알고리듬보다 점근적으로 더 빠르다고 주장하는 새로운 수학 연구 결과를 발표했습니다. 하지만 이 발표는 이론적인 계산 모델과 실제 컴퓨터 환경 간의 큰 괴리 때문에 실용성이 없다는 비판에 직면했습니다. 핵심은 알고리듬의 효율성을 나타내는 빅오 표기법(Big O notation)에 숨겨진 상수가 너무 커서, 이론적으로는 빠르지만 실제로는 불가능할 정도로 큰 입력 크기에서만 기존 FFT보다 우위를 점할 수 있다는 것입니다.
고속 푸리에 변환(FFT)은 신호의 주파수 성분을 빠르게 분석하는 핵심 알고리듬으로, 1965년 쿨리-튜키(Cooley-Tukey) 방식이 개발된 이래 n² 규모의 연산을 5n log₂(n) 수준으로 획기적으로 줄였습니다. 이는 n이 1,000일 때 약 20배, 100만일 때는 1만 배의 속도 향상을 가져와 실제 신호 처리 분야에 혁명을 일으켰습니다. OpenAI의 연구는 이 5 log₂(n) 배의 격차를 아주 조금 더 줄일 수 있다고 주장하지만, 비판자들은 이 개선이 '은하적 알고리듬(galactic algorithms)'에 해당한다고 지적합니다. 은하적 알고리듬은 이론적으로는 효율적이지만, 실제 우주의 원자 수보다 큰 입력에서나 유의미한 성능을 보이는 알고리듬을 일컫는 용어입니다. OpenAI FFT의 경우, n=10¹²일 때 상수 C가 10¹⁰⁰으로 추정되어, 기존 FFT가 10⁹⁹배 더 빠르다는 분석까지 나옵니다.
이러한 비판의 근본적인 원인은 OpenAI가 가정한 계산 모델이 현실과 동떨어져 있기 때문입니다. 이 모델은 임의 정밀도의 복소수를 무한히 저장하고, 크기가 초다항적으로 증가하는 복소수 곱셈을 단일 연산으로 처리할 수 있다고 가정합니다. 하지만 실제 컴퓨터는 유한한 메모리와 처리 능력으로 인해 이런 연산을 상수 시간에 수행할 수 없습니다. 따라서 OpenAI의 결과는 수학적 정리 자체의 진위 여부와는 별개로, 실제 컴퓨터에서 더 빠른 FFT를 찾는 문제와는 무관하다는 지적입니다. 이는 이론 컴퓨터 과학이 실제 하드웨어와 동떨어져 수학적 유희에 머무를 수 있다는 오랜 논쟁을 다시 불러일으키고 있습니다.
이번 논란은 AI가 생성한 연구 결과의 실용성과 더불어, 이론 컴퓨터 과학 분야의 연구 문화 전반에 대한 성찰의 계기를 제공합니다. 알고리듬의 실제 실행이나 실용적 효과를 요구하지 않는 현재의 연구 관행이 AI에 의해 증폭될 수 있다는 우려도 제기됩니다. 이론적 돌파구가 궁극적으로 실용적 알고리듬으로 이어질 수 있지만, 이번 OpenAI의 사례처럼 현실과 동떨어진 가정을 기반으로 한 연구는 그 가능성조차 희박하다는 비판이 지배적입니다. 이는 학계가 무엇을 '가치 있는 연구'로 인정하고 보상할 것인지에 대한 근본적인 질문을 던지고 있습니다.