대규모 언어모델(LLM)의 높은 연산 비용은 확산에 큰 걸림돌이었습니다. 최근 예차오(Ye Qiao) 연구원이 발표한 'CurveFP'는 이러한 문제를 해결할 새로운 저정밀 데이터 형식으로 주목받고 있습니다. CurveFP는 기존 저정밀 데이터 형식들이 스칼라 정확도에 집중하면서 곱셈 연산의 복잡성을 간과했던 점을 개선, 로그 스케일을 활용해 곱셈 연산을 대폭 단순화하면서도 높은 정확도를 유지합니다.
CurveFP의 핵심은 '닫힌 곱셈 코드북(closed-product codebook)'입니다. 이는 양자화된 값들을 겹쳐진 로그 곡선(logarithmic curves)에 분포시켜, 모든 0이 아닌 곱셈 결과가 정확한 부호 XOR(배타적 논리합)과 정수 인덱스 업데이트로 처리되도록 합니다. 연구팀은 CurveFP를 훈련용(CurveFP eight E4C3/E5C2)과 배포용(CurveFP seven E3C3)으로 구현했으며, 특히 7비트 정밀도의 CurveFP seven은 7B~9B 규모의 모델 4개에서 기존 FP8(8비트)보다 더 낮은 혼란도(perplexity)를 기록하며 1.32% 이내의 원본 품질을 유지했습니다. 또한, CurveFP eight는 36가지 순방향 및 역방향 GEMM(General Matrix Multiply) 비교에서 피연산자 NMSE(정규화된 평균 제곱 오차)를 낮추는 등 전반적인 연산 효율성을 개선했습니다.
이러한 결과는 CurveFP가 LLM의 학습 및 추론 비용을 크게 절감할 수 있는 잠재력을 보여줍니다. 7비트만으로도 FP8급 성능을 내면서 연산 경로를 단순화했다는 점은 하드웨어 가속기 설계에도 긍정적인 영향을 미칠 수 있습니다. 이는 더 적은 자원으로도 고성능 LLM을 운영할 수 있게 하여, 중소기업이나 개인 개발자들도 LLM 기술에 더 쉽게 접근하고 활용할 수 있는 기회를 제공할 것입니다. 궁극적으로 LLM의 대중화와 다양한 산업 분야로의 확장을 가속화하는 중요한 기술적 진전으로 평가됩니다.