AI 모델 개발에서 핵심적인 부분 중 하나는 모델의 연산 정확성을 보장하는 것입니다. 특히 GPU에서 실행되는 텐서 커널(tensor kernel)의 경우, 미세한 오차가 전체 모델 성능에 큰 영향을 미칠 수 있습니다. 현재 대부분의 텐서 커널 정확성 테스트는 고정된 형태의 'all close' 방식에 의존하며, 오차 허용 범위(tolerance)는 수동으로 설정되어 왔습니다. 이 연구는 이러한 수동 설정 방식이 실제 연산의 오차 분포를 제대로 반영하지 못해, 버그 탐지율을 낮출 수 있음을 지적합니다.
딥 스칼라(Dipankar Sarkar) 연구원은 클라우드 GPU에서 수집된 8,076개 연산 결과 데이터를 분석하여, 각 테스트 케이스의 요소별 오차 분포를 정밀하게 측정했습니다. 이를 통해 '커널 자체가 정당화하는 절대 오차 허용 범위(absolute tolerance)'가 기존의 수동 설정 값보다 훨씬 엄격해야 함을 밝혀냈습니다. 예를 들어, 'attention_triton fp16'의 경우 오차 허용 범위가 무려 2,184배나 더 엄격하게 조정될 수 있었습니다. 이러한 정밀한 오차 보정(tolerance calibration)은 특히 LLM 스타일의 버그가 있는 변형 모델에서 버그 탐지율(recall)을 73.2%에서 82.4%로 9.3%포인트 향상시키는 결과를 가져왔습니다. 이는 229개의 새로운 버그를 추가로 발견했음을 의미합니다.
이 연구는 AI 모델의 신뢰성과 안정성을 높이는 데 중요한 시사점을 제공합니다. 텐서 커널의 정확성 검증 과정에서 오차 허용 범위를 데이터 기반으로 자동 보정함으로써, 개발자들은 보다 효율적으로 버그를 찾아내고 수정할 수 있게 됩니다. 이는 특히 대규모 언어모델(LLM)과 같이 복잡하고 민감한 AI 시스템의 상용화에 필수적인 요소입니다. 앞으로 이러한 정교한 오차 보정 기술은 AI 모델의 품질을 한 단계 끌어올리는 데 기여할 것으로 기대됩니다.