최근 공개된 '하이퍼SAE(HyperSAE)'는 거대 언어모델(LLM)의 내부 작동 방식을 이해하려는 '기계적 해석 가능성(mechanistic interpretability)' 분야에서 중요한 진전을 이뤘습니다. 기존의 희소 오토인코더(Sparse Autoencoder, SAE)는 LLM이 어떤 개념을 학습하고 사용하는지 파악하는 데 유용했지만, 특징(feature)의 수가 1만 6천 개를 넘어서면 평면적인 유클리드 공간의 한계로 인해 성능 저하를 겪었습니다. 하이퍼SAE는 이러한 문제를 쌍곡 기하학(hyperbolic geometry)을 도입하여 해결했습니다.
하이퍼SAE의 핵심은 '분리된 가중치 공간 정규화(Decoupled Weight-Space Regularization)' 아키텍처입니다. 이는 연산을 두 가지 경로로 나눕니다. 첫째, '고속 경로(Fast-Path)'는 활성화(activation) 데이터 처리를 위해 기존처럼 빠르고 효율적인 유클리드 공간(Euclidean space)을 사용합니다. 이는 GPU 처리량과 모델 호환성을 유지하며, 지연 시간을 최소화합니다. 둘째, '저속 경로(Slow-Path)'는 개념 간의 계층적 관계를 최적화 과정에서 쌍곡 공간(Poincaré ball)에 투영하여 학습합니다. 이처럼 연산 속도가 중요한 부분은 유클리드 공간에서, 개념의 구조적 관계를 파악하는 부분은 쌍곡 공간에서 처리함으로써, 두 공간의 장점을 모두 활용합니다.
실험 결과, 하이퍼SAE는 구글의 Gemma-2-2B 모델의 13번째 레이어에서 기존 평면 SAE 대비 재구성 오류(Reconstruction MSE)를 9.8% 감소시키고, 교차 엔트로피 손실 회복률(Cross-Entropy Loss Recovery)을 3.4% 향상시키는 등 뛰어난 성능을 보였습니다. 이는 LLM이 학습한 복잡한 개념들을 더 정확하게 추출하고 이해할 수 있음을 의미합니다. 이러한 발전은 LLM의 '블랙박스' 문제를 해소하고, 모델의 신뢰성과 제어 가능성을 높이는 데 기여할 것으로 기대됩니다. 개발자들은 이 기술을 통해 LLM의 편향성을 분석하거나, 특정 개념을 '조종(steer)'하는 등 다양한 응용 가능성을 탐색할 수 있습니다.