최근 발표된 연구 논문에서 거대 언어 모델(LLM)의 내부 작동 방식을 제어하는 새로운 기술인 '지오스티어(GeoSteer)'가 소개되었습니다. 이 기술은 추론(inference) 시 LLM의 숨겨진 활성화(hidden activation)를 수정하여 모델의 행동을 조작하는 활성화 조향(activation steering) 방식의 일종입니다. 특히, 활성화 값의 크기(norm)를 보존하면서 모델 동작을 변경하는 '놈 보존 조향(norm-preserving steering)'에 초점을 맞춰, 기존 방식에서 발생할 수 있었던 모델의 표현 붕괴나 성능 저하 위험을 줄이는 데 성공했습니다.
기존의 놈 보존 조향 방식은 미리 정의된 조향 경로와 단일 단계 업데이트에 의존하여 활성화 분포의 복잡한 구조를 제대로 포착하지 못하는 한계가 있었습니다. 지오스티어는 이러한 문제를 해결하기 위해 최적화 기반의 접근 방식을 제안합니다. 이 기술은 조향 과정을 리만 최적화(Riemannian optimization) 문제로 공식화하고, 표현 다양체(representation manifold) 상에서 작은 측지선(geodesic) 단계를 통해 활성화를 업데이트합니다. 또한, 고정된 조향 방향 대신 원하는 활성화와 원치 않는 활성화를 구별하는 비선형 활성화 공간 목적 함수를 학습하여 각 조향 단계를 적응적으로 안내합니다. 이러한 다단계 공식화는 활성화 놈을 보존하면서도 더 부드럽고 안정적이며 일관된 조향 동작을 가능하게 합니다.
지오스티어는 TruthfulQA, RealToxicityPrompts, UltraFeedback 등 다양한 벤치마크에서 기존의 최신 활성화 조향 기준선보다 일관되게 향상된 성능을 보여주었습니다. 이는 미리 정의된 단일 단계 편집을 적응적이고 기하학적 인식을 갖춘 최적화로 대체함으로써 놈 보존 조향의 효과를 크게 높일 수 있음을 시사합니다. 이 연구는 LLM의 제어 가능성을 한 단계 끌어올려, 모델의 안전성, 신뢰성, 그리고 특정 목적에 맞는 맞춤형 활용 가능성을 확장하는 데 중요한 기여를 할 것으로 기대됩니다.