오픈소스 대규모 언어모델(LLM)이 특정 질문에 대해 '도와드릴 수 없습니다'와 같은 거부 응답을 내놓는 안전장치(safety guardrails)를 제거하는 새로운 기술 '센본자쿠라(Senbonzakura)'가 공개되었습니다. 이 기술은 모델의 활성화 공간(activation space)에서 거부 행동을 유발하는 여러 방향을 식별하고, 이들을 모델 가중치(weights)에서 직교화(orthogonalising)하여 제거합니다. 이는 모델이 거부 메커니즘 자체를 잃게 만들어, 성능 저하 없이 검열되지 않은 응답을 생성할 수 있도록 돕습니다.
기존 연구(Arditi et al., 2024)는 거부 행동이 주로 하나의 방향에서 발생한다고 보았지만, 센본자쿠라는 남은 소수의 완고한 거부 행동이 여러 인접한 방향에 존재한다는 점에 주목했습니다. 이에 따라 단일 방향 제거 방식의 한계를 넘어, 여러 방향을 동시에 제거하는 '다방향(multi-direction)' 접근법을 도입했습니다. Qwen3-4B 모델에 대한 테스트 결과, 기존 단일 방향 방식이 2.1%의 '강력 거부(hard refusal)'를 남긴 반면, 센본자쿠라는 이를 0.0%까지 낮추는 데 성공했습니다. 모델의 일관성(coherence)도 기본 모델과 거의 동일한 수준을 유지하여, 성능 손실 없이 거부 행동을 제거할 수 있음을 입증했습니다. 이 기술은 Llama, Qwen, Mistral, Gemma 등 다양한 트랜스포머(transformer) 아키텍처와 Mixtral 같은 MoE(Mixture-of-Experts) 모델을 지원합니다.
센본자쿠라는 오픈소스 LLM의 활용 가능성을 크게 확장할 잠재력을 가지고 있습니다. 특정 목적에 맞춰 모델을 미세조정(fine-tuning)할 때 불필요한 제약을 제거하여 더 자유로운 창작과 실험을 가능하게 합니다. 이는 연구자나 개발자가 모델의 잠재력을 최대한 탐구하고, 다양한 애플리케이션에 적용할 수 있는 길을 열어줄 것입니다. 다만, 이러한 기술은 모델이 유해하거나 편향된 콘텐츠를 생성할 위험을 높일 수 있으므로, 사용 시 윤리적 고려와 책임감 있는 접근이 필수적입니다.