대규모 언어모델(LLM)이 다양한 분야에서 놀라운 능력을 보여주고 있지만, 안전하고 유용하며 신뢰할 수 있는 모델을 만드는 것은 여전히 어려운 문제입니다. 기존의 안전성 확보 전략은 유해하거나 민감한 질문에 대해 단순히 답변을 거부하는 방식이었습니다. 하지만 이러한 접근 방식은 사용자의 정당한 의도까지 차단하여, 안전하게 건설적인 답변을 제공할 수 있는 기회를 놓치는 한계가 있었습니다.
이러한 문제를 해결하기 위해 'Oyster-II' 연구팀은 강화 학습(RL) 기반의 새로운 '건설적 안전성 정렬(constructive safety alignment)' 프레임워크를 제안했습니다. 이는 이전 연구인 'Oyster-I'이 제시한 건설적 안전성 패러다임을 한 단계 발전시킨 것입니다. 'Oyster-I'은 지도 미세조정(SFT) 방식을 사용했지만, 안전성 일반화(generalization) 부족과 '안전성 사고 과정(safety chain-of-thought, CoT) 과잉 일반화'라는 두 가지 문제에 직면했습니다. 안전성 CoT 과잉 일반화는 모델이 무해한 질문에도 과도하게 안전성 관련 추론을 적용하여 유용성을 떨어뜨리는 현상을 의미합니다. 'Oyster-II'는 이러한 한계를 극복하기 위해 제로-RL(Zero-RL) 패러다임과 다단계 강화 학습을 결합한 방식을 채택했습니다.
광범위한 벤치마크 테스트 결과, 'Oyster-II'는 Qwen3-14B 및 이전 버전인 'Oyster-I'보다 안전성 측면에서 월등히 뛰어난 성능을 보였습니다. 특히, Qwen3-Max나 Qwen3.5-397B와 같은 최상위 모델과 비교해도 손색없는 교차 스케일(cross-scale) 성능을 달성했습니다. 이는 LLM이 단순히 위험한 질문을 회피하는 것을 넘어, 사용자의 근본적인 의도를 파악하여 안전하고 유익한 방식으로 정보를 제공할 수 있는 새로운 가능성을 열어줍니다. 이러한 발전은 LLM이 더욱 신뢰할 수 있는 AI 비서로 자리매김하는 데 중요한 역할을 할 것으로 기대됩니다.