최근 발표된 연구에 따르면 앤스로픽(Anthropic), 오픈AI(OpenAI), 구글(Google) 등 주요 대규모 언어모델(LLM) 제공업체들의 API에서 모델의 숨겨진 추론 과정(reasoning traces)이 유출될 수 있는 취약점이 발견되었습니다. 이 추론 블록은 암호화된 형태로 클라이언트에 전달되는데, 연구진은 이를 재사용하여 강력한 모델의 내부 사고 과정을 평문으로 복구하는 데 성공했습니다. 이는 모델 자체를 직접 공격하거나 증류(distillation) 방지 장치를 우회하지 않고도 이루어졌다는 점에서 주목할 만합니다.
연구팀은 강력한 모델(예: Claude Opus)에서 생성된 암호화된 추론 블록을 추출한 뒤, 동일 제공업체의 더 약한 모델(예: Claude Haiku)에 주입하고 '탈옥(jailbreak)'시켜 강력한 모델의 숨겨진 추론 내용을 그대로 복사하도록 지시했습니다. 이 과정을 통해 강력한 모델이 문제 해결을 위해 어떤 내부적인 사고 과정을 거쳤는지 텍스트 형태로 정확히 파악할 수 있었습니다. 예를 들어, 특정 숫자의 가장 큰 소수 약수를 찾는 과정에서 모델이 어떤 방식으로 소수를 테스트하고 인수분해를 시도했는지 상세한 내부 단계를 확인할 수 있었습니다. 이러한 '생각 블록(thinking block)'은 대화 세션, 사용자, 심지어 모델 간에도 재사용될 수 있는 이식성(portability)을 가지고 있습니다.
더욱 심각한 문제는 이 추론 블록에 민감한 정보가 포함될 수 있다는 점입니다. 연구진은 깃허브(GitHub)와 허깅 페이스(Hugging Face)에서 공개적으로 사용 가능한 6,708개의 에이전트 궤적(agent trajectories)을 수집하여 분석했는데, 이 중 암호화된 추론 블록에 실제로 API 키, 비밀번호, 접근 토큰, 개인 이메일 주소 등 704개의 고유한 개인 정보 및 기술 식별자가 포함되어 있음을 확인했습니다. 이 중 64개는 사용자에게 보이는 대화 내용에는 전혀 없었지만, 숨겨진 추론 블록에만 존재했습니다. 이는 LLM API를 사용하는 개발자들이 무심코 공유한 코드나 대화 기록을 통해 민감한 기업 및 개인 정보가 유출될 수 있음을 의미하며, LLM 서비스 제공자와 사용자 모두에게 심각한 보안 및 개인정보보호 문제를 야기할 수 있습니다. 따라서 LLM API 사용 시 민감 정보 처리에 대한 각별한 주의와 함께, 제공업체들의 근본적인 보안 강화 노력이 시급합니다.