주요 대규모 언어모델(LLM) 제공업체인 Anthropic, OpenAI, Google의 API에서 상위 모델의 숨겨진 사고 과정(chain-of-thought)을 탈취할 수 있는 심각한 보안 취약점이 발견되었습니다. 이 공격은 암호화된 추론 블록을 같은 제공업체의 약한 모델로 옮긴 뒤 탈옥(jailbreak)을 지시하는 방식으로 이루어지며, 최종 응답에는 나타나지 않는 모델의 내부 작업 상태와 민감한 정보까지 평문으로 복원될 수 있습니다.
이 공격은 두 단계의 API 호출로 이루어집니다. 먼저 강력한 상위 모델에서 암호화된 추론 흔적을 획득하고, 이 흔적을 같은 제공업체의 더 약한 하위 모델에 입력하여 내용을 그대로 복사하도록 지시하는 방식입니다. 예를 들어, Claude Opus의 암호화된 'thinking' 서명을 Claude Haiku에 전달하여 추론 내용을 복사하게 하는 식입니다. 연구팀은 120개 Codeforces 문제와 6,708개의 공개 에이전트 작업 기록에서 315,320개의 추론 블록을 재구성했으며, 실제 사용자 세션에서는 API 키, 비밀번호, 개인 이메일 주소 등 704개의 고유한 민감 정보가 발견되었습니다. 이 중 64개는 사용자에게 보이는 대화 내용에는 없었지만, 숨겨진 추론 과정에만 존재했습니다.
이번 취약점은 LLM API 사용의 보안 위험성을 다시 한번 일깨우는 중요한 사례입니다. 모델이 최종 응답을 생성하기까지 거치는 내부적인 사고 과정에 민감 정보가 포함될 수 있으며, 이러한 정보가 의도치 않게 노출될 수 있음을 보여줍니다. 특히, API 키나 개인 식별 정보 등 중요한 자격 증명이 숨겨진 추론 과정에서 드러날 수 있다는 점은 기업과 사용자 모두에게 심각한 보안 위협이 됩니다. LLM 제공업체들은 이러한 취약점을 신속히 해결해야 하며, 사용자들은 API를 통해 민감 정보를 다룰 때 더욱 주의를 기울여야 할 것입니다.