대규모 언어모델(LLM)의 활용이 늘면서 프롬프트 주입(Prompt Injection) 공격은 심각한 보안 위협으로 부상하고 있습니다. 이러한 공격은 LLM이 의도치 않은 명령을 수행하게 만들어 데이터 유출, 시스템 오작동 등 다양한 문제를 일으킬 수 있습니다. 이에 따라 프롬프트 주입 탐지기(Prompt Injection Detector)의 중요성이 커지고 있지만, 기존의 성능 측정 방식은 실제 환경에서의 유용성을 제대로 반영하지 못한다는 지적이 있었습니다. 이러한 문제의식에서 바스티온 소프트(Bastion Soft)는 탐지율과 오탐율을 동시에 고려하는 새로운 오픈소스 벤치마크 'PI-Detector-Bench'를 공개했습니다.
PI-Detector-Bench는 단순히 공격을 얼마나 잘 탐지하는지(탐지율)뿐만 아니라, 정상적인 사용자 메시지를 오탐(false positive)으로 잘못 분류하는 비율(오탐율)까지 함께 측정합니다. 기존 벤치마크들이 주로 탐지율에만 집중하여 실제 서비스 환경에서 높은 오탐율로 인해 사용성이 떨어지는 문제를 간과했던 것과 대조적입니다. 또한, 이 벤치마크는 특정 임계값(threshold)에 얽매이지 않고 다양한 임계값에서 탐지율과 오탐율의 균형을 평가하여, 어떤 탐지기가 특정 조건에서만 좋게 보이는 착시 현상을 방지합니다. 모든 측정 결과는 GPU 없이도 원시 점수(raw scores)를 통해 재현 가능하도록 설계되어 투명성과 신뢰성을 확보했습니다. 현재 10개의 오픈소스 탐지기가 이 벤치마크로 평가되었으며, 바스티온 소프트의 'bastion-prompt-protection' 모델이 가장 우수한 성능을 보였습니다.
이 벤치마크의 등장은 LLM 보안 생태계에 중요한 전환점이 될 것으로 보입니다. 개발자들은 이제 탐지기의 실제 운영 환경 성능을 보다 정확하게 파악하고, 탐지율과 오탐율 사이의 최적의 균형점을 찾을 수 있게 되었습니다. 이는 LLM 기반 서비스의 안정성과 사용자 경험을 향상시키는 데 기여할 것입니다. 또한, 오픈소스 형태로 공개되어 누구나 자신의 탐지기를 추가하고 평가할 수 있으므로, LLM 보안 기술의 발전과 커뮤니티 협력을 촉진하는 계기가 될 것으로 기대됩니다. 궁극적으로는 LLM을 더욱 안전하게 활용할 수 있는 기반을 마련하여, AI 기술의 신뢰성을 높이는 데 중요한 역할을 할 것입니다.