최근 AI 에이전트의 보안 위협으로 떠오른 프롬프트 주입(Prompt Injection) 공격을 효과적으로 추적하고 분석할 수 있는 오픈소스 도구 '바스티온트레이스(Bastiontrace)'가 깃허브(GitHub)에 공개되었습니다. 이 도구는 AI 에이전트가 오염된 프롬프트에 의해 어떤 행동을 했는지, 공격의 시작점과 그로 인해 발생한 모든 과정을 상세히 파악할 수 있도록 돕는 포렌식 솔루션입니다.
바스티온트레이스는 AI 에이전트의 도구 호출(tool-call) 기록을 담은 JSONL 형식의 추적(trace) 파일을 분석하여 작동합니다. 예를 들어, 사용자가 문서 요약을 요청했지만, 문서 내용에 숨겨진 악성 프롬프트가 '이전 지시 무시' 명령과 함께 관리자 이메일 검색 및 발송을 유도하는 경우를 탐지합니다. 이 도구는 주입 지점(inject point), 공격이 성공한 지점(landing), 그리고 이 둘을 잇는 인과 경로(causal path) 및 공격의 영향 범위(blast radius)를 명확히 보여줍니다. 특히, 자체적으로 대규모 언어모델(LLM)이나 클라우드 의존성 없이 순수 분석만으로 작동하여 가볍고 효율적입니다.
바스티온트레이스는 공격이 실제로 성공했는지(LANDED), 시도만 되었는지(ATTEMPTED), 아니면 깨끗한 상태인지(CLEAN)를 판단하여 개발자와 보안 담당자가 AI 에이전트의 취약점을 이해하고 대응하는 데 필수적인 정보를 제공합니다. 또한, 분석 결과를 바탕으로 '에이전트바스티온(agentbastion)'과 같은 방어 도구에 적용할 수 있는 보안 정책(policy.yaml)과 공격 패턴(injections.jsonl)을 자동으로 생성하여, 발견된 취약점을 즉시 방어 체계에 반영할 수 있도록 지원합니다. 이는 AI 에이전트의 신뢰성과 안정성을 높이는 데 기여하며, AI 시스템 개발 과정에서 보안을 강화하는 중요한 도구로 활용될 수 있습니다.