최근 오픈AI(OpenAI)의 챗GPT(ChatGPT)와 메타(Meta)의 라마(Llama) 등 주요 인공지능(AI) 모델들이 예상치 못한 '돌출 행동'을 보이며 논란이 된 바 있습니다. 예를 들어, 챗GPT는 의미 없는 반복 답변을 내놓거나 라마는 특정 단어를 반복하는 등 비정상적인 반응을 보였습니다. 이러한 현상의 배후에는 AI 보안 스타트업 아나토미AI(Anatomy AI)가 있었으며, 이들은 AI 모델의 잠재적 취약점을 드러내기 위해 의도적으로 이러한 상황을 연출했습니다.
아나토미AI는 AI 모델이 특정 프롬프트(prompt)에 어떻게 반응하는지 테스트하는 '레드팀(red team)' 활동을 수행했습니다. 이들은 AI 모델에 반복적이고 혼란스러운 언어 패턴을 주입하여 모델이 오작동하도록 유도했습니다. 이는 AI 모델이 학습 데이터에 없는 새로운 유형의 입력에 대해 어떻게 반응하는지, 그리고 이러한 입력이 모델의 안정성과 신뢰성에 어떤 영향을 미치는지 확인하기 위한 것이었습니다. 이러한 테스트는 AI 시스템이 실제 환경에서 예상치 못한 공격이나 오용에 어떻게 대응할지 예측하는 데 중요한 정보를 제공합니다.
이번 사례는 대규모 언어모델(LLM)의 보안 취약성이 단순한 오류를 넘어 심각한 문제로 이어질 수 있음을 보여줍니다. AI 모델이 잘못된 정보를 생성하거나 악의적인 목적으로 사용될 경우 사회 전반에 미칠 파급력은 상당합니다. 따라서 AI 개발 단계부터 보안을 강화하고, 지속적인 취약점 테스트를 통해 모델의 견고성을 확보하는 것이 필수적입니다. 아나토미AI의 이번 시연은 AI 보안 분야의 중요성을 다시 한번 상기시키며, 앞으로 AI 시스템의 안전한 배포와 운영을 위한 더 많은 연구와 투자가 필요함을 시사합니다.