미국 특수작전사령부(SOCOM)가 AI 챗봇이 생성한 잘못된 정보에 기반한 군사 작전을 수행할 뻔한 아찔한 사건이 발생했습니다. 중국 선박을 대상으로 한 무장 작전은 이미 미군 항공기가 출격한 상황에서 AI의 '환각(hallucination)' 현상으로 인한 오정보임이 뒤늦게 밝혀져 막판에 중단되었습니다. 이로 인해 잠재적인 미중 충돌 위기를 간신히 피할 수 있었습니다.
문제의 발단은 한 특수작전사령부 분석가가 AI 챗봇을 이용해 공개 출처 데이터와 기밀 신호 정보를 통합 분석하는 과정에서 시작되었습니다. 챗봇은 이란과의 전쟁 중인 선박의 화물 목록을 잘못 식별하여 핵무기 프로그램 관련 부품을 운반 중이라는 허위 정보를 생성했습니다. 이 분석가는 오류가 포함된 이 정보를 다시 챗봇을 통해 공식 보고서 형식으로 만들었고, 이는 여러 지휘 채널을 통해 유포되었습니다. 미 국방부가 AI를 의사결정 가속화와 '킬 체인(kill chain)' 단축의 핵심으로 보고 통합을 서두르는 가운데, 이러한 속도가 오히려 AI 환각이 충분한 인간 감독 없이 확산될 수 있음을 보여주었습니다.
이번 사건은 대규모 언어모델(LLM)의 내재된 불확실성을 군 관계자들이 명확히 이해해야 할 필요성을 강조합니다. 특히 무력 사용으로 이어질 수 있는 표적 설정, 정보 분석, 작전 계획과 같은 결정에서는 생명과 직결되는 결과가 따르기 때문입니다. GovAI의 연구원이자 미 육군 장교 출신인 제이크 스텍클러(Jake Steckler)는 이번 사건이 AI 사용을 피할 이유가 아니라, 오히려 더 많은 안전장치를 추가해야 할 경고라고 지적했습니다. 그는 AI 도구가 올바른 맥락과 안전장치 하에서는 유용하지만, 채택 속도만을 우선시하면 시스템에 대한 신뢰를 잃게 되어 궁극적으로는 AI 도입을 늦추게 될 것이라고 경고했습니다.