미군이 인공지능(AI) 챗봇이 생성한 허위 정보로 인해 중국 선박을 공격할 뻔한 심각한 사건이 발생했습니다. 지난봄, 이란과의 전쟁이 한창이던 시기, 미군 내부에 중국 선박이 중동에서 핵무기 프로그램 부품을 운송 중이라는 정보 보고서가 유포되었습니다. 이 보고서는 특수 작전 사령부 분석관이 AI 챗봇의 도움을 받아 작성한 것으로, 챗봇이 선박의 화물을 잘못 식별하여 '완전히 거짓'된 내용을 담고 있었음이 뒤늦게 밝혀졌습니다. 미군은 이 보고서를 토대로 선박을 요격하기 위한 작전을 준비했고, 무장 병력이 승선할 준비를 마쳤으며 군용기가 출격하는 일촉즉발의 상황까지 이르렀습니다. 다행히 작전 직전, 관계자들이 보고서의 내용을 면밀히 검토하는 과정에서 AI의 오류를 발견하여 대규모 무력 충돌을 피할 수 있었습니다.
이번 사건은 미군이 AI를 국방 및 정보 분야에 광범위하게 도입하려는 과정에서 발생한 것으로, AI가 방대한 정보를 분석하고 표적을 선정하는 등 다양한 영역에서 활용되고 있습니다. 특히 미국 국방부는 중국 등 잠재적 적국에 뒤처지지 않기 위해 AI 통합을 가속화하고 있으며, 피트 헤그세스(Pete Hegseth) 국방장관은 '인공지능 가속화 전략'을 발표하며 AI 실험을 장려하고 있습니다. 그러나 이번 사례처럼 AI가 생성한 정보의 신뢰성 검증 시스템이 미흡하고, 각 부서가 상이한 AI 도구와 안전 기준을 사용하고 있어 혼란이 가중되고 있다는 지적이 나옵니다. 분석관이 사용한 챗봇은 공개 소스 정보와 정부의 기밀 신호 정보를 결합하여 잘못된 결론을 도출했으며, 이를 다시 AI로 표준 정보 보고서 형태로 만들어 배포함으로써 신뢰도를 높이는 결과를 낳았습니다.
이 사건은 AI의 '환각(hallucination)' 현상이 단순한 오작동을 넘어 국가 안보에 치명적인 위협이 될 수 있음을 극명하게 보여줍니다. 실리콘밸리 기술 리더들이 AI의 잠재적 위험에 대해 경고해왔지만, 이번 사건은 AI가 잘못된 정보를 생성하여 인간의 판단을 왜곡하고 재앙적인 결정을 내리게 할 수 있다는 더 즉각적인 위험을 부각합니다. 특히 군사적 표적 선정(targeting)과 같은 민감한 영역에서 AI 활용이 증가하고 있음에도 불구하고, 인간 개입(human in the loop)을 통해 민간인 사상자나 오인 사격을 방지할 명확한 지침이 부족하다는 점은 심각한 문제입니다. AI 기술의 발전과 함께 그 위험성을 통제하고 신뢰성을 확보하기 위한 제도적, 기술적 노력이 시급하며, 이는 비단 군사 분야뿐 아니라 사회 전반에 걸쳐 AI 도입을 고려하는 모든 주체에게 중요한 교훈을 제공합니다.