최근 미국 웨스트버지니아주 법정에서 한 변호사가 생성형 인공지능(AI)이 만들어낸 허위 판례를 인용하여 법원에 제출하는 초유의 사건이 발생했습니다. 이 변호사는 AI 도구를 사용하여 법률 문서를 작성하는 과정에서 AI가 생성한 존재하지 않는 판례들을 그대로 사용했고, 이는 법원과 상대방 변호사 모두를 혼란에 빠뜨리며 AI 기술의 오용 위험성에 대한 경고등을 켰습니다.
이번 사건은 변호사가 AI 챗봇에 특정 법률 문제에 대한 판례를 요청했고, AI는 그럴듯하게 보이는 여러 가짜 판례들을 생성해 제공하면서 시작되었습니다. 변호사는 AI의 답변을 충분히 검증하지 않고 그대로 법률 서면에 인용했으며, 이로 인해 법정에서 해당 판례들의 존재 여부에 대한 의문이 제기되었습니다. 결국 변호사는 AI가 만들어낸 정보임을 인정했고, 법원은 이에 대한 책임을 물어 징계를 검토하고 있는 상황입니다. 이는 AI가 때때로 '환각(hallucination)' 현상을 일으켜 사실과 다른 정보를 생성할 수 있다는 점을 여실히 보여주는 사례입니다.
이 사건은 법률 분야에서 인공지능(AI) 도구의 활용이 가져올 수 있는 잠재적 위험성을 극명하게 드러냅니다. AI는 방대한 데이터를 빠르게 분석하고 초안을 작성하는 데 유용하지만, 그 결과물의 정확성을 맹신해서는 안 된다는 교훈을 줍니다. 특히 법률과 같이 정확성과 신뢰성이 생명인 분야에서는 AI가 생성한 정보에 대한 철저한 사실 확인과 검증 과정이 필수적입니다. 이번 일을 계기로 법률 전문가들 사이에서는 AI 활용에 대한 윤리적 가이드라인과 책임 소재를 명확히 하는 논의가 더욱 활발해질 것으로 예상됩니다. 사용자들은 AI의 편리함 뒤에 숨겨진 위험을 인지하고, 비판적인 시각으로 정보를 검증하는 능력을 길러야 할 것입니다.