미국 연방 법원이 보건복지부(HHS)가 청소년 임신 예방 프로그램(TPP) 보조금 심사에 인공지능(AI) 시스템을 사용해 수십 개 기관의 지원금을 삭감한 결정에 제동을 걸었습니다. 법원은 AI 활용 과정에서 절차적 공정성이 결여되었다고 지적하며, AI 시스템의 불투명한 작동 방식과 이에 대한 피신청 기관들의 이의 제기 기회 부족을 문제 삼았습니다. 이는 공공 부문에서 AI를 활용할 때 투명성과 책임성을 확보해야 한다는 중요한 메시지를 던집니다.
HHS는 2020년부터 TPP 보조금 신청 심사에 AI 기반 도구를 도입했습니다. 이 시스템은 약 1,000개에 달하는 신청서를 평가하여 점수를 매겼고, 이 점수를 바탕으로 보조금 지급 여부가 결정되었습니다. 그러나 보조금 삭감 통보를 받은 기관들은 자신들의 신청서가 왜 낮은 점수를 받았는지, AI 시스템이 어떤 기준으로 평가했는지 명확히 알 수 없었다고 주장했습니다. 특히, AI가 특정 키워드나 문구를 선호하거나 불이익을 주었을 가능성, 그리고 시스템 오류의 여지가 있었음에도 이에 대한 소명 기회가 주어지지 않았다는 점이 주요 쟁점이었습니다.
이번 법원 판결은 정부 기관이 AI를 활용할 때 단순히 효율성만을 추구할 것이 아니라, 그 과정의 투명성과 공정성, 그리고 인간의 개입 및 이의 제기 절차를 반드시 보장해야 함을 강조합니다. AI가 내린 결정이 개인이나 기관에 중대한 영향을 미칠 수 있는 만큼, 그 결정 과정이 합리적이고 설명 가능해야 한다는 원칙을 재확인한 것입니다. 이는 향후 공공 부문뿐만 아니라 민간 영역에서도 AI 시스템 도입 시 고려해야 할 중요한 법적, 윤리적 기준을 제시하는 선례가 될 것으로 보입니다.