시민 참여 서비스 '어흥'이 커뮤니티 내 만연한 가짜뉴스(fake news)와 소모적인 논쟁을 줄이기 위해 인공지능(AI) 기반의 팩트체크 기능을 도입하며 겪었던 기술적 시행착오와 해결 과정을 공유했습니다. 초기에는 단순히 AI에 글의 사실 여부를 묻는 방식이었으나, 개인 의견을 사실처럼 검증하거나 근거 없이 결론을 내리는 등 여러 문제가 발생하며 전면적인 시스템 개편이 이루어졌습니다.
어흥 개발팀은 이러한 문제 해결을 위해 팩트체크 파이프라인을 크게 네 가지로 개선했습니다. 첫째, 글 전체가 아닌 '객관적으로 검증 가능한 사실 주장'만을 추출하여 AI가 가치 판단이 아닌 구체적인 사실에 집중하도록 했습니다. 둘째, 대규모 언어모델(LLM)의 고질적인 문제인 환각(hallucination) 현상을 막기 위해 공신력 있는 근거가 부족할 경우 '알 수 없음'으로 응답하도록 프롬프트(prompt)를 강력하게 제어했습니다. 셋째, 작성자가 글을 수정해도 팩트체크 결과의 일관성을 유지하기 위해 검증 시점의 원문 스냅샷(snapshot)을 보관하고, 검증 기준과 출처를 투명하게 공개하도록 했습니다. 넷째, 무거운 검증 과정으로 인한 트래픽과 리소스(resource) 문제를 해결하기 위해 비동기 큐(asynchronous queue)를 활용하고, 비용과 속도를 고려하여 구글 제미니(Gemini) 3.5 플래시(Flash) 모델을 주로 사용하되 복잡한 추론 실패 시 제미니 3.1 프로(Pro)로 폴백(fallback)하는 구조를 적용했습니다.
이러한 노력에도 불구하고, 통계 기준 시점의 차이, 정치인의 은유적 표현, 사실과 거짓이 교묘하게 섞인 장문 등은 여전히 AI 팩트체크가 완벽하게 처리하기 어려운 숙제로 남아있습니다. 어흥의 사례는 AI를 활용한 콘텐츠 검증이 단순히 기술 도입을 넘어, 복잡한 인간의 언어와 사회적 맥락을 이해하고 해석하는 섬세한 접근이 필요함을 보여줍니다. 이는 AI 기술이 실제 서비스에 적용될 때 마주하는 현실적인 한계와 이를 극복하기 위한 지속적인 노력이 중요함을 시사하며, 향후 AI 기반의 정보 검증 시스템 개발에 중요한 참고 사례가 될 것입니다.