인공지능(AI)이 과학 연구의 핵심 과정인 논문 작성에 깊숙이 관여하면서, 문헌 분석부터 초고 작성, 검토에 이르기까지 그 활용 범위가 넓어지고 있습니다. 하지만 AI가 생성하는 내용의 신뢰성, 특히 '환각(hallucination)'으로 인한 잘못된 정보나 인용이 과학적 주장에 스며들 위험이 커지면서, AI 보조 워크플로우의 거버넌스 문제가 중요한 과제로 떠올랐습니다. 이러한 배경 속에서, 증거 추적성을 갖춘 과학 논문 생성을 위한 '인간 개입형 전문가 시스템(Human-in-the-Loop Expert System)'인 페이퍼 파일럿(Paper Pilot)이 공개되어 주목받고 있습니다.
페이퍼 파일럿은 협업 에이전트 추론 엔지니어링(CARE) 방법론을 논문 개발에 적용하여, 아이디어 구상부터 최종 주장까지 총 여덟 단계의 승인 게이트를 마련했습니다. 이 시스템은 논문 소유자의 필수 승인, 명확한 불합격 기준, 주장 분류, 감사 로깅(audit logging), 자문형 LLM 검토, 그리고 증거 기반의 개정 관리 기능을 포함합니다. 특히, 문헌 기반 주장과 아티팩트(실험 결과 등) 기반 주장을 명확히 구분하여, 보고된 수치와 해석이 승인된 증거에 추적 가능하도록 요구합니다. 초기 검증 결과, 페이퍼 파일럿의 증거 기반 규칙을 적용한 모델은 무작위로 인용을 생성하는 기존 모델과 달리 허위 인용을 전혀 만들지 않았으며, 증거 부족 지점을 명확히 표시했습니다. 이 시스템의 프롬프트는 챗GPT(ChatGPT), 제미니(Gemini), 클로드(Claude) 등 주요 LLM 환경에서 배포 가능하도록 공개되었습니다.
페이퍼 파일럿은 LLM 기반 글쓰기를 단순히 자율적인 저작 파이프라인이 아닌, 통제된 인간-AI 의사결정 지원 프로세스로 재정의합니다. 이는 AI가 생성하는 과학적 주장의 투명성과 신뢰성을 확보하는 데 필수적인 요소로 작용할 것입니다. 과학 커뮤니티는 AI의 효율성을 활용하면서도, 동시에 AI가 야기할 수 있는 정보 오염 문제를 해결할 수 있는 실질적인 방안을 모색하고 있으며, 페이퍼 파일럿은 이러한 노력의 중요한 진전을 보여줍니다. 궁극적으로 이 시스템은 연구자들이 AI의 도움을 받아 더욱 정확하고 검증 가능한 과학 논문을 작성하도록 지원하며, 과학적 지식의 건전한 발전에 기여할 잠재력을 가지고 있습니다.