최근 대규모 언어모델(LLM)이 학술 연구의 효율성을 높이는 강력한 도구로 부상하고 있지만, 동시에 연구자의 인식론적 책임성(epistemic accountability)을 약화시킬 수 있다는 중요한 문제가 제기되었습니다. AI가 생성한 요약이나 분석 결과가 원문의 의미를 왜곡하거나 중요한 맥락을 누락할 수 있기 때문입니다. 이러한 문제를 해결하기 위해 'PEEL(Protocols for Epistemically Engaged Literacy in AI)'이라는 새로운 방법론이 제안되어 주목받고 있습니다.
PEEL은 AI 기반 연구에서 인식론적 참여 리터러시를 위한 프로토콜로, 피어스 기호학(Peircean semiotics)과 귀추법적 추론(abductive reasoning)에 기반을 둡니다. 이 방법론은 '보얀트 툴즈(Voyant Tools)'와 같은 기존의 결정론적 원거리 읽기(deterministic distant reading) 도구를 활용하여 텍스트의 양적, 빈도적 특성을 분석하고, 이를 클로드(Claude)와 같은 LLM의 해석 결과와 비교합니다. 연구팀은 PEEL을 통해 AI가 생성한 세 가지 원문 요약본을 분석한 결과, 양(quantity), 용어 빈도(term frequency), 그리고 인식론적 목소리(epistemic voice)에서 체계적인 왜곡이 발생한다는 사실을 밝혀냈습니다. 이러한 왜곡은 AI가 아닌 다른 측정 도구를 사용하지 않으면 인지하기 어렵다는 점이 강조되었습니다.
이번 연구는 AI 시대의 학술 연구에 세 가지 중요한 시사점을 제시합니다. 첫째, AI 도구와 함께 결정론적(deterministic) 분석 도구가 반드시 병행되어야 한다는 점입니다. 둘째, AI의 유창함(fluency)이 곧 충실도(fidelity)를 의미하지 않으며, AI가 매끄럽게 생성한 결과라도 내용의 정확성을 의심해야 한다는 것입니다. 셋째, 인식론적 권위(epistemic authority)는 AI 시스템에 의해 저절로 부여되는 것이 아니라, 설계 단계부터 의도적으로 반영되어야 한다는 점입니다. 이는 AI를 활용한 연구가 단순히 효율성을 넘어, 결과의 신뢰성과 학술적 엄밀성을 유지하기 위한 필수적인 지침이 될 것입니다.