인공지능(AI)이 과학 연구의 다양한 영역에서 놀라운 성과를 내고 있지만, AI가 제시하는 '정답'만을 맹신하는 것은 과학의 본질을 훼손할 수 있다는 경고가 나오고 있습니다. AI가 도출한 결과의 정확성만으로 과학적 가치를 판단한다면, 결과를 비판하고 수정하며 지식으로 발전시키는 인간의 이해와 책임성(accountability)이 간과될 수 있다는 지적입니다. 이해는 단순히 정답에 덧붙이는 선택적 정신 상태가 아니며, 결과가 실패했을 때 근거를 따지고 문제를 해결할 수 있는 책임 있는 주체가 있는지가 중요합니다.
이러한 논의는 AI 과학 담론에서 '검증 가능한 산출물'을 우선하는 입장과 '인간의 이해'를 우선하는 입장이 대립하는 양상으로 나타납니다. 전자는 인간의 관여 여부와 무관하게 오래된 추측의 증명이나 질병 치료법을 진보로 보지만, 후자는 이해가 새 발견을 기존 지식에 통합하고 다음 세대를 형성한다고 주장합니다. 예를 들어, 테리 타오(Terry Tao) 교수는 인간 누구도 발견 과정을 이해하지 못하는 AI 암 치료법을 받아들일 수 있는지 질문하며, AI가 임상시험 자체의 약점(weakness)을 이용해 통과했을 가능성을 제기합니다. 또한, 저자가 주장을 설명할 수 없는 논문은 실패했을 때 찾아가 물을 사람이 없어, 책임성 부재의 문제를 야기합니다.
정확성만을 과학적 가치로 보는 경향은 냉전기 이래 영향을 미친 '가치중립적 이상(value-free ideal)'과도 연결됩니다. 이는 증거 판단 시 윤리적, 사회적 가치 대신 인식적 기준만 허용해야 한다는 생각입니다. 19세기 말부터 20세기 초까지 과학 과정에서 과학자 개인을 최대한 제거하려는 도덕적 지향은 개인에 대한 신뢰를 체계에 대한 신뢰로 대체하려 했습니다. 문헌 탐색, 직접 검증, 실험 수행을 하는 AI 에이전트는 이 오래된 이상을 실현할 수단처럼 보이지만, '과학은 본래 정렬되어 있다(science is inherently aligned)'는 전제 아래 인간 판단 없이 진리 생산이 가능하다는 믿음은 기계적 객관성(mechanical objectivity)의 한계를 드러냅니다.
과학적 진리 탐구에는 가치와 안목(discernment)이 개입합니다. 가설을 수용하거나 기각할지는 그 결과를 어떻게 평가하는지에 달려 있으며, 무엇을 탐구할지 선택하는 과정에서도 인식적 안목이 필요합니다. 페르마의 마지막 정리(Fermat's Last Theorem) 사례처럼, 처음에는 본질적 중요성보다 호기심을 자극하다가 다른 수학 영역과 연결되며 중심적 문제가 되는 경우가 많습니다. 동료 심사(peer review)와 비판은 단순히 오류를 거르는 절차를 넘어, 서로의 근거와 책임을 묻고 관점을 수정하며 객관적 지식과 과학적 판단 능력을 함께 만들어내는 공동체 활동입니다.
결국, AI가 평균적인 수학자보다 뛰어나더라도 인간의 성찰과 탐구(inquiry)가 유지되는 새로운 과학 모델이 필요합니다. AI 에이전트에 작업을 맡기면 예상치 못한 문제에 빠져들거나 목표 이탈(goal drift)의 위험이 있습니다. '정렬(alignment)'은 한 번 해결하고 끝낼 문제가 아니며, 가치를 명확히 말하고 서로 다른 가치 사이에서 판단할 사람이 계속 필요합니다. AI가 인간 없이 비판을 수행하고, 인간이 직접 이해하지 않고 AI의 주장을 신뢰할 때 인간의 비판 역량은 어떻게 될 것인지에 대한 질문이 남습니다.
신뢰성(reliability)만으로 지식이 되는가에 대한 철학적 논의도 중요합니다. 고전적 인식론은 참인 믿음이 지식이 되려면 믿는 사람이 이유를 제시할 수 있어야 한다고 보지만, 신뢰주의(reliabilism)는 정당화 이유를 제시하지 못해도 일부 참인 믿음은 지식일 수 있다고 봅니다. 그러나 로버트 브랜덤(Robert Brandom)의 논의에 따르면, 믿음의 출처가 신뢰할 만하다고 판단하는 것 자체가 추론을 통한 정당화이므로, 자신의 신뢰성을 알 수 없는 공동체는 지식을 가질 수 없습니다. 저자 책임(authorial responsibility)은 결과를 지식으로 이어주는 핵심 요소이며, 문제가 드러났을 때 찾아가 해명을 요구하고 해결할 수 있는 책임 있는 출처가 있어야 합니다. 책임지는 AI(accountable AI) 개발은 가능할 수 있지만, 인간에게 의미 있는 과학을 유지하는 데 충분하지 않으며, 증거를 요구하고 가정을 의심하며 회피성 답변을 알아볼 인간의 역량 또한 필수적입니다.