최근 AI의 자율적인 연구개발(R&D) 능력에 대한 회의적인 시각이 제기되며, 현재 AI 모델이 독창적인 혁신보다는 보조 도구에 가깝다는 분석이 나왔습니다. 스크래블(Scrabble) 엔진 개발, 얼티밋 틱택토(Ultimate Tic-Tac-Toe) 봇 개발, 그리고 철학 연구 등 세 가지 사이드 프로젝트를 통해 AI의 기본적인 판단력과 독창성에 한계가 있음을 확인했습니다. AI는 중요한 문헌을 식별하지 못하거나, 의미 없는 실험을 반복하는 경향을 보였습니다.
구체적으로, AI는 문헌 검토 시 가장 중요하고 유용한 논문이나 블로그 글을 놓쳤습니다. 예를 들어, 게임 봇 개발 과정에서는 최신 블로그 글에 담긴 영리한 아이디어를 찾아놓고도, 오래된 논문보다 그 중요성을 파악하지 못했습니다. 또한, 아키텍처(architecture) 비교 실험에서는 차이를 구분하기에 명백히 부족한 학습 데이터로 실험을 진행하여 정보 가치가 없는 결과를 도출했습니다. 철학 연구에서는 많은 토큰(token)을 사용해 위키(wiki)를 구축했음에도 불구하고, 극히 사소하고 가치가 낮은 방향을 반복해서 탐색하는 모습을 보였습니다.
다만, 빠른 피드백 루프(feedback loop)를 갖춘 점진적 최적화(hill-climbing optimization) 작업에서는 예외적으로 뛰어난 성능을 보였습니다. 스크래블 엔진 개발에서는 사람의 구체적인 제안과 반복적인 지시를 통해 합법적인 수 나열 성능을 기존 최고 수준의 10배로 높이는 데 성공했습니다. 하지만 이러한 큰 성능 도약은 두 번 모두 사람의 구체적인 제안, 즉 '무작위 국면별 측정 대신 게임 전체 측정', '빈 타일 특성을 고려한 알고리듬 설계'와 같은 명확한 지시 뒤에 일어났습니다. 또한, AI가 생성한 보고서는 이해하기 어려워 실제 수행 작업과 핵심 결과를 파악하기 위해 추가적인 질의응답이 필요한 경우가 많았다고 합니다.
이러한 결과는 현재 대규모 언어모델(LLM)이 아직 독창성이나 혁신성과는 거리가 멀다는 점을 시사합니다. AI는 인간이 몰랐던 정보를 빠르게 찾아내고 연결하는 데는 탁월하지만, 전체 시스템을 구상하거나 무엇이 중요한지 판단하는 큰 그림을 그리는 능력은 부족합니다. 마치 ADHD와 단기 기억 상실이 있는 천재처럼, 특정 작업에서는 뛰어나지만 혼자서 유용하게 작동하는 데 필요한 모든 기능을 갖추지는 못했습니다.
결론적으로, AI는 아직 인간의 알고리듬(algorithm) 혁신에 필적하는 성과를 내기 어렵지만, 연구 보조 도구로서의 잠재력은 매우 큽니다. 진단 도구 제작, 시각화, 실험의 기본 틀 구성 같은 반복적이고 잡무에 가까운 작업을 AI에 맡김으로써, 인간 연구자들은 더욱 중요한 질문과 창의적인 문제 해결에 집중할 수 있을 것입니다. 이는 AI가 인간 지능을 대체하기보다는, 인간의 역량을 확장하는 '거인의 어깨' 역할을 할 수 있음을 의미합니다.