인공지능(AI) 모델을 훈련하고 평가하는 데 필수적인 '정답 데이터(Ground Truth)'가 객관적인 진실이 아니라 인간의 구성물이라는 주장이 제기되었습니다. 최근 아카이브(arXiv)에 발표된 논문은 정답 데이터셋이 자연적으로 주어진 중립적인 측정값이 아니며, 인간과 기술의 특정 배열에 의해 만들어진다는 점을 강조합니다. 이는 AI 커뮤니티가 정답 데이터 생성 과정의 보이지 않는 선택들을 논의하고, 참조 데이터셋이 보편적이지 않고 상황에 따라 달라질 수 있음을 인정해야 한다고 주장합니다.
이 논문은 정답 데이터의 '상황 의존적(situated)'이고 '맥락 의존적(context-dependent)'인 특성에 주목합니다. 연구진은 이러한 특성을 이해하는 것이 모델의 신뢰성(reliability)을 향상시키는 데 기여할 수 있다고 설명합니다. 즉, 데이터셋과 이를 통해 형성된 모델이 언제, 어디서, 어떻게 가장 잘 사용될 수 있는지에 대한 더 나은 정보를 얻을 수 있다는 것입니다. 또한, 모델의 한계와 강점, 그리고 '진실 주장(truth claims)'을 명확히 함으로써 '상황적 신뢰성(situated reliability)'을 높일 수 있다고 제안합니다.
정답 데이터의 구성 과정에 더 많은 관심을 기울이는 것은 AI의 투명성(transparency)과 책임성(accountability)을 높이는 데 중요합니다. 이는 단순히 기술적인 문제를 넘어, AI가 사회에 미치는 영향에 대한 윤리적, 철학적 질문과도 연결됩니다. 궁극적으로 이러한 논의는 다양한 학문 분야 간의 협력(interdisciplinary work)을 촉진하고, 더욱 견고하고 신뢰할 수 있는 AI 시스템을 구축하는 데 필수적인 토대가 될 것입니다.