아마존(Amazon)이 2005년부터 운영해온 대표적인 크라우드소싱 플랫폼 미케니컬 터크(Mechanical Turk, MTurk)를 2024년 9월 30일부로 종료한다고 발표했습니다. MTurk는 기업이나 개인이 데이터 검증, 설문 참여, 콘텐츠 중재 등 컴퓨터가 하기 어려운 미세 작업(microtask)을 전 세계의 분산된 작업자(worker)들에게 맡길 수 있도록 연결해주는 온라인 장터였습니다. 이는 특히 대규모 언어모델(LLM) 및 인공지능(AI) 모델 학습에 필요한 방대한 양의 데이터 라벨링(data labeling)과 인간 피드백(human-in-the-loop, HITL)을 얻는 데 중요한 도구로 활용되어 왔습니다.
MTurk는 유연한 사용자 인터페이스(UI) 또는 API 연동을 통해 개발자들이 손쉽게 온디맨드(on-demand) 인력에 접근할 수 있게 했습니다. 이를 통해 기업들은 임시 인력을 고용하는 시간과 비용을 절감하고, 24시간 연중무휴로 전 세계 인력을 활용하여 효율성을 극대화할 수 있었습니다. 특히 AI2(Allen Institute for AI)와 같은 연구 기관들은 MTurk를 활용해 모델 학습에 필요한 상식 데이터셋을 구축하고, 컴퓨터 비전(computer vision) 모델을 위한 바운딩 박스(bounding box) 작업 등 복잡한 데이터 주석(annotation) 작업을 수행하며 AI 연구 발전에 기여했습니다.
MTurk의 서비스 종료는 AI 기술의 급격한 발전과 크라우드소싱 시장의 변화를 반영하는 것으로 보입니다. 이제는 AI 자체가 데이터 라벨링이나 콘텐츠 중재와 같은 작업을 상당 부분 자동화할 수 있게 되었으며, 더 전문화된 크라우드소싱 플랫폼들이 등장하여 특정 산업이나 작업 유형에 특화된 서비스를 제공하고 있습니다. MTurk의 퇴장은 한 시대의 상징적인 플랫폼이 사라지는 것이지만, 동시에 AI와 인간 협업의 새로운 형태가 진화하고 있음을 보여주는 신호로 해석될 수 있습니다.