대규모 과학 데이터셋을 인공지능(AI) 학습에 활용하는 것은 현대 과학 연구의 핵심 과제 중 하나입니다. 하지만 기후, 단백질체학, 재료 과학, 핵융합 등 다양한 분야의 방대한 원시 데이터는 AI 모델이 학습할 수 있는 형태로 변환하기 위해 상당한 시간과 노력이 드는 전처리 과정을 거쳐야 합니다. 이러한 데이터 준비 과정은 종종 과학 AI 개발의 주요 병목 현상으로 작용해왔습니다.
최근 아카이브(arXiv)에 공개된 논문에서 연구팀은 이러한 문제 해결을 위해 오픈소스 프레임워크 REDI(Automated Data Readiness for Scientific AI)를 발표했습니다. REDI는 데이터 수집(ingest), 전처리(preprocess), 변환(transform), 구조화(structure), 출력(output)의 5단계 파이프라인을 통해 데이터 준비 과정을 자동화합니다. 각 단계별로 재현성을 위한 계측(instrumentation)이 포함되어 있으며, AI 에이전트가 호출할 수 있는 스킬(skill) 형태로 배포될 수 있습니다. 또한, 동반 도구인 SetGo는 FAIR(Findable, Accessible, Interoperable, Reusable) 데이터 원칙 준수 및 카탈로그 발행을 자동화하여 데이터의 접근성과 재사용성을 높입니다. 연구팀은 기후 과학 사례에서 REDI가 프론티어(Frontier) 슈퍼컴퓨터의 100개 노드에서 거의 이상적인 병렬 확장성을 보였다고 밝혔습니다.
REDI의 등장은 과학 AI 분야에서 데이터 준비의 효율성과 재현성을 크게 향상시킬 잠재력을 가지고 있습니다. 기존에는 수작업으로 이루어지던 복잡한 데이터 변환 및 검증 과정을 자동화함으로써, 연구자들은 AI 모델 개발과 분석에 더 많은 시간을 할애할 수 있게 됩니다. 특히, 출처 추적(provenance tracking) 기능을 통해 데이터의 모든 변환 과정을 기록하고 검증할 수 있어 연구 결과의 신뢰도를 높이는 데 기여할 것입니다. 이는 과학 연구의 속도를 가속화하고, 다양한 과학 분야에서 AI의 활용을 더욱 확대하는 중요한 기반이 될 것으로 기대됩니다.