생성형 AI(Generative AI) 시대가 도래하면서 데이터 관리의 중요성이 과거와는 비교할 수 없을 정도로 커졌습니다. AI 모델이 신뢰할 수 있는 결과를 내려면 양질의 데이터가 필수적이기 때문입니다. 과거 애플리케이션 개발자가 데이터 구조까지 담당하던 시절을 넘어, 이제는 데이터베이스 설계자, 관리자, 최고정보책임자(CIO), 최고데이터책임자(CDO) 등 전문 역할이 분화되며 데이터 관리가 기업의 전략적 핵심 기능으로 격상되었습니다.
초기 컴퓨터 시스템에서 데이터 관리는 애플리케이션 개발의 한 부분이었습니다. 그러나 트랜잭션 처리 시스템이 확산되고 데이터베이스가 급증하면서 응답 시간, 가용성, 무결성 등을 전문적으로 다루는 데이터베이스 설계자와 관리자가 등장했습니다. 이후 여러 시스템에 동일한 데이터가 중복 저장되면서 발생하는 무결성 문제를 해결하기 위해 운영 데이터와 분석 데이터를 분리하는 데이터 웨어하우스(Data Warehouse)가 도입되었고, 데이터 모델을 통한 정형 데이터 관리가 중요해졌습니다. 하지만 기업 데이터의 최대 90%를 차지하는 비정형 텍스트 데이터는 전통적인 정형 데이터 모델로는 관리하기 어렵다는 한계가 있었습니다. 이에 텍스트 환경에서는 온톨로지(ontology)와 분류체계(taxonomy)가 데이터 모델의 역할을 대신하게 됩니다.
생성형 AI 환경에서 데이터 관리의 핵심은 LLM(대규모 언어모델)에 입력되는 텍스트를 선별하고 정제하는 것입니다. 불필요한 텍스트를 제거하면 쿼리 처리 비용을 절감하고 LLM의 학습 범위를 명확히 할 수 있습니다. 또한, 비정형 텍스트의 온톨로지/분류체계를 기업 전체의 ELDM(Enterprise Logical Data Model)과 결합하여 정형/비정형 데이터를 통합적으로 이해하는 것이 중요해졌습니다. 이는 데이터가 여러 시스템에 분산되어 물리적 중앙집중이 불가능해진 상황에서, 데이터의 의미와 정의를 통합하는 '의미론적 중앙집중'으로의 전환을 의미합니다. 데이터 관리자는 LLM 자체를 직접 통제하기보다, 입력 데이터를 관리함으로써 AI의 결과물을 간접적으로 통제하는 새로운 역할을 수행하게 됩니다.