최근 대규모 언어모델(LLM) 에이전트가 웹 지식 그래프(knowledge graph)에서 질문에 답할 때, 그래프의 온톨로지(ontology)를 활용한 검증 절차가 점차 보편화되고 있습니다. 이는 형식적인 스키마(formal schema)가 신뢰할 수 있는 판단 기준이 될 것이라는 가정에 기반합니다. 하지만 아르카이브(arXiv)에 발표된 새로운 연구는 이러한 검증 방식 자체에 오류가 있을 수 있음을 지적하며, 온톨로지 기반 검증의 실효성에 의문을 제기합니다.
미칼 오르제코프스키(Michal Orzechowski) 등 연구진은 온톨로지 자체를 연구 대상으로 삼아, 수동으로 큐레이션(curated)된 온톨로지, LLM이 생성한 온톨로지, 그리고 데이터에서 추출된 온톨로지 세 가지 유형을 비교 분석했습니다. 이들은 공개 및 비공개 지식 그래프에서 오픈소스 및 상용 LLM 에이전트를 대상으로 실험을 진행했습니다. 연구 결과, 온톨로지 기반 검증기가 실제 오류를 얼마나 잘 잡아내고, 동시에 올바른 답변을 얼마나 잘못 플래그(flag)하는지 상세히 밝혀냈습니다. 특히, 유니프롯(UniProt) 데이터셋 실험에서 수동 큐레이션된 온톨로지가 데이터에서 추출되거나 LLM이 생성한 온톨로지보다 더 많은 올바른 답변을 오판하는 것으로 나타났습니다. 실제 에이전트 답변에 대한 수동 온톨로지의 플래그는 무작위 플래그보다 정밀도가 미미하게 높을 뿐이었습니다.
이 연구는 온톨로지 기반 검증이 예상만큼 신뢰할 수 있는 '심판'이 아닐 수 있음을 시사합니다. 특히 고비용을 들여 수동으로 온톨로지를 구축하는 것이 과연 그만한 가치가 있는지 재고하게 만듭니다. LLM 에이전트의 신뢰성을 높이기 위한 검증 시스템을 설계할 때, 온톨로지 유형별 장단점을 명확히 이해하고, 단순히 형식적 스키마에 의존하기보다는 다양한 검증 소스를 결합하거나 에이전트에게 구체적인 피드백을 제공하는 등 보다 정교한 접근 방식이 필요하다는 중요한 함의를 제공합니다. 이는 LLM 에이전트 개발 및 활용에 있어 신뢰성 확보를 위한 새로운 방향성을 제시하는 연구입니다.