최근 발표된 연구 논문 'Dr-DCI: Dynamic Workspace Expansion을 통한 직접 말뭉치 상호작용 확장(Scaling Direct Corpus Interaction via Dynamic Workspace Expansion)'은 AI 에이전트가 방대한 양의 문서에서 정보를 찾고 활용하는 방식의 효율성을 혁신할 새로운 프레임워크를 제시합니다. 기존의 에이전트 기반 검색 시스템은 주로 검색기(retriever)를 통해 관련 문서를 순위화하거나 제한된 형태로만 보여주어, 에이전트가 여러 문서를 종합적으로 분석하거나 특정 제약 조건을 검증하는 데 어려움이 있었습니다. 이 논문은 이러한 한계를 극복하기 위해 '직접 말뭉치 상호작용(Direct Corpus Interaction, DCI)'이라는 개념을 확장한 'DR-DCI'를 소개합니다.
DR-DCI는 검색(retrieval) 기능을 에이전트가 직접 호출할 수 있는 액션으로 통합하여, 에이전트가 전체 말뭉치(corpus)를 직접 탐색하는 대신, 필요한 문서를 '동적 작업 공간(dynamic workspace)'으로 가져와 DCI 작업을 수행하도록 설계되었습니다. 이는 마치 사람이 책상 위에 필요한 서류만 펼쳐놓고 작업하는 방식과 유사합니다. 에이전트는 검색기를 통해 관련성 높은 문서를 작업 공간으로 불러온 다음, 이 공간 내에서 셸(shell) 명령과 유사한 DCI 연산을 통해 유연하게 검색, 필터링, 비교, 검증 등의 작업을 수행합니다. 이 접근 방식은 검색기의 확장성(scalability)과 DCI의 정밀성(precision)을 결합하여, 대규모 데이터 환경에서도 에이전트가 효과적으로 증거를 찾아내고 문제를 해결할 수 있게 합니다.
연구팀은 DR-DCI가 다양한 규모의 말뭉치에서 효과적이고 효율적임을 실험을 통해 입증했습니다. 'Browsecomp-Plus' 벤치마크에서 DR-DCI는 71.2%의 정확도를 달성하여 기존 DCI 및 다른 변형 모델보다 최대 8.3% 포인트 향상된 성능을 보였으며, 도구 사용량, 소요 시간, 예상 비용까지 절감했습니다. 특히, 작업 공간을 유지하는 컨텍스트 리셋(context reset) 기능을 추가했을 때는 정확도가 73.3%까지 상승했습니다. 10만 개에서 1천만 개에 이르는 문서 규모에서도 DR-DCI는 안정적인 성능을 유지했지만, 기존 DCI는 불안정해지고 BM25는 현저히 낮은 성능을 보였습니다. 2천만 개 문서 규모의 Wiki-18 QA 설정에서도 DR-DCI는 평균 63.0점을 기록하며 기존 검색 기반 및 훈련된 검색 에이전트 기준선들을 능가했습니다.
이러한 결과는 AI 에이전트가 방대한 정보 속에서 더욱 정교하고 효율적으로 작업할 수 있는 길을 열어줍니다. DR-DCI는 단순히 관련 문서를 찾는 것을 넘어, 에이전트가 정보를 능동적으로 조직하고, 여러 문서 간의 관계를 파악하며, 복잡한 질문에 대한 답을 검증하는 능력을 향상시킵니다. 이는 법률, 의료, 연구 등 방대한 문헌 분석이 필수적인 분야에서 AI의 활용도를 극대화할 수 있는 중요한 발전이며, 미래의 지능형 에이전트가 더욱 복잡한 현실 세계 문제를 해결하는 데 기여할 것입니다.