대규모 언어모델(LLM)이 복잡한 작업을 동시에 처리할 때 판단의 정확성이 떨어지는 '과부하 오류' 문제가 발생한다는 연구 결과가 나왔습니다. 카네기 멜론 대학교(Carnegie Mellon University) 연구진은 LLM이 여러 요구사항을 한 번에 검토하도록 요청받으면, 일부 결정이 근거 없이 내려질 수 있음을 발견했습니다. 이는 심사(judge) 역할을 하는 LLM에 더 많은 연산 자원(compute)을 제공하더라도 반드시 더 많은 요구사항을 확인하지 않는다는 의미입니다.
연구팀은 이러한 문제를 해결하기 위해 '샤딩(sharding)'이라는 기법을 제안했습니다. 샤딩은 전체 요구사항을 더 작은 그룹으로 분할하고, 각 그룹을 별도의 LLM 호출(call)에 할당하여 개별적으로 판단하게 한 다음, 그 결과를 취합하는 방식입니다. 연구 논문에 따르면, 전문가가 채점한 연구 복제, 법률 업무, 임상 시험 평가 등 다양한 분야에서 샤딩을 적용했을 때, LLM이 한 번에 처리하는 판정(verdict) 수가 늘어날수록 전문가와의 일치도가 떨어지는 현상을 완화할 수 있었습니다. 심지어 샤딩을 적용한 '약한' LLM 심사관이 전체 예산을 한 번에 받은 '더 유능한' LLM 심사관보다 더 나은 성능을 보이거나 동등한 수준에 도달하기도 했습니다.
샤딩은 또한 악의적인 공격에 대한 견고성(robustness)도 보여주었습니다. 공격자가 LLM의 과부하를 이용해 충족되지 않은 기준을 통과시키려 할 때, 샤딩은 이러한 공격의 성공률을 현저히 낮췄습니다. 이는 LLM 기반의 감시 시스템이 더욱 신뢰할 수 있고 안전하게 작동할 수 있음을 시사합니다. 이 연구는 LLM을 활용한 자동화된 검토 및 심사 시스템의 신뢰성을 높이는 중요한 방법론을 제시하며, 향후 다양한 분야에서 LLM의 활용 범위를 넓히는 데 기여할 것으로 기대됩니다.