도구를 활용하는 대규모 언어모델(LLM) 에이전트가 점차 복잡하고 중요한 작업을 수행하면서, 이들의 '런타임 안전(runtime safety)' 확보가 핵심 과제로 떠오르고 있습니다. 에이전트가 의도치 않게 위험한 행동을 실행하거나 잘못된 결정을 내릴 가능성이 있기 때문입니다. 이러한 문제를 해결하기 위해 '넥서스(NEXUS: Neural EXecution Utility and Safety)'라는 새로운 구조화된 계획 안전 모니터가 개발되어 주목받고 있습니다.
넥서스는 LLM 에이전트가 특정 도구를 사용하기 전에 그 행동을 감시하고, 정교한 개입 정책에 따라 네 가지 조치 중 하나를 선택합니다. 즉, 행동을 '허용(allow)'하거나, '차단(block)'하거나, 사용자에게 '확인 요청(request confirmation)'을 보내거나, 에이전트에게 '수정 요청(request revision)'을 하는 방식입니다. 이 시스템은 결정론적 안전 규칙, 인자(argument) 수준의 정밀 검사, 그리고 보정된 로지스틱 회귀(logistic-regression) 기반의 위험 점수를 결합하여 점진적으로 위험 수준에 맞춰 대응합니다. 128개 인스턴스로 구성된 합성 벤치마크에서 넥서스는 0.949의 F1 점수를 달성했으며, 4가지 분류 개입 정확도에서 0.6406을 기록하여 규칙 기반 방식보다 27.3%포인트 높은 성능을 보였습니다. 또한, R-Judge 벤치마크에서도 0.861의 F1 점수로 기존 방식을 능가했으며, 평균 지연 시간은 0.205ms에 불과해 에이전트 루프에 미치는 오버헤드가 0.1% 미만으로 매우 낮습니다.
넥서스와 같은 안전 모니터링 시스템의 등장은 LLM 에이전트의 실제 적용 가능성을 크게 높일 수 있다는 점에서 중요합니다. 금융 거래, 의료 진단, 자율 주행 등 고위험 분야에서 LLM 에이전트가 활용되려면 예측 불가능한 오류나 오작동을 최소화하는 것이 필수적입니다. 넥서스는 이러한 위험을 사전에 감지하고 통제함으로써, 개발자들이 더욱 신뢰할 수 있는 에이전트를 구축하고 사용자들은 안심하고 AI 에이전트를 활용할 수 있는 기반을 제공합니다. 이는 LLM 에이전트 기술이 단순한 실험 단계를 넘어 실제 사회에 깊이 통합되는 데 중요한 전환점이 될 것입니다.