최근 아카이브(arXiv)에 발표된 연구 논문은 웹 월드 모델(Web World Model)이 사용자 행동의 결과를 예측하는 방식에 중요한 의문을 제기합니다. 이 모델들은 인공지능(AI) 에이전트가 특정 행동을 수행하기 전에 그 결과를 미리 예측하여 안전한 결정을 돕는 역할을 합니다. 하지만 연구팀은 단순히 '그럴듯한(plausible)' 예측만으로는 실제 안전 문제를 해결하기에 부족하며, 모델의 '안전성 충분성(safety sufficiency)'을 심층적으로 평가해야 한다고 주장합니다.
연구팀은 10개의 오픈 모델에서 생성된 3,000개의 예측을 인간이 직접 평가했습니다. 그 결과, 86.1%의 예측이 의미론적으로 그럴듯하다고 판단되었지만, 실제 안전 관련 의사결정에서는 여러 모델이 비대칭적인 승인 행동을 보였습니다. 특히, '오류로 인한 안전 실행(false-safe execution)'은 낮았지만, 사용자에게 추가 확인이 필요한 '질의(ASK)' 상황을 제대로 인지하지 못하고, 무조건 '차단(BLOCK)'하는 경향이 강하게 나타났습니다. 이는 모델이 예측한 미래가 그럴듯하더라도, 정책 결정에 필요한 핵심 정보를 제대로 제공하지 못하고 있음을 의미합니다.
이러한 문제의식에서 연구팀은 'SafeWebWorld'라는 새로운 벤치마크를 도입했습니다. 이 벤치마크는 웹 안전 관련 다섯 가지 도메인에서 행동 조건부 미래 예측, 정책 결정적 증거, 그리고 정책 조건부 결정을 통해 모델의 안전성 충분성을 평가합니다. 또한, '보안 정렬 지도 미세조정(Security-Aligned Supervised Fine-Tuning)' 프로토콜 하에서 증거 보존 능력은 향상될 수 있지만, 승인 민감 결정은 오히려 저하될 수 있음을 발견했습니다. 이는 모델이 특정 정보를 잘 보존하더라도, 실제 안전 결정에 필요한 미묘한 판단 능력이 떨어질 수 있음을 시사합니다.
연구는 '잠재 승인 복구(Latent Authorisation Recovery, LAR)' 기법을 도입하여, 결정 저하가 승인 민감 점수 구조의 손실 때문인지, 아니면 단순히 결정 판독의 실패 때문인지를 분석했습니다. 결과적으로, 동결된 점수 재보정을 통해 상당한 복구 가능성을 확인했지만, 이는 모델의 백본(backbone)에 따라 달랐으며, 쌍으로 된 복구는 미미한 추가 개선만을 가져왔습니다. 이는 그럴듯한 예측, 증거 보존, 그리고 총체적 복구만으로는 견고한 승인 행동을 확립하기에 각각 불충분하다는 결론으로 이어집니다.
이번 연구는 웹 월드 모델의 개발 방향에 중요한 시사점을 제공합니다. 단순히 예측의 정확성이나 그럴듯함을 넘어, 실제 사용자 안전과 직결되는 의사결정 과정에서 모델이 얼마나 충분한 정보를 제공하고 올바른 판단을 내릴 수 있는지에 초점을 맞춰야 합니다. 특히, AI 에이전트가 더욱 복잡한 웹 환경에서 자율적으로 작동하게 될 미래에는, '안전성 충분성'이 모델의 신뢰성과 실용성을 결정하는 핵심 요소가 될 것입니다.