대규모 언어모델(LLM)이 임상 워크플로우에 점차 통합되면서, 모델이 생성한 콘텐츠의 출처를 추적하기 위한 워터마크(watermarking) 기술의 중요성이 커지고 있습니다. 하지만 최근 아카이브(arXiv)에 발표된 논문 "잘못된 증상을 표시하다: 의료 텍스트에서 LLM 워터마크 평가(Marking the Wrong Symptoms: Evaluating LLM Watermarks in Medical Texts)"에 따르면, 이 워터마크 기술이 의료 분야에서는 예상치 못한 심각한 부작용을 초래할 수 있다고 경고합니다.
이 연구는 5가지 워터마크 기법을 11개 LLM과 7개 VLM(시각 언어모델)에 적용하여 단일 모드 및 다중 모드 임상 추론 등 다양한 의료 관련 작업에서 성능을 벤치마킹했습니다. 특히, 인간 전문가가 검증한 파이프라인을 도입하여 의료 추론 품질, 용어의 정확성, 그리고 모델이 생성하는 환각(hallucination) 현상을 체계적으로 감사했습니다. 연구 결과는 워터마크가 어휘 손상, 환각 용어 생성, 이미지 소견의 잘못된 귀속 또는 누락 등 여러 실패 모드에서 상당한 성능 저하를 유발할 수 있음을 보여주었습니다. 이는 기존의 일반적인 벤치마크로는 의료 텍스트에 내재된 미묘한 오류를 놓칠 수 있음을 시사합니다.
이번 연구는 워터마크가 의료 분야에서 야기할 수 있는 실제적인 성능 저하를 명확히 밝혀냈다는 점에서 중요합니다. 의료 분야에서는 작은 토큰(token) 수준의 변경도 의미론적으로 중대한 변화를 초래하여 오진이나 잘못된 치료로 이어질 수 있기 때문입니다. 따라서 워터마크가 적용된 모델을 의료 분야에 안전하게 배포하기 위해서는 도메인 특화된 평가가 필수적이며, 현재의 일반적인 벤치마크는 임상적으로 중요한 오류를 가릴 수 있다는 점을 인지해야 합니다. 이는 AI 기술이 인간의 건강과 직결되는 민감한 영역에서 얼마나 신중하게 접근해야 하는지를 다시 한번 강조합니다.