인터넷 밈(meme)은 시각적 요소, 텍스트, 문화적 맥락이 뒤섞여 유머, 비꼬는 말, 그리고 때로는 유해한 의도가 공존하기 때문에 그 의미를 정확히 파악하기가 매우 어렵습니다. 이러한 복잡성 때문에 밈을 정확하게 분류하고, 왜 그렇게 분류되었는지 사람이 이해할 수 있는 설명을 제공하는 시스템의 필요성이 커지고 있습니다. 기존의 다중 모드 분류기들은 이러한 요소 간의 상호 의존성을 간과하거나 제한적인 설명만을 제공하는 한계가 있었습니다.
최근 연구에서 'MAR-12'(Multi-Angle Reasoning for Detecting and Explaining Harmful Humor in Memes)라는 새로운 프레임워크가 이러한 문제를 해결하기 위해 제시되었습니다. 이 프레임워크는 시각 언어 모델(VLM)을 활용하여 유머와 혐오 요소가 공존하는 밈을 탐지하고 이해합니다. MAR-12는 유머 및 혐오 이론에서 파생된 12가지 구조화된 관점을 통해 각 밈을 해석하며, 역할 인식 소프트 게이티드 어텐션(role-aware soft-gated attention) 메커니즘을 적용해 각 관점이 최종 예측에 얼마나 기여해야 하는지를 학습합니다. 이후 프로토타입 기반 분류기(prototype-based classifier)를 통해 최종 예측을 수행하고, 각 관점별 추론과 학습된 어텐션 가중치를 활용하여 투명하고 맥락에 기반한 설명을 생성합니다.
MAR-12는 PrideMM 및 Memotion 데이터셋에서 유머 탐지 정확도 80.3%, 혐오 탐지 정확도 75.9%를 달성하며 기존 최첨단 접근 방식을 능가했습니다. 특히 유머와 유해한 단서가 동시에 나타나는 밈에 대해 사람과 GPT-4 기반 평가 모두에서 일관되고 설득력 있는 설명을 생성하는 것으로 확인되었습니다. 이 연구는 밈의 복잡한 특성을 이해하고, 단순히 분류를 넘어 그 이유를 설명하는 AI 시스템 개발에 중요한 진전을 보여줍니다. 이는 온라인 콘텐츠의 유해성을 판단하고 관리하는 데 있어 더욱 신뢰할 수 있고 투명한 도구를 제공할 잠재력을 가지고 있습니다.