yozm.tech
피드로 돌아가기
PlatumHOTAI 재작성

아이가 아기상어와 대화하는 전시, 1만 개 시나리오로 안전성 검증했다

더핑크퐁컴퍼니와 셀렉트스타가 동대문디자인플라자(DDP)에서 진행 중인 '아기상어 비밀 초대장' AI 전시의 제작 및 검증 과정을 공개했습니다. 관람객이 아기상어와 직접 대화하며 이야기를 만들어가는 새로운 경험을 제공하지만, 예측 불가능한 AI 대화의 안전성과 일관성을 확보하기 위해 1만 개 이상의 다국어 시나리오와 '레드티밍' 기법을 활용해 철저히 검증했습니다.

9시간 전·2026.09.11·읽기 1·최원희

더핑크퐁컴퍼니가 동대문디자인플라자(DDP)에서 선보인 '아기상어 비밀 초대장: 비커밍 샤크' 체험 전시는 관람객이 아기상어 캐릭터와 직접 대화하며 이야기의 주인공이 되는 새로운 형태의 인공지능(AI) 기반 콘텐츠입니다. 기존의 정해진 영상을 시청하는 방식과 달리, AI 전시는 관람객의 말과 행동에 따라 실시간으로 상호작용하며 이야기가 전개되는 특징을 가집니다. 하지만 이러한 상호작용의 자유도는 동시에 예측 불가능한 대화의 위험성을 내포하고 있어, 안전하고 일관된 경험을 제공하는 것이 중요한 과제로 떠올랐습니다.

이러한 과제를 해결하기 위해 더핑크퐁컴퍼니는 AI 데이터 전문 기업 셀렉트스타와 협력했습니다. 셀렉트스타는 자체 평가 플랫폼을 활용해 아기상어 캐릭터와의 대화가 안전하고, 세계관에 일관되며, 다국어 품질까지 우수한지 검증했습니다. 특히 한국어, 영어, 일본어, 중국어 4개 언어로 1만 개 이상의 안전성 평가 시나리오를 구축하고, 관람객의 연령과 말하는 방식을 반영한 가상 이용자가 캐릭터와 여러 차례 대화하는 시뮬레이션을 진행했습니다. 또한, 공격자 입장에서 시스템의 허점을 찾는 '레드티밍(red teaming)' 기법을 적용하여, 직접적인 유해 질문뿐 아니라 역할극, 외국어, 우회적인 표현을 통한 취약점까지 찾아내고 보완하는 과정을 반복했습니다.

이러한 AI 콘텐츠 검증 과정은 단순히 기술적인 완성도를 넘어, 사용자 경험의 질과 안전성을 보장하는 핵심적인 단계로 평가됩니다. 특히 어린이 대상 콘텐츠의 경우, 부적절한 대화나 유해 정보 노출의 위험을 사전에 차단하는 것이 무엇보다 중요합니다. 셀렉트스타의 다각적인 검증 방식은 AI 기반 인터랙티브 콘텐츠가 대중에게 안전하게 다가갈 수 있는 모범 사례를 제시하며, 향후 다양한 분야에서 AI 기술이 접목된 체험형 콘텐츠 개발에 중요한 기준점이 될 것으로 보입니다. 이는 AI 기술이 단순한 기능 구현을 넘어, 사회적 책임과 윤리적 고려를 함께 해야 함을 보여주는 사례이기도 합니다.

1인 창업자를 위한 기회 분석
AI 분석 · 참고용이며 검증이 필요합니다
4/10
보통
4점인가

AI 안전성 검증은 중요하지만, 이미 전문 기업들이 시장을 형성하고 있어 1인 창업자가 진입하기에는 진입 장벽이 높습니다.

문제 / 미충족 수요

AI 기반 인터랙티브 콘텐츠, 특히 어린이 대상 콘텐츠는 예측 불가능한 사용자 입력으로 인해 유해하거나 부적절한 대화가 발생할 위험이 있어 철저한 안전성 검증이 필요합니다.

한국 시장
국내 있음셀렉트스타와 같은 전문 데이터 기업이 이미 시장에 존재하며, AI 안전성 검증에 대한 인식이 점차 확산되고 있습니다.
수익 모델

B2B AI 데이터 구축 및 검증 서비스 · 돈 내는 주체: AI 기반 인터랙티브 콘텐츠를 개발하는 기업 (예: 교육 콘텐츠 기업, 전시 기획사, 게임 개발사)

1인 실현 가능성
2/5

AI 대화 검증은 대규모 데이터 구축 및 전문 인력, 평가 플랫폼이 필요하여 1인 창업자가 전체 솔루션을 구축하기는 어렵습니다.

진입 지점 (Wedge)

특정 산업(예: 교육, 엔터테인먼트)에 특화된 AI 대화 안전성 검증 템플릿 및 가이드라인 개발

이번 주 첫 실험

어린이 교육용 앱/콘텐츠 개발사를 대상으로 AI 대화 안전성 검증의 중요성에 대한 설문조사 및 인터뷰 진행

Original source
이 글은 Platum의 기사를 yozm.tech가 한국어로 재작성한 버전입니다.
원문 보기