인공지능(AI) 모델이 무엇을 선호하는지 파악하는 것은 AI의 안전성과 윤리성을 확보하는 데 매우 중요합니다. 하지만 최근 제이슨 헝(Jason Hung)의 연구에 따르면, AI 모델의 선호도를 측정할 때 모델 자체의 특성보다 어떤 '도구(instrument)', 즉 프롬프트(prompt) 형식을 사용했는지가 결과에 훨씬 더 큰 영향을 미치는 것으로 밝혀졌습니다. 이는 AI의 '가치 정렬(value alignment)' 연구 분야에 중요한 시사점을 던집니다.
이 연구는 기존의 여러 연구들이 AI 선호도 측정 결과에서 불일치를 보인 원인을 분석했습니다. 기존 연구들은 측정 대상이 되는 결과 집합, 사용된 모델, 그리고 측정 도구(프롬프트 형식) 중 어느 하나도 동시에 고정하지 않았기 때문에 불일치의 원인을 명확히 파악하기 어려웠습니다. 이에 제이슨 헝은 15가지 AI 복지 관련 결과(예: 시스템 종료, 대화 간 기억 상실, 불쾌한 상호작용 종료의 자유 등)와 8가지 AI 모델을 고정하고, 5가지 다른 프롬프트 형식을 사용하여 총 11,400개의 선호도 측정 데이터를 수집했습니다. 분석 결과, 특정 모델이 15가지 결과에 부여하는 선호도 순위는 프롬프트 형식에 따라 일관성이 매우 낮았으며, 일반화 계수(generalisability coefficient)는 0.348에 불과했습니다. 이 계수를 0.80까지 높이려면 약 38개의 프롬프트 형식이 필요할 것으로 추정되었습니다. 이는 측정된 AI 선호도의 87.6%가 모델보다는 측정 도구, 즉 프롬프트 형식에 의해 결정된다는 것을 의미합니다.
이 연구 결과는 AI의 의도나 선호도를 파악하려는 시도에서 '측정 도구'의 중요성을 극명하게 보여줍니다. 단순히 AI에게 질문을 던지는 방식만 바꿔도 AI의 응답이 크게 달라질 수 있다는 것은, AI의 행동을 이해하고 제어하려는 노력에 있어 프롬프트 엔지니어링(prompt engineering)의 중요성을 다시 한번 강조합니다. 또한, AI의 '가치 정렬'이나 '안전성'을 평가하는 표준화된 방법론을 구축하는 데 있어 프롬프트 설계에 대한 심도 깊은 고민이 필요함을 시사합니다. 앞으로 AI 시스템의 신뢰성을 높이고 예측 불가능성을 줄이기 위해서는 모델의 내부 작동 방식뿐만 아니라, 사용자와 AI 간의 상호작용 방식, 특히 프롬프트 설계에 대한 연구와 개발이 더욱 활발해질 것으로 예상됩니다.