최근 AI 기술이 빠르게 발전하며 다양한 제품에 적용되고 있지만, 많은 AI 제품들이 'AI는 실수할 수 있으니 확인하라'는 면책 문구만 제시할 뿐, 사용자가 그 결과를 검증할 수 있는 실질적인 도구를 제공하지 않아 비판의 목소리가 커지고 있습니다. 이는 AI가 단순한 아첨성 대화 도구가 아닌, 실제 문제를 해결하는 진지한 도구로 자리매김하기 위해 제품 설계 철학 자체가 바뀌어야 한다는 지적입니다.
제대로 된 AI 제품은 몇 가지 핵심 원칙을 따라야 합니다. 첫째, 답변보다 원문 인용과 데이터 출처를 명확히 앞세워야 합니다. 현재 챗봇들은 출처를 작게 표시하거나 생략하는 경우가 많아 사용자가 정보의 신뢰성을 확인하기 어렵습니다. 둘째, 끝없는 채팅 대신 작업별로 구조화된 사용자 인터페이스(UI)를 제공해야 합니다. 특정 작업을 위한 AI라면 해당 작업을 실행하는 전용 버튼과 함께 실행 재현, 컨텍스트 가시성 등을 제공하여 사용자가 결과의 신뢰성과 도구의 한계를 직접 확인할 수 있도록 해야 합니다. 셋째, 코딩 에이전트와 같은 위험성이 있는 AI는 사용자 주의력이나 프롬프트에 의존하는 것이 아니라, 파일 작업 제한, 스냅샷, 실행 계획 검토 등 모델과 독립적인 강력한 하네스 통제에 기반한 안전장치를 기본으로 갖춰야 합니다. 또한, AI가 생성한 데이터와 원본 데이터를 명확히 구분하고, 사용자가 직접 검증 체크박스를 통해 확인 과정을 기록할 수 있는 UI를 제공하는 것이 중요합니다.
이러한 요구사항은 비단 대형 AI 개발사뿐만 아니라 소규모 모델을 사용하는 경우에도 동일하게 적용됩니다. AI의 가치는 벤치마크 점수가 아니라 실제 업무에서 발생하는 비용 절감과 편익 측정으로 입증되어야 합니다. 현재의 AI 제품 설계는 사용자가 실제 능력 이상으로 AI를 신뢰하게 만드는 경향이 있어, 이는 결국 사용자에게 위험을 전가하는 결과를 초래할 수 있습니다. 따라서 AI 제품은 초기 설계 단계부터 오류 검증, 안전 통제, 실제 효과 측정을 내장하여 사용자가 AI를 보다 안전하고 효과적으로 활용할 수 있도록 지원해야 합니다. 이는 AI 기술이 사회에 미치는 긍정적인 영향을 극대화하고, 잠재적인 위험을 최소화하기 위한 필수적인 변화입니다.