최근 AI 제품 개발에서 같은 요청에도 결과가 달라지는 예측 불가능성 문제를 해결하기 위한 새로운 접근 방식이 주목받고 있습니다. 바로 '하네스 엔지니어링(Harness Engineering)'으로, 모델에 더 많은 지침을 주기보다는 모델이 거스를 수 없는 결정론적 코드(deterministic code)로 AI의 행동을 직접 통제하는 방식입니다. 이는 AI 제품의 신뢰성을 높이고 반복적인 오류를 줄이는 데 필수적인 요소로 강조되고 있습니다.
하네스 엔지니어링은 통제 구조를 모델(Model), 하네스(Harness), 문서(Documentation), 훅(Hook)의 네 계층으로 나눕니다. 모델은 클로드(Claude)나 GPT처럼 뛰어난 성능을 가졌지만 예측 불가능한 특성을 지니며, 하네스는 모델의 실행 환경을 제어합니다. 문서는 모델에게 선호 사항이나 규칙을 제공하지만, 모델이 이를 따르지 않을 수 있습니다. 가장 강력한 통제 계층은 훅으로, 특정 상황을 감시하다 독립적으로 작동하는 코드를 통해 모델의 동의 여부와 무관하게 금지된 명령을 차단합니다. 즉, 정확성을 코드로 판정할 수 있는 작업은 훅을 통해 보장하고, 미묘한 분석 오류처럼 판단이 필요한 작업은 모델에 의존하는 방식으로 역할을 분리하는 것입니다. 이러한 통제 계층은 모델이 업그레이드되더라도 계속해서 필요하며, 특히 훅으로 옮겨진 규칙은 모델이 우회할 수 없어 반복 오류를 줄이고 사람의 검토 범위를 축소하는 효과를 가져옵니다.
이러한 '감싸는 계층(Wrapper)'의 중요성은 AI 코딩 도구 커서(Cursor)의 사례에서 명확히 드러납니다. 커서는 자체 범용 모델을 만들지 않고 클로드, GPT 등 다양한 모델을 상품처럼 빌려 사용하지만, 지난해 11월 약 10억 달러였던 매출이 6월 약 40억 달러로 급증했으며, 최근 스페이스X(SpaceX)에 600억 달러라는 역대 최대 규모로 인수되었습니다. 커서의 성공 비결은 더 나은 범용 모델이 아니라 코드베이스 인덱스, 개발자 사용 습관을 학습한 자동완성 모델, 엔터프라이즈 통합 환경 등 모델을 둘러싼 강력한 통제 계층을 축적했기 때문입니다. 이는 누구나 같은 모델을 빌릴 수 있는 시대에 제품별 기준, 코드, 데이터, 통합 환경을 축적한 감싸는 계층이 방어 가능한 경쟁력이 되며, AI 네이티브 제품의 지속 가능한 자산을 가르는 핵심 요소임을 시사합니다. 결국 AI 제품은 모델의 판단에 맡길 부분과 코드로 보장할 부분을 의도적으로 나누는 하네스 엔지니어링을 통해 고객에게 확신을 주는 동시에, 모델의 잠재력을 최대한 활용하는 균형점을 찾아야 합니다.