기존 머신러닝(ML) 모델이 비즈니스 의사결정에 활용될 때, 과거 데이터의 '낙관주의 편향(optimism bias)'으로 인해 실제 운영에서 손실을 초래하는 경우가 많다는 문제가 제기되었습니다. 이러한 편향은 모델이 실제 거래된 성공적인 사례에만 학습되어, 실제 시장의 모든 기회와 위험을 반영하지 못하기 때문입니다. 이러한 한계를 극복하기 위해 HyperC(하이퍼씨) 팀은 7년간의 연구 끝에 'P34'라는 새로운 수익 예측 모델을 공개했습니다.
P34는 '수익 회귀(Profit-as-Regression)' 모델로, 단순히 과거 데이터에 가장 잘 맞는 모델을 찾는 대신, 다양한 시나리오와 실제 시장 이력을 통해 손실을 피하고 기존 비즈니스 성과와 유사하며 포트폴리오 수준의 수익 예측을 유지하는 구성을 선택합니다. 이 모델은 사용자가 제공하는 거래 가능한 옵션(X_menu)과 과거 거래 이력(X_historical_df, y_historical_df 등)을 학습하여, 각 옵션의 최적 거래량(qty)과 예상 수익(profit)을 예측합니다. 특히, 아마존 도매, 소액 대출, 스타트업 투자 등 시장 비효율성이 존재하는 다양한 분야에 적용될 수 있으며, 전력, 수집품, 가상 상품 등 계산 가능한 시장에서도 활용 가능성을 제시합니다.
P34의 핵심은 데이터 편향을 보정하기 위한 복잡한 엔지니어링 판단(특징 처리, 정규화, 보수성 가정)의 공간 자체를 문제로 보고, 이를 대규모로 열거하여 각 구성을 '생존 기준'으로 평가하는 데 있습니다. 즉, 과거에 가장 잘 맞는 모델이 아닌, 다양한 시뮬레이션과 실제 시장 이력에서 손실을 피하고 안정적인 포트폴리오 수익을 제공하는 모델 구성을 찾아냅니다. 이는 AI 기반 의사결정 시스템의 신뢰성을 높이고, 기업들이 보다 현실적이고 수익성 있는 전략을 수립하는 데 중요한 기여를 할 것으로 보입니다. 다만, P34는 과거의 모든 '메뉴' 데이터를 필요로 하며, 시장 데이터가 잠재 공간에 주로 존재하는 '부분적으로 관찰되는 시장(partially observed markets)'의 비효율성을 활용하도록 설계되어, 고빈도 거래와 같이 규제되고 완전히 투명한 시장에는 적합하지 않습니다.