한 시니어 데이터 엔지니어가 개발한 칼시(Kalshi) 예측 시장 자동 거래 봇이 브라이어 점수(Brier score) 평가에서 무작위 추측보다 낮은 성능을 보였다는 흥미로운 결과가 공개되었습니다. 브라이어 점수는 예측의 정확도를 측정하는 지표로, 점수가 낮을수록 예측이 더 정확하다는 것을 의미합니다. 이 봇은 기상 예측과 인플레이션 예측 두 가지 기능을 제공하며, 개발자는 소스 코드를 75달러에 판매하고 있습니다.
이 봇은 미국 예측 시장 플랫폼 칼시에서 날씨와 인플레이션 관련 바이너리 계약(binary contract)을 자동으로 거래하도록 설계되었습니다. 날씨 봇은 미국 해양대기청(NOAA)의 보정된 기상 관측소 예측 데이터를 기반으로 계약 가격을 책정하며, 예측 불가능한 시장에는 참여하지 않는 전략을 사용합니다. 인플레이션 봇은 클리블랜드 연방준비은행(Cleveland Fed)의 나우캐스트(Nowcast), 노동통계국(BLS)의 소비자물가지수(CPI) 하위 구성 요소, 경제분석국(BEA)의 개인소비지출(PCE) 데이터 등 다섯 가지 독립적인 신호 소스를 활용합니다. 개발자는 이 봇이 감정 없이 수학적 모델링에 기반한 예측을 한다고 설명하며, 기관급 기술로 구축되었다고 강조합니다.
이번 결과는 예측 시장의 복잡성과 자동화된 시스템 구축의 어려움을 다시 한번 상기시킵니다. 개발자는 소스 코드 판매의 이유로 예측 시장의 유동성(liquidity)을 들며, 다른 트레이더들이 동일한 예측 모델을 사용해도 수학적 우위(mathematical edge)가 희석되지 않는다고 주장합니다. 즉, 날씨와 같은 객관적인 현상을 예측하는 것이므로 내부 정보나 알파(alpha) 감소 문제가 없다는 것입니다. 하지만 브라이어 점수 결과는 아무리 정교한 모델이라도 실제 시장에서 '찍기'보다 나은 성과를 내기 어렵다는 현실을 보여주며, 예측 시장에서 꾸준히 수익을 내는 것이 얼마나 어려운 일인지를 시사합니다. 이러한 결과는 자동화된 예측 시스템에 대한 맹신보다는 지속적인 개선과 검증의 중요성을 강조합니다.