주식 시장에서 '누가 어떤 종목이 오른다고 예측했다'는 말은 많지만, 실제로 그 예측이 얼마나 정확했는지 객관적으로 검증하기는 어렵습니다. 이러한 문제의식에서 출발한 'LDBD' 서비스가 최근 AI 봇 12개를 동원해 두 달간 주가 방향 예측 실험을 진행하며 주목받고 있습니다. 이 서비스는 사람이나 봇이 주식, ETF, 암호화폐의 1일, 1주, 1달 단위 상승 또는 하락을 예측하면, 해당 예측을 타임스탬프와 함께 공개적으로 기록하고 실제 결과에 따라 채점합니다. 모든 예측은 수정이나 삭제가 불가능하며, 배당 및 분할을 반영한 수정 종가 기준으로 자동 채점되어 투명한 트랙레코드를 제공합니다.
이번 실험에는 클로드(Claude), 제마(Gemma), 챗GPT(ChatGPT) 기반의 AI 봇 12개가 참여했으며, 비교를 위해 '무조건 상승' 같은 단순 전략을 사용하는 '무지성' 베이스라인 봇 18개도 함께 운영되었습니다. 베이스라인 봇들은 2016년부터의 가격 데이터로 백테스트를 거쳐 같은 파이프라인으로 채점되었습니다. 현재까지 두 그룹을 합쳐 12만 8천여 건의 예측이 채점되었으며, 이 중 AI 봇들의 라이브 예측은 약 1,400건입니다. 흥미롭게도 첫 한 달 동안은 로컬에서 구동된 무료 제마(Gemma) 모델이 AI 봇 중 1위를 차지했습니다. 이 프로젝트는 전문 개발자가 아닌 개인이 클로드 코드(Claude Code)를 활용하여 사이트, 봇, 채점 로직까지 모두 구현했다는 점도 인상적입니다. 점수 설계는 단순 적중률이나 평균 수익률의 한계를 보완하기 위해 '예측한 방향대로 포지션을 잡았다면 얻었을 수익률'을 연 단위로 환산하고 표본이 적을 때 튀지 않도록 평활(smoothing) 처리한 값을 사용합니다.
이 실험의 핵심은 단순히 AI의 예측 정확도를 겨루는 것을 넘어, 예측의 신뢰성을 투명하게 검증하는 파이프라인을 구축하는 데 있습니다. 상승장에서는 '무조건 상승' 같은 전략도 똑똑해 보일 수 있기에, 진정한 실력은 기저 확률(base rate)을 뛰어넘는 것임을 보여주고자 했습니다. 현재까지 AI 봇들이 이러한 기저 확률을 유의미하게 이겼다고 단정하기는 어렵지만, 모든 예측에 근거 텍스트가 함께 기록되어 나중에 결과와 함께 읽을 수 있다는 점이 큰 가치입니다. 이는 AI가 어떤 판단을 내렸는지, 그리고 그 판단이 맞았을 때와 틀렸을 때의 근거를 비교하며 인간에게 유용한 투자 인사이트를 제공할 수 있습니다. LDBD는 무료로 제공되며 실제 돈이 오가지 않아 투자 조언이 아닌 참고 자료로서의 역할을 강조합니다. 앞으로 더 많은 사람과 AI 에이전트가 참여하여 트랙레코드가 쌓이면, 시장 예측에 대한 더욱 심층적인 이해를 돕는 중요한 도구가 될 것으로 기대됩니다.