예측 시장은 새로운 것이 아니다
시장을 이용해 예측을 집계한다는 아이디어는 21세기의 혁신이 아닙니다. 정치적 베팅 시장은 Wall Street의 장외 거래소가 대통령 선거에 베팅을 받았던 1860년대부터 미국에 존재했습니다. 이러한 시장들은 널리 주목받았고 당시의 무작위 여론조사보다 종종 더 정확했습니다. 1988년에 출시된 Iowa Electronic Markets는 현대적 형태로 예측 시장 정확성에 대한 초창기 학술적 증거를 제공했습니다.
학술적 트랙 레코드
University of Iowa의 Berg, Nelson, Rietz는 1988년부터 2004년까지 대통령 선거에 걸쳐 Iowa Electronic Markets의 예측과 여론조사 데이터를 비교하는 여러 연구를 발표했습니다. 같은 날짜를 기준으로 비교했을 때, 시장은 74%의 경우 여론조사를 능가했습니다. 그 우위는 선거 100일 이상 전에 예측이 이루어졌을 때 특히 두드러졌습니다.
2023년 International Journal of Forecasting에 게재된 Atanasov 연구진의 메타 분석은 여러 영역에 걸쳐 예측 시장, 여론조사, 전문가 예측을 조사했습니다. 그들은 최고의 예측이 일반적으로 세 출처를 모두 결합하며, 질문이 잘 정의되고, 결제 기준이 명확하며, 유동성이 충분할 때 시장이 가장 잘 수행된다는 것을 발견했습니다.
시장이 실패한 지점
예측 시장은 무결하지 않으며, 그 실패는 교훈적입니다. 시장은 극단적 이벤트(블랙 스완)의 확률을 체계적으로 과소평가하는데, 이는 극단적 이벤트의 기저율이 매우 낮고 대부분의 시장 참여자가 그것을 경험하지 않았기 때문입니다. 시장은 또한 사고 과정이 진정으로 비공개인 단일 의사결정권자에게 결제가 달린 이벤트(특정 CEO가 사임할 것인지, 특정 판사가 특정 방식으로 판결할 것인지)에서도 어려움을 겪습니다.
2024년 미국 선거는 혼합된 사례를 제공했습니다. Polymarket은 여론조사가 접전을 보일 때 Trump를 유력한 승자로 정확히 식별했지만, 57%의 확률은 여전히 43%의 오류 가능성을 의미했습니다. 이 사례에서 시장은 옳았지만, 결과적으로 맞은 57% 예측이라고 해서 그 예측이 완벽했다는 의미는 아닙니다. 시장이 불확실성을 올바르게 평가했다는 의미이며, 이는 다르고 더 미묘한 주장입니다.
캘리브레이션이 올바른 지표다
시간 경과에 따른 예측 시장 정확성을 평가하는 올바른 방법은 캘리브레이션입니다. 시장이 30%로 가격을 매긴 이벤트가 실제로 30%의 경우에 발생하는가? 70%로 가격이 매겨진 이벤트가 70%의 경우에 발생하는가? 완벽한 캘리브레이션은 시장이 어떠한 확률 수준에서도 체계적으로 과신하거나 과소 신뢰하지 않는다는 것을 의미합니다.
예측 시장 캘리브레이션에 대한 연구들은 일반적으로 20-80% 범위에서는 좋은 성과를 보여주지만 극단에서는 일부 과신이 나타납니다(95%로 가격이 매겨진 이벤트는 95%보다 약간 덜 자주 발생합니다). 이는 이론적 기대와 일치합니다: 극단적 확률은 정확하게 가격을 매기기 더 어려운데, 확률의 작은 절대적 변화가 교정을 위해 포지션의 큰 퍼센트 변화를 요구하기 때문입니다.
Blockcircle에서 이러한 도구를 살펴보세요: Prediction Markets Mispricing Engine