Pasar Prediksi Bukanlah Hal Baru
Ide menggunakan pasar untuk mengagregasi prediksi bukanlah inovasi abad ke-21. Pasar taruhan politik ada di Amerika Serikat sejak tahun 1860-an, ketika curb exchange Wall Street menerima taruhan pada pemilu presiden. Pasar-pasar ini banyak diikuti dan sering kali lebih akurat daripada straw poll kontemporer. Iowa Electronic Markets, yang diluncurkan pada tahun 1988, memberikan beberapa bukti akademis pertama tentang akurasi pasar prediksi dalam bentuk modern.
Rekam Jejak Akademis
Berg, Nelson, dan Rietz di University of Iowa menerbitkan beberapa studi yang membandingkan prediksi Iowa Electronic Markets dengan data polling di seluruh pemilu presiden dari 1988 hingga 2004. Pasar mengungguli polling 74% dari waktu ketika dibandingkan pada tanggal yang sama. Keunggulan ini sangat menonjol ketika prakiraan dibuat lebih dari 100 hari sebelum pemilu.
Meta-analisis 2023 di International Journal of Forecasting oleh Atanasov dan rekan-rekannya meneliti pasar prediksi, polling, dan peramal ahli di berbagai domain. Mereka menemukan bahwa prakiraan terbaik umumnya menggabungkan ketiga sumber, dengan pasar berkinerja terbaik ketika pertanyaan terdefinisi dengan baik, kriteria resolusi jelas, dan likuiditas memadai.
Di Mana Pasar Gagal
Pasar prediksi tidaklah sempurna, dan kegagalan mereka bersifat instruktif. Pasar secara sistematis meremehkan probabilitas peristiwa ekstrem (black swan) karena base rate untuk peristiwa ekstrem sangat rendah dan sebagian besar partisipan pasar belum mengalaminya. Pasar juga kesulitan dengan peristiwa di mana resolusi tergantung pada pengambil keputusan tunggal yang proses pemikirannya benar-benar pribadi (apakah CEO tertentu akan mengundurkan diri, apakah hakim tertentu akan memutuskan dengan cara tertentu).
Pemilu AS 2024 memberikan kasus campuran. Polymarket dengan benar mengidentifikasi Trump sebagai pemenang kemungkinan ketika polling menunjukkan toss-up, tetapi probabilitas 57% masih berarti ada peluang 43% untuk salah. Pasar benar dalam kasus ini, tetapi prediksi 57% yang ternyata benar tidak berarti prediksinya sempurna. Itu berarti pasar menilai ketidakpastian dengan benar, yang merupakan klaim yang berbeda dan lebih halus.
Kalibrasi Adalah Metrik yang Tepat
Cara yang benar untuk mengevaluasi akurasi pasar prediksi dari waktu ke waktu adalah kalibrasi: apakah peristiwa yang dihargai pasar di 30% benar-benar terjadi 30% dari waktu? Apakah peristiwa yang dihargai di 70% terjadi 70% dari waktu? Kalibrasi sempurna berarti pasar tidak secara sistematis terlalu percaya diri atau kurang percaya diri pada tingkat probabilitas mana pun.
Studi tentang kalibrasi pasar prediksi umumnya menunjukkan kinerja yang baik dalam kisaran 20-80% tetapi beberapa overconfidence di titik ekstrem (peristiwa yang dihargai di 95% terjadi sedikit kurang dari 95% dari waktu). Ini konsisten dengan ekspektasi teoretis: probabilitas ekstrem lebih sulit dihargai secara akurat karena perubahan absolut kecil dalam probabilitas memerlukan perubahan persentase besar dalam posisi untuk mengoreksi.
Jelajahi alat-alat ini di Blockcircle: Prediction Markets Mispricing Engine