Pada saat tertentu, Bitcoin diperdagangkan pada harga yang sedikit berbeda di puluhan bursa. Harga di Binance mungkin berbeda dari Coinbase beberapa dolar, yang berbeda dari Kraken beberapa dolar lagi. Agregator data pasar seperti CoinGecko, CoinMarketCap, dan berbagai penyedia data profesional perlu mengumpulkan semua harga ini dan menghasilkan harga referensi tunggal yang mencerminkan nilai pasar sebenarnya.
Lapisan pengumpulan data adalah fondasinya. Agregator mempertahankan koneksi ke setiap API bursa utama, biasanya menggunakan koneksi WebSocket untuk data perdagangan dan buku order real-time. Untuk agregator komprehensif, ini berarti mempertahankan ratusan koneksi bersamaan, masing-masing dengan format data, batas tingkat, dan karakteristik keandalan sendiri. Beberapa bursa mendorong data secara andal. Yang lain sering terputus dan memerlukan logika koneksi ulang konstan.
Normalisasi adalah tantangan berikutnya. Setiap bursa memiliki konvensi penamaan, format timestamp, dan struktur data sendiri. Satu bursa mungkin menyebutnya BTC/USDT sementara yang lain menyebutnya BTCUSDT atau XBT/USD. Ukuran perdagangan mungkin dalam mata uang dasar pada satu bursa dan mata uang kutipan pada bursa lain. Lapisan normalisasi perlu menerjemahkan semua ini ke dalam format internal yang konsisten sebelum agregasi yang bermakna dapat terjadi.
Perhitungan harga referensi lebih kompleks daripada rata-rata sederhana. Harga rata-rata tertimbang volume di seluruh bursa adalah pendekatan umum, memberikan bobot lebih pada bursa dengan volume perdagangan lebih tinggi. Tetapi volume itu sendiri bisa tidak dapat diandalkan. Wash trading menggembungkan volume yang dilaporkan di beberapa bursa, yang akan mendistorsi perhitungan VWAP yang naif. Agregator canggih menerapkan deteksi outlier dan penyesuaian volume untuk menyaring dugaan wash trading.
Latensi bervariasi secara signifikan di seluruh pipeline data. API bursa mungkin memperkenalkan penundaan 10-100 milidetik. Transit jaringan menambah lebih banyak lagi. Pemrosesan dan agregasi menambahkan beberapa milidetik lagi. Pada saat harga referensi diterbitkan, ia mungkin 50-500 milidetik di belakang pasar sebenarnya. Bagi trader ritel yang melihat grafik harga, ini tidak terlihat. Untuk sistem algoritmik yang membuat keputusan dalam sekejap, itu bisa signifikan.
Agregasi buku order bahkan lebih kompleks daripada agregasi perdagangan. Buku order teragregasi yang benar menunjukkan total likuiditas yang tersedia di semua bursa pada setiap level harga. Ini memerlukan pemeliharaan tampilan real-time dari setiap buku order bursa dan menggabungkannya. Tantangannya adalah buku order berubah ribuan kali per detik, dan setiap bursa mengirim pembaruan pada tingkat yang berbeda. Tampilan teragregasi selalu merupakan perkiraan yang sedikit basi.
Pemantauan kualitas data berjalan terus-menerus di latar belakang. Jika bursa melaporkan perdagangan pada harga yang jauh dari konsensus, itu mungkin merupakan outlier sah atau kesalahan data. Agregator menggunakan metode statistik untuk mendeteksi dan menangani kasus-kasus ini, biasanya menandai atau mengecualikan perdagangan yang menyimpang melampaui ambang batas tertentu dari harga referensi. Ini mencegah satu perdagangan yang keliru di bursa bervolume rendah menggerakkan harga teragregasi.
Penyimpanan dan pengambilan data historis adalah sisi lain dari masalah ini. Menyimpan setiap perdagangan dari setiap bursa pada resolusi penuh menghasilkan terabyte data per tahun. Pengguna yang berbeda membutuhkan resolusi yang berbeda. Peneliti yang menganalisis tren jangka panjang mungkin menginginkan candle OHLCV harian. Backtester membutuhkan data menit atau tick. Infrastruktur data perlu mendukung kueri yang efisien di semua skala waktu ini.
Lanskap data pasar di kripto masih matang dibandingkan dengan keuangan tradisional, di mana persyaratan tape konsolidasi memastikan feed harga otoritatif tunggal. Di kripto, tidak ada mandat regulasi untuk data konsolidasi, yang berarti setiap agregator membuat pilihan yang sedikit berbeda tentang bursa mana yang akan dimasukkan, bagaimana menimbangnya, dan bagaimana menangani kasus tepi. Harga yang Anda lihat di platform yang berbeda akan selalu sedikit berbeda sebagai hasilnya.