Wat je niet kunt zien
In de Tweede Wereldoorlog analyseerde het Amerikaanse leger de patronen van kogelgaten in teruggekeerde bommenwerpers om te bepalen waar extra bepantsering moest komen. Aanvankelijk wilde men de plekken met de meeste kogelgaten versterken. Abraham Wald, een statisticus, wees op de denkfout: de gaten lieten zien waar vliegtuigen geraakt konden worden en toch nog konden terugkeren. De vliegtuigen die op andere plekken waren geraakt, kwamen niet terug. Juist de plekken zonder kogelgaten moesten worden bepantserd.
Dat is survivorship bias, en die is op financiële markten voortdurend aan het werk. Je kijkt altijd naar de vliegtuigen die zijn teruggekeerd.
Survivorship bias in crypto
De cryptomarkt is een van de omgevingen in de financiële wereld die het sterkst door survivorship bias zijn vertekend. Als je naar de grafiek aller tijden van Bitcoin kijkt en een rendement van 60,000%+ ziet, kijk je naar de allergrootste winnaar onder de duizenden cryptovaluta's die sinds 2009 zijn gelanceerd. De overgrote meerderheid van de tokens die in 2017 en 2018 werden gelanceerd, is naar nul gegaan. Ze staan niet op CoinMarketCap. Ze staan niet in de data van je backtest. Ze zijn onzichtbaar.
Als je een strategie als “koop de top 50 van cryptotokens” backtest, is je backtest vertekend, omdat de huidige top 50 uit de overlevers bestaat. De tokens die drie jaar geleden in de top 50 stonden maar eruit zijn gevallen (en mogelijk naar nul zijn gegaan), zitten niet in je data. Je backtest laat betere prestaties zien dan de strategie in werkelijkheid zou hebben opgeleverd, omdat er alleen in zit wat het heeft overleefd.
Survivorship bias in fondsprestaties
Dezelfde vertekening treft de data over fondsprestaties. Hedgefondsen die slecht presteren, sluiten hun deuren en verdwijnen uit de databases. De gemiddelde prestatie van de overgebleven fondsen verbetert niet doordat de fondsen beter zijn geworden, maar doordat de slechtst presterende niet meer worden meegeteld. Studies schatten dat dit effect de gerapporteerde rendementen van hedgefondsen met 1-3% per jaar opblaast.
Survivorship bias in handelssignalen
Als iemand je een grafiek laat zien met de boodschap “elke keer dat dit patroon zich vormde, steeg de koers 20%”, vraag dan hoe vaak het patroon zich vormde bij assets die daarna naar nul gingen en niet meer in de dataset zitten. Het patroon kan 100 keer zijn opgetreden, met 60 positieve uitkomsten bij overlevende assets en 40 gevallen bij assets die niet meer bestaan. Het werkelijke slagingspercentage is 60%, niet de 100% die je krijgt voorgespiegeld als je alleen naar de overlevers kijkt.
Zo bescherm je jezelf
Point-in-time-data is de gouden standaard. Een degelijke backtest gebruikt het universum van assets dat op elk historisch moment beschikbaar was, inclusief de assets die later ten onder gingen. Die data is moeilijker te vinden en te verwerken, maar zonder zijn je resultaten stelselmatig te rooskleurig.
Stel jezelf bij het beoordelen van elke strategie, elk systeem en elke historische analyse de vraag: wat zie ik niet? Welke assets, fondsen of traders maakten destijds deel uit van dit universum, maar zijn er nu niet meer? Hoe zouden de resultaten eruitzien als ik het volledige universum meenam in plaats van alleen de overlevers? Op die vraag is niet altijd een exact antwoord te geven, maar door haar te stellen bescherm je jezelf tegen de meest voorkomende vorm van analytisch zelfbedrog.