То, что вы не видите
Во Второй мировой войне военные США анализировали узоры пулевых отверстий на возвращавшихся бомбардировщиках, чтобы решить, куда добавить броню. Изначально они хотели усилить зоны с наибольшим количеством пулевых отверстий. Абрахам Вальд, статистик, указал на ошибку: отверстия показывали, куда могли попасть, и самолёт всё равно возвращался. Самолёты, получившие попадания в другие места, не возвращались. Укреплять нужно было места без пулевых отверстий.
Это ошибка выжившего, и на финансовых рынках она действует постоянно. Вы всегда смотрите на возвращающиеся самолёты.
Ошибка выжившего в криптовалютах
Крипторынок — одна из самых подверженных ошибке выжившего сред в финансах. Когда вы смотрите на график Bitcoin за всё время и видите доходность в 60 000%+, вы смотрите на единственного крупнейшего победителя из тысяч криптовалют, запущенных с 2009 года. Подавляющее большинство токенов, запущенных в 2017 и 2018 годах, обнулились. Их нет на CoinMarketCap. Их нет в ваших данных для бэктеста. Они невидимы.
Если вы тестируете на истории стратегию «купи топ-50 криптотокенов», ваш бэктест смещён, потому что текущий топ-50 — это выжившие. Токенов, которые были в топ-50 три года назад, но выпали (возможно, обнулились), в ваших данных нет. Ваш бэктест показывает лучшие результаты, чем стратегия действительно дала бы, потому что включает только то, что выжило.
Ошибка выжившего в результатах фондов
Тот же сдвиг поражает данные о результатах фондов. Хедж-фонды, показывающие плохие результаты, закрываются и исчезают из баз данных. Средняя результативность оставшихся фондов улучшается не потому, что фонды стали лучше, а потому, что худших больше не считают. Исследования оценивают, что этот эффект завышает отчётную доходность хедж-фондов на 1-3% годовых.
Ошибка выжившего в торговых сигналах
Когда кто-то показывает вам график «каждый раз, когда формировался этот паттерн, цена росла на 20%», спросите, сколько раз паттерн формировался на активах, которые впоследствии обнулились и больше не в выборке. Паттерн мог появиться 100 раз, с 60 положительными исходами на выживших активах и 40 случаями на активах, которых больше не существует. Истинный процент успеха — 60%, а не 100%, как подсказывает взгляд только на выживших.
Как защитить себя
Данные на момент времени (point-in-time) — золотой стандарт. Правильный бэктест использует вселенную активов, которая была доступна в каждый исторический момент, включая те, что впоследствии потерпели крах. Их сложнее находить и обрабатывать, но без них ваши результаты систематически завышены.
Оценивая любую стратегию, систему или исторический анализ, спрашивайте: чего я не вижу? Какие активы, фонды или трейдеры были частью этой вселенной в то время, но их здесь больше нет? Как бы выглядели результаты, если бы я включил полную вселенную, а не только выживших? Этот вопрос не всегда имеет точный ответ, но его постановка защищает вас от самой распространённой формы аналитического самообмана.