Deflated Sharpe Ratio
Lopez de Prado는 그의 연구에서 근본적인 문제를 다루기 위해 Deflated Sharpe Ratio를 도입했습니다: 많은 전략 구성을 테스트할 때, 가장 잘 수행하는 것은 단순히 큰 풀에서 선택했기 때문에 부풀려진 Sharpe ratio를 가질 것입니다. 100개의 매개변수 조합을 테스트하고 가장 좋은 것을 고른다면, 그 가장 좋은 것은 모든 조합이 진정한 엣지가 0이라도 선택 편향의 혜택을 받습니다.
수정은 개념적으로 단순합니다: 테스트된 구성 수, 수익의 왜도와 첨도, 백테스트의 길이에 기반하여 보고된 Sharpe ratio를 하향 조정합니다. 결과는 거의 항상 원시 백테스트된 Sharpe보다 상당히 낮은 숫자입니다.
Sharpe 인플레이션의 다른 원인
선택 편향을 넘어, 여러 다른 요인이 백테스트된 Sharpe ratio를 체계적으로 부풀립니다. 자산 유니버스의 생존 편향은 모든 롱 전략을 더 좋아 보이게 만듭니다. 비현실적인 실행 가정(스프레드 0, 슬리피지 0, 즉시 체결)은 라이브 수익을 줄이는 비용을 제거합니다. Look-ahead 편향, 심지어 미묘한 형태도 데이터 전처리에 스며들 수 있습니다. 그리고 용량 제약의 부재는 백테스트가 시장 충격 없이 어떤 크기든 거래할 수 있다고 가정함을 의미합니다.
이러한 각 요인은 작은 양의 편향을 추가합니다. 함께, 그들은 쉽게 Sharpe ratio의 전체 포인트를 차지할 수 있습니다. 원시 백테스트된 Sharpe 2.5는 수정 후 1.5가 될 수 있고, 0.8~1.2의 라이브 성과는 비정상적이지 않을 것입니다.
실용적인 가이드라인
Harvey, Liu, Zhu의 연구는 새롭게 발견된 요인이 신뢰할 수 있으려면 전통적인 1.96이 아닌 3.0 이상의 t-비율이 필요하다고 제안했는데, 이는 수십 년의 연구에 걸친 누적 데이터 마이닝 때문입니다. 전략 백테스트에 대한 동등한 경험 법칙: 라이브 Sharpe가 백테스트된 Sharpe의 40~60%일 것으로 예상하고, 더 높으면 기쁘게 놀라십시오.
이것이 백테스팅이 쓸모없다는 의미는 아닙니다. 그것은 백테스트된 성과를 예측이 아닌 상한으로 다뤄야 함을 의미합니다. 백테스트된 Sharpe가 1.5 미만인 전략은 실제 세계 저하 후 수익성이 있을 가능성이 낮습니다. 백테스트된 2.0 이상의 전략은 백테스트가 시사하는 것보다 낮은 Sharpe에서일지라도 라이브 트레이딩에서 수익성을 유지할 합리적인 기회가 있습니다.