Stats › Backtesting et preuves › Walk forward
Un holdout réutilisé a affiché une précision de 63% sur du bruit pur
| La fuite | Ce qui a été mesuré | Résultat apparent | Une fois la fuite refermée | Source |
|---|---|---|---|---|
| Réutiliser le holdout | Un classifieur ajusté sur des données ne contenant aucun signal, 10,000 échantillons et 10,000 variables | Précision rapportée supérieure à 63% | 50% est le plafond que tout classifieur peut réellement atteindre sur ces données | Dwork et coauteurs, Science |
| Fuite temporelle dans les modèles publiés | Modèles d'apprentissage automatique pour prédire le déclenchement d'une guerre civile | AUC rapportée de 0.94 à 0.95, et 0.91 dans une deuxième étude | 0.64 et 0.75, et les modèles complexes ne battent plus une simple régression logistique | Kapoor et Narayanan, Patterns |
| Biais du survivant dans l'univers d'instruments | Rendements de radiation manquants dans CRSP : seules 11.7% des actions NYSE et AMEX radiées pour des raisons de performance en avaient un, et aucune des 3,750 actions Nasdaq radiées pour performance n'en avait | Le rendement publié du plus petit décile de capitalisation | Inférieur de 1.45 point de pourcentage par an avec les rendements de radiation collectés, et de 5.21 points si chaque radiation pour performance est fixée à -100% | Shumway, Journal of Finance |
| Datation des données fondamentales | Fondamentaux point in time contre fondamentaux décalés de deux et trois mois, environ 225,000 observations trimestrielles sur plus de 5,500 entreprises depuis 1994 | Spreads construits sur des données décalées | Les décalages de deux mois ont surestimé les rendements point in time jusqu'à 15 bp par mois, les décalages de trois mois les ont sous-estimés jusqu'à 14 bp, avec des différences cumulées atteignant +22.3% | S&P Capital IQ, recherche du fournisseur |
| De quelle base de données proviennent les fondamentaux | Accruals triés sur les données SEC telles que déposées contre le même signal issu des données Compustat standardisées, 19,615 années-entreprises de 2012 à 2018 | 0.296% par mois selon la version Compustat | 0.673% par mois selon la version telle que déposée, une différence de 0.377% avec une statistique t de 2.46, et environ 32% des actions des portefeuilles diffèrent | Du, Huddart et Jiang, Journal of Accounting and Economics |
Les chiffres de radiation sont les deux bornes de Shumway, l'une utilisant les rendements de radiation qu'il a collectés et l'autre supposant une perte totale. Les chiffres point in time proviennent de la note de recherche d'un fournisseur de données et sont signalés comme tels. La ligne accruals va dans le sens inverse des autres, en ce que la source de données la plus propre a donné le résultat le plus fort, ce qui rappelle utilement qu'un problème de données n'est pas toujours flatteur.
Un jeu de test cesse d'être hors échantillon dès l'instant où on le regarde deux fois. Sur des données ne contenant aucun signal, un holdout réutilisé a affiché une précision supérieure à 63% là où 50% était le plafond. Environ vingt itérations discrètes fabriquent un résultat significatif à 5%.
Réservé aux membres
La suite de cette page est réservée aux membres
Sous ce point, il y a 6 sections, 1 graphique, 1 tableau et 8 sources nommées, environ 1350 mots en tout. Chaque chiffre porte la source dont il provient et la date des données.
Vous pouvez continuer à parcourir gratuitement toutes les statistiques de la bibliothèque. L'introduction et le résumé sont toujours accessibles.