Stats › Backtesting en bewijs › Walk-forward
Een hergebruikte holdout rapporteerde 63% nauwkeurigheid op pure ruis
| Het lek | Wat er is gemeten | Schijnbaar resultaat | Zodra het lek is gedicht | Bron |
|---|---|---|---|---|
| De holdout hergebruiken | Een classifier gefit op data die helemaal geen signaal bevat, 10,000 samples en 10,000 variabelen | Gerapporteerde nauwkeurigheid boven 63% | 50% is het plafond dat elke classifier op die data werkelijk kan halen | Dwork en co-auteurs, Science |
| Temporele leakage in gepubliceerde modellen | Machine learning-modellen voor het voorspellen van het uitbreken van burgeroorlog | Gerapporteerde AUC van 0.94 tot 0.95, en 0.91 in een tweede studie | 0.64 en 0.75, en de complexe modellen verslaan gewone logistische regressie niet meer | Kapoor en Narayanan, Patterns |
| Survivorship in het instrumentenuniversum | Ontbrekende delisting-rendementen in CRSP: slechts 11.7% van de NYSE- en AMEX-aandelen die om performanceredenen werden geschrapt had er een, en geen van de 3,750 om performanceredenen geschrapte Nasdaq-aandelen had er een | Het gepubliceerde rendement van het kleinste groottedeciel | 1.45 procentpunt per jaar lager met de verzamelde delisting-rendementen, en 5.21 punten lager als elke performance-delisting op -100% wordt gezet | Shumway, Journal of Finance |
| Timing van fundamentele data | Point in time-fundamentals tegenover met twee en drie maanden vertraagde fundamentals, ongeveer 225,000 kwartaalobservaties van meer dan 5,500 bedrijven vanaf 1994 | Spreads gebouwd op vertraagde data | Vertragingen van twee maanden overschatten point in time-rendementen met maximaal 15 bp per maand, vertragingen van drie maanden onderschatten ze met maximaal 14 bp, met cumulatieve verschillen tot +22.3% | S&P Capital IQ, onderzoek van de dataleverancier |
| Uit welke database de fundamentals kwamen | Accruals gesorteerd op as filed SEC-data tegenover hetzelfde signaal uit gestandaardiseerde Compustat-data, 19,615 firm years van 2012 tot 2018 | 0.296% per maand uit de Compustat-versie | 0.673% per maand uit de as filed-versie, een verschil van 0.377% met een t-statistiek van 2.46, en ongeveer 32% van de aandelen in de portefeuilles verschilt | Du, Huddart en Jiang, Journal of Accounting and Economics |
De delisting-cijfers zijn de twee grenzen van Shumway, één met de delisting-rendementen die hij verzamelde en één die een totaal verlies veronderstelt. De point in time-cijfers komen uit de eigen onderzoeksnota van een dataleverancier en zijn als zodanig gelabeld. De accruals-rij loopt in de tegenovergestelde richting van de andere, in de zin dat de schonere databron het sterkere resultaat gaf, wat een nuttige herinnering is dat een dataprobleem niet altijd een flatterend probleem is.
Een testset is niet langer out of sample zodra er twee keer naar gekeken wordt. Op data die helemaal geen signaal bevat, rapporteerde een hergebruikte holdout een nauwkeurigheid boven 63% waar 50% het plafond was. Ongeveer twintig stille iteraties fabriceren een resultaat dat significant is op 5%.
Alleen voor leden
De rest van deze pagina is voor leden
Hieronder staan 6 secties, 1 grafiek, 1 tabel en 8 genoemde bronnen, ongeveer 1350 woorden ervan. Bij elk cijfer staat de bron waar het uit komt en de datum waarvan de data is.
Je kunt elke statistiek in de bibliotheek gratis blijven bekijken. De intro en de samenvatting zijn altijd open.