Statistik › Backtesting und Belege › Walk Forward
Ein wiederverwendetes Holdout meldete 63% Genauigkeit auf reinem Rauschen
| Das Leck | Was gemessen wurde | Scheinbares Ergebnis | Sobald das Leck geschlossen ist | Quelle |
|---|---|---|---|---|
| Wiederverwendung des Holdouts | Ein Klassifikator, angepasst an Daten, die überhaupt kein Signal enthalten, 10,000 Stichproben und 10,000 Variablen | Berichtete Genauigkeit über 63% | 50% ist die Obergrenze, die ein Klassifikator auf diesen Daten tatsächlich erreichen kann | Dwork und Koautoren, Science |
| Zeitliches Leakage in veröffentlichten Modellen | Machine-Learning-Modelle zur Vorhersage des Ausbruchs von Bürgerkriegen | Berichtete AUC von 0.94 bis 0.95, und 0.91 in einer zweiten Studie | 0.64 und 0.75, und die komplexen Modelle schlagen die einfache logistische Regression nicht mehr | Kapoor und Narayanan, Patterns |
| Survivorship im Instrumentenuniversum | Fehlende Delisting-Renditen in CRSP: nur 11.7% der aus Performance-Gründen delisteten NYSE und AMEX Aktien hatten eine, und keine der 3,750 aus Performance-Gründen delisteten Nasdaq Aktien | Die veröffentlichte Rendite des kleinsten Größendezils | Um 1.45 Prozentpunkte pro Jahr niedriger bei Verwendung der erhobenen Delisting-Renditen, und um 5.21 Punkte, wenn jedes Performance-Delisting auf -100% gesetzt wird | Shumway, Journal of Finance |
| Zeitpunkt der Fundamentaldaten | Point-in-time-Fundamentaldaten gegen um zwei und drei Monate verzögerte Fundamentaldaten, etwa 225,000 Quartalsbeobachtungen zu mehr als 5,500 Unternehmen ab 1994 | Spreads auf Basis verzögerter Daten | Zwei-Monats-Verzögerungen überzeichneten die Point-in-time-Renditen um bis zu 15 bp pro Monat, Drei-Monats-Verzögerungen unterzeichneten sie um bis zu 14 bp, mit kumulierten Differenzen von bis zu +22.3% | S&P Capital IQ, Research des Anbieters |
| Aus welcher Datenbank die Fundamentaldaten stammten | Accruals sortiert nach as filed SEC Daten gegen das gleiche Signal aus standardisierten Compustat Daten, 19,615 Firmenjahre von 2012 bis 2018 | 0.296% pro Monat aus der Compustat Version | 0.673% pro Monat aus der as filed Version, ein Unterschied von 0.377% mit einer t-Statistik von 2.46, und etwa 32% der Aktien in den Portfolios unterscheiden sich | Du, Huddart und Jiang, Journal of Accounting and Economics |
Die Delisting-Zahlen sind Shumways zwei Grenzen, eine mit den von ihm erhobenen Delisting-Renditen und eine unter Annahme eines Totalverlusts. Die Point-in-time-Zahlen stammen aus der eigenen Research-Notiz eines Datenanbieters und sind als solche gekennzeichnet. Die Accruals-Zeile läuft in die entgegengesetzte Richtung zu den anderen, insofern als die sauberere Datenquelle das stärkere Ergebnis lieferte, was eine nützliche Erinnerung daran ist, dass ein Datenproblem nicht immer ein vorteilhaftes ist.
Ein Testdatensatz ist nicht mehr out of sample, sobald er zweimal angesehen wird. Auf Daten, die überhaupt kein Signal enthalten, meldete ein wiederverwendetes Holdout eine Genauigkeit über 63%, wo 50% die Obergrenze war. Etwa zwanzig stille Iterationen erzeugen ein auf 5% signifikantes Ergebnis.
Nur für Mitglieder
Der restliche Teil dieser Seite ist für Mitglieder
Unterhalb dieses Punktes gibt es 6 Abschnitte, 1 Chart, 1 Tabelle und 8 benannte Quellen, davon rund 1350 Wörter. Jede Zahl trägt die Quelle, aus der sie stammt, und das Datum, von dem die Daten stammen.
Sie können weiterhin jede Statistik in der Bibliothek kostenlos durchsehen. Die Einleitung und die Zusammenfassung sind immer offen.