Statistikk › Backtesting og evidens › Walk-forward
En gjenbrukt holdout rapporterte 63% treffsikkerhet på ren støy
| Lekkasjen | Hva som ble målt | Tilsynelatende resultat | Når lekkasjen er lukket | Kilde |
|---|---|---|---|---|
| Gjenbruk av holdout | En klassifikator tilpasset data som ikke inneholder noe signal i det hele tatt, 10,000 observasjoner og 10,000 variabler | Rapportert treffsikkerhet over 63% | 50% er taket enhver klassifikator faktisk kan oppnå på de dataene | Dwork og medforfattere, Science |
| Tidsmessig lekkasje i publiserte modeller | Maskinlæringsmodeller for å forutsi utbrudd av borgerkrig | Rapportert AUC på 0.94 til 0.95, og 0.91 i en annen studie | 0.64 og 0.75, og de komplekse modellene slår ikke lenger enkel logistisk regresjon | Kapoor og Narayanan, Patterns |
| Overlevelse i instrumentuniverset | Manglende avnoteringsavkastninger i CRSP: bare 11.7% av NYSE- og AMEX-aksjene som ble avnotert av prestasjonsgrunner hadde en, og ingen av de 3,750 prestasjonsavnoterte Nasdaq-aksjene hadde det | Publisert avkastning for minste størrelsesdesil | Lavere med 1.45 prosentpoeng per år ved bruk av innsamlede avnoteringsavkastninger, og med 5.21 poeng hvis hver prestasjonsavnotering settes til -100% | Shumway, Journal of Finance |
| Tidfesting av fundamentaldata | Point in time-fundamentaldata mot fundamentaldata med to og tre måneders etterslep, omtrent 225,000 kvartalsobservasjoner på mer enn 5,500 selskaper fra 1994 | Spreads bygget på data med etterslep | To måneders etterslep overdrev point in time-avkastningen med opptil 15 bp per måned, tre måneders etterslep underdrev den med opptil 14 bp, med kumulative forskjeller som nådde +22.3% | S&P Capital IQ, leverandørforskning |
| Hvilken database fundamentaldataene kom fra | Accruals sortert på as filed SEC-data mot samme signal fra standardiserte Compustat-data, 19,615 firmaår fra 2012 til 2018 | 0.296% per måned fra Compustat-versjonen | 0.673% per måned fra as filed-versjonen, en forskjell på 0.377% med en t-statistikk på 2.46, og omtrent 32% av aksjene i porteføljene er forskjellige | Du, Huddart og Jiang, Journal of Accounting and Economics |
Avnoteringstallene er Shumways to grenser, en som bruker avnoteringsavkastningene han samlet inn og en som antar et totalt tap. Point in time-tallene kommer fra en dataleverandørs eget forskningsnotat og er merket som sådan. Accruals-raden går i motsatt retning av de andre, i den forstand at den renere datakilden ga det sterkere resultatet, som er en nyttig påminnelse om at et dataproblem ikke alltid er et flatterende problem.
Et testsett slutter å være out of sample i det øyeblikket det blir sett på to ganger. På data som ikke inneholder noe signal i det hele tatt, rapporterte en gjenbrukt holdout en treffsikkerhet over 63%, der 50% var taket. Omtrent tjue stille iterasjoner fabrikkerer et resultat som er signifikant på 5%.
Kun for medlemmer
Resten av denne siden er for medlemmer
Under dette punktet er det 6 seksjoner, 1 diagram, 1 tabell og 8 navngitte kilder, omtrent 1350 ord av det. Hvert tall har kilden det kommer fra og datoen dataene er fra.
Du kan fortsette å se på all statistikk i biblioteket gratis. Innledningen og sammendraget er alltid åpne.