Statistik › Backtesting och bevis › Walk forward
En återanvänd holdout rapporterade 63% noggrannhet på rent brus
| Läckan | Vad som mättes | Skenbart resultat | När läckan är stängd | Källa |
|---|---|---|---|---|
| Att återanvända holdouten | En klassificerare anpassad till data som inte innehåller någon signal alls, 10,000 observationer och 10,000 variabler | Rapporterad noggrannhet över 63% | 50% är det tak någon klassificerare verkligen kan nå på den datan | Dwork och medförfattare, Science |
| Temporalt läckage i publicerade modeller | Maskininlärningsmodeller för att förutsäga utbrott av inbördeskrig | Rapporterad AUC på 0.94 till 0.95, och 0.91 i en andra studie | 0.64 och 0.75, och de komplexa modellerna slår inte längre vanlig logistisk regression | Kapoor och Narayanan, Patterns |
| Överlevnad i instrumentuniversumet | Saknad avnoteringsavkastning i CRSP: endast 11.7% av NYSE- och AMEX-aktier som avnoterats av prestationsskäl hade någon, och ingen av de 3,750 Nasdaq-aktier som avnoterats av prestationsskäl hade det | Den publicerade avkastningen för minsta storleksdecilen | Lägre med 1.45 procentenheter per år med insamlad avnoteringsavkastning, och med 5.21 punkter om varje avnotering av prestationsskäl sätts till -100% | Shumway, Journal of Finance |
| Tidpunkt för fundamentaldata | Point in time-fundamentaldata mot fundamentaldata med två och tre månaders eftersläpning, omkring 225,000 kvartalsobservationer för mer än 5,500 bolag från 1994 | Spreads byggda på eftersläpande data | Två månaders eftersläpning överskattade point in time-avkastningen med upp till 15 bp per månad, tre månaders eftersläpning underskattade den med upp till 14 bp, med kumulativa skillnader som nådde +22.3% | S&P Capital IQ, leverantörsforskning |
| Vilken databas fundamentaldatan kom från | Accruals sorterade på ursprungligen inlämnad SEC-data mot samma signal från standardiserad Compustat-data, 19,615 företagsår från 2012 till 2018 | 0.296% per månad från Compustat-versionen | 0.673% per månad från den ursprungligen inlämnade versionen, en skillnad på 0.377% med en t-statistika på 2.46, och omkring 32% av aktierna i portföljerna skiljer sig | Du, Huddart och Jiang, Journal of Accounting and Economics |
Avnoteringssiffrorna är Shumways två gränser, en som använder den avnoteringsavkastning han samlade in och en som antar en total förlust. Point in time-siffrorna kommer från en dataleverantörs egen forskningsnotis och är märkta som sådana. Accruals-raden går i motsatt riktning mot de övriga, i det att den renare datakällan gav det starkare resultatet, vilket är en nyttig påminnelse om att ett dataproblem inte alltid är ett smickrande sådant.
En testmängd slutar vara out of sample i det ögonblick den betraktas en andra gång. På data som inte innehåller någon signal alls rapporterade en återanvänd holdout en noggrannhet över 63% där 50% var taket. Omkring tjugo tysta iterationer tillverkar ett resultat som är signifikant vid 5%.
Endast för medlemmar
Resten av den här sidan är för medlemmar
Nedanför den här punkten finns 6 avsnitt, 1 diagram, 1 tabell och 8 namngivna källor, ungefär 1350 ord sammanlagt. Varje siffra anger källan den kommer från och vilket datum uppgifterna gäller.
Du kan fortsätta bläddra i all statistik i biblioteket gratis. Introduktionen och sammanfattningen är alltid öppna.