Statistiche › Backtesting ed evidenze › Walk forward
Un holdout riutilizzato ha riportato un'accuratezza del 63% su puro rumore
| Il leak | Cosa è stato misurato | Risultato apparente | Una volta chiuso il leak | Fonte |
|---|---|---|---|---|
| Riutilizzare l'holdout | Un classificatore addestrato su dati che non contengono alcun segnale, 10,000 campioni e 10,000 variabili | Accuratezza riportata superiore al 63% | 50% è il limite massimo che qualsiasi classificatore può realmente raggiungere su quei dati | Dwork e coautori, Science |
| Leakage temporale nei modelli pubblicati | Modelli di machine learning per prevedere l'inizio di una guerra civile | AUC riportata da 0.94 a 0.95, e 0.91 in un secondo studio | 0.64 e 0.75, e i modelli complessi non battono più la semplice regressione logistica | Kapoor e Narayanan, Patterns |
| Survivorship nell'universo degli strumenti | Rendimenti di delisting mancanti in CRSP: solo l'11.7% dei titoli NYSE e AMEX delistati per motivi di performance ne aveva uno, e nessuno dei 3,750 titoli Nasdaq delistati per performance ne aveva uno | Il rendimento pubblicato del decile di dimensione più piccola | Inferiore di 1.45 punti percentuali l'anno usando i rendimenti di delisting raccolti, e di 5.21 punti se ogni delisting per performance viene posto a -100% | Shumway, Journal of Finance |
| Tempistica dei dati fondamentali | Fondamentali point in time contro fondamentali ritardati di due e tre mesi, circa 225,000 osservazioni trimestrali su più di 5,500 società dal 1994 | Spread costruiti su dati ritardati | I ritardi di due mesi hanno sovrastimato i rendimenti point in time fino a 15 bp al mese, i ritardi di tre mesi li hanno sottostimati fino a 14 bp, con differenze cumulate che raggiungono il +22.3% | S&P Capital IQ, ricerca del fornitore |
| Da quale database provenivano i fondamentali | Accruals ordinati sui dati SEC as filed contro lo stesso segnale dai dati standardizzati Compustat, 19,615 anni-azienda dal 2012 al 2018 | 0.296% al mese dalla versione Compustat | 0.673% al mese dalla versione as filed, una differenza di 0.377% con una statistica t di 2.46, e circa il 32% dei titoli nei portafogli è diverso | Du, Huddart e Jiang, Journal of Accounting and Economics |
Le cifre sul delisting sono i due limiti di Shumway, uno che usa i rendimenti di delisting da lui raccolti e uno che assume una perdita totale. Le cifre point in time provengono dalla nota di ricerca di un fornitore di dati e sono etichettate come tali. La riga sugli accruals va nella direzione opposta alle altre, in quanto la fonte di dati più pulita ha dato il risultato più forte, il che è un utile promemoria del fatto che un problema nei dati non è sempre lusinghiero.
Un set di test smette di essere out of sample nel momento in cui viene guardato due volte. Su dati che non contengono alcun segnale, un holdout riutilizzato ha riportato un'accuratezza superiore al 63% dove 50% era il limite massimo. Circa venti iterazioni silenziose fabbricano un risultato significativo al 5%.
Solo per membri
Il resto di questa pagina è per i membri
Sotto questo punto ci sono 6 sezioni, 1 grafico, 1 tabella e 8 fonti citate, circa 1350 parole. Ogni cifra riporta la fonte da cui proviene e la data dei dati.
Puoi continuare a consultare gratuitamente ogni statistica della libreria. L'introduzione e il riepilogo sono sempre accessibili.