Estadísticas › Backtesting y evidencia › Walk forward
Un holdout reutilizado arrojó un 63% de precisión sobre puro ruido
| La filtración | Qué se midió | Resultado aparente | Una vez cerrada la filtración | Fuente |
|---|---|---|---|---|
| Reutilizar el holdout | Un clasificador ajustado a datos que no contienen ninguna señal, 10,000 muestras y 10,000 variables | Precisión reportada superior al 63% | el 50% es el techo que cualquier clasificador puede alcanzar realmente con esos datos | Dwork y coautores, Science |
| Filtración temporal en modelos publicados | Modelos de machine learning para predecir el inicio de guerras civiles | AUC reportado de 0.94 a 0.95, y de 0.91 en un segundo estudio | 0.64 y 0.75, y los modelos complejos ya no baten a una regresión logística simple | Kapoor y Narayanan, Patterns |
| La supervivencia en el universo de instrumentos | Rentabilidades de exclusión de cotización ausentes en CRSP: solo el 11.7% de las acciones de NYSE y AMEX excluidas por motivos de rendimiento tenían una, y ninguna de las 3,750 acciones del Nasdaq excluidas por rendimiento la tenía | El rendimiento publicado del decil de menor tamaño | Menor en 1.45 puntos porcentuales al año usando las rentabilidades de exclusión de cotización recopiladas, y en 5.21 puntos si cada exclusión por rendimiento se fija en -100% | Shumway, Journal of Finance |
| Momento de los datos fundamentales | Fundamentales point in time frente a fundamentales retardados dos y tres meses, unas 225,000 observaciones trimestrales de más de 5,500 empresas desde 1994 | Spreads construidos con datos retardados | Los retardos de dos meses sobrestimaron las rentabilidades point in time hasta en 15 bp al mes, los retardos de tres meses las subestimaron hasta en 14 bp, con diferencias acumuladas que alcanzaron el +22.3% | S&P Capital IQ, investigación del proveedor |
| De qué base de datos venían los fundamentales | Devengos ordenados con datos de la SEC tal como se presentaron frente a la misma señal con datos estandarizados de Compustat, 19,615 años-empresa de 2012 a 2018 | 0.296% al mes en la versión de Compustat | 0.673% al mes en la versión tal como se presentó, una diferencia de 0.377% con un estadístico t de 2.46, y alrededor del 32% de las acciones de las carteras difieren | Du, Huddart y Jiang, Journal of Accounting and Economics |
Las cifras de exclusión de cotización son las dos cotas de Shumway, una usando las rentabilidades de exclusión que recopiló y otra suponiendo una pérdida total. Las cifras point in time proceden de la nota de investigación de un proveedor de datos y están etiquetadas como tal. La fila de los devengos va en la dirección contraria a las demás, en el sentido de que la fuente de datos más limpia dio el resultado más fuerte, lo cual es un recordatorio útil de que un problema de datos no siempre es favorecedor.
Un conjunto de prueba deja de ser fuera de muestra en el momento en que se mira dos veces. Con datos que no contienen ninguna señal, un holdout reutilizado arrojó una precisión superior al 63% cuando el techo era el 50%. Unas veinte iteraciones discretas fabrican un resultado significativo al 5%.
Solo para miembros
El resto de esta página es para miembros
Por debajo de este punto hay 6 secciones, 1 gráfico, 1 tabla y 8 fuentes citadas, unas 1350 palabras en total. Cada cifra lleva la fuente de la que procede y la fecha a la que corresponden los datos.
Puedes seguir consultando todas las estadísticas de la biblioteca gratis. La introducción y el resumen están siempre abiertos.