Si pruebas 100 estrategias sin ninguna ventaja, la mejor parecerá buena (un t de 2 o más) 9 de cada 10 veces. Una optimización del Strategy Analyzer prueba cientos o miles de combinaciones sin que te des cuenta.
La moneda y las mil personas
Pide a mil personas que lancen una moneda diez veces. Alguna sacará nueve o diez caras. No tiene un don: es lo que pasa cuando lo intentan mil. Si solo te enseñan a esa persona, parece magia. Con las estrategias pasa lo mismo: probar muchas cosas y quedarse con la que mejor salió es el error más extendido del sector, y ningún backtest te avisa de cuántas pruebas hiciste antes.
Qué es el t, en una frase
El t mide cuántas veces tu ganancia media supera su propio ruido: ganancia media por día ÷ desviación típica por día × √días. Por debajo de 2, un resultado se explica sin problema por azar. Pero ese 2 vale para una sola idea decidida antes de mirar los datos.
Lo que da el azar cuando pruebas mucho
Generamos estrategias sin ninguna ventaja (resultados diarios al azar con media cero, 400 días cada una, unos 19 meses) y nos quedamos con la mejor, como haría cualquiera que prueba variantes:
| Probadas | t de la mejor (mediana) | Prob. de t > 2 | Prob. de t > 3 | Listón (5 %) |
|---|---|---|---|---|
| 1 | 0,0 | 2 % | 0 % | 1,6 |
| 10 | 1,5 | 20 % | 2 % | 2,6 |
| 100 | 2,5 | 91 % | 15 % | 3,3 |
| 1.000 | 3,2 | 100 % | 77 % | 3,9 |
| 10.000 | 3,9 | 100 % | 100 % | 4,4 |
Probar 100 variantes es facilísimo: 5 valores de un parámetro, 5 de otro y 4 horarios ya son 100. La última columna es el t que deberías exigir para que la probabilidad de engañarte con una estrategia sin ventaja se quede en el 5 %. Es una regla conservadora (supone que las variantes son independientes, y en la práctica se parecen), pero sirve de orientación. Hay herramientas más finas para lo mismo, como el Sharpe deflactado de Bailey y López de Prado (2014).
Calculadora: ¿te puedes creer tu resultado?
Cuenta todas las combinaciones que probó el optimizador (o que probaste tú a mano) y escribe el t de la mejor. Se calcula en tu navegador; no se envía nada.
No sé mi t: calcularlo con mis resultados por día
t = ganancia media por día ÷ desviación típica por día × √días. Usa días, no operaciones (capítulo 9 del libro).
El mejor método: el mismo control con azar
Como nuestras variantes se parecen entre sí, en el laboratorio preferimos medir directamente lo que da el azar con la misma máquina: repetimos cada búsqueda con la dirección de las operaciones decidida al azar y contamos cuántas reglas "pasan" igualmente.
- Generador de reglas de un día en el micro Nasdaq (59.400 reglas): pasan 269, y con azar 25. Hay algo. Pero en el examen del Nasdaq de 2006-2019 sobreviven 4 frente a 1.
- 17 señales técnicas en el micro Nasdaq (9.792 variantes): 64 frente a 11.
- Generador con filtro "que no se parezca a lo conocido" (62.000 reglas): 22 frente a 15. Indistinguible del azar.
- 4.000 estrategias al azar pasando ajuste, validación y examen: lo consigue el 9,8 %. Tres tramos no bastan.
La pregunta correcta nunca es "¿cuántas pasan?", sino "¿cuántas más que el azar?".
Las pruebas que no cuentas
El número que importa no es el que apuntaste, sino todos los que hiciste: los que miraste en el gráfico antes de escribir la regla, las versiones que borraste porque salían mal, los cambios de horario o de stop "solo para ver"... y las ideas sacadas de vídeos y foros, que ya son las ganadoras de muchas pruebas que no conoces. Su autor puede ser honesto y su resultado seguir inflado por la selección.
Qué hacer antes de pagar una evaluación
- Decide antes cuántas variantes vas a probar y apúntalo. Si luego pruebas más, súmalas.
- Prueba familias, no puntos: mira qué parte de las combinaciones vecinas también gana. Un pico aislado es fácil de fabricar por azar; una meseta ancha, no.
- Guarda datos que el optimizador no vea y úsalos una sola vez.
- Descuenta el resultado de la elegida: si la escogiste entre muchas, su futuro será peor que su pasado.
Cómo se ha calculado
Simulación propia con semilla fija: resultados diarios aleatorios de media cero, 400 días por estrategia, 300 repeticiones por tamaño (60 con 10.000). El listón es el valor que solo supera el 5 % de las veces la mejor de N estrategias sin ventaja; la calculadora usa su fórmula con la distribución normal, que da los mismos valores. Los recuentos del laboratorio son de nuestras búsquedas en futuros, con el control de dirección al azar (capítulo 13 del libro).
Resultados simulados e hipotéticos, con las limitaciones que eso implica. No es asesoramiento de inversión. Las reglas de las firmas cambian: compruébalas en su web. Este artículo no contiene enlaces de afiliado.