¿Cuántos años de histórico y cuántas operaciones necesitáis para fiaros de un sistema?

Cuando veo un backtest, lo primero que miro no es cuánto gana, sino con cuántos datos se ha sacado esa cifra. Y creo que se suelen mezclar dos cosas que miden algo distinto: el número de operaciones y los años de histórico.

El número de operaciones dice si el resultado puede ser suerte. Un ejemplo con el acierto: un sistema que acierta el 55 % en 30 operaciones podría tener un acierto real de entre el 38 % y el 71 %. Con 100 operaciones el rango se estrecha al 45-64 %, y con 300 todavía va del 49 al 61 %. Ni con 300 se puede descartar que sea como lanzar una moneda.

Aunque lo que de verdad cuenta no es el acierto, sino la esperanza matemática: cuánto se gana de media por operación respecto a lo que se arriesga. Pongamos: un sistema que acierta el 40 % y, cuando acierta, gana el doble de lo que pierde. Obtiene de media 0,2 veces lo que arriesga en cada operación, pero con tanta dispersión que hacen falta unas 200 operaciones para distinguir esa ventaja del azar. Con un 30 % de acierto y ganancias del triple, la misma esperanza necesita unas 340. Y con la mitad de ventaja, más de 700. (Cálculos aproximados: intervalo del 95 % y operaciones independientes.)

Los años dicen otra cosa: si el sistema ha visto mercados distintos. Mil operaciones sacadas de dos años alcistas cuentan mucho sobre mercados alcistas y casi nada sobre el resto. Lo que importa es que el histórico pase por tendencias, laterales, caídas fuertes, volatilidad alta y baja, y tipos subiendo y bajando.

En nuestro caso llevamos 15 años trabajando con nuestros sistema de análisis cuantitativo, que incluyen años de tipos a cero, el desplome del COVID y las subidas de tipos de 2022. Para nosotros los años valen por los periodos de mercado distintos que cubren, no por sí mismos.

Y hay un tercer factor que casi nunca se cuenta: cuántas versiones del sistema se probaron antes de quedarse con la buena. Si pruebas 100 combinaciones de parámetros, la mejor saldrá bien en el backtest aunque ninguna tenga ventaja real. Cuantas más pruebas y más parámetros, más datos hacen falta para fiarse.

Me gustaría saber qué pensáis y cómo lo hacéis vosotros:

Voy hacer un poco de spoiler antes de enrollarme, te lo resumiría todo en.... "no sabrás cuanto bueno es tu sistema hasta que lo hayas probado EN TIEMPO REAL al menos 100 veces".

¿Por que 100 veces al menos?, cuantas mas operaciones hayas corrido, lógicamente mas cerca estás de que el sistema te diga si será rentable o no, aunque hagas backtest no sirve, el backtest sirve SOLO para darte la "IDEA" del sistema, para aprender a LEER las señales...

Quedate con LEER señales y la IDEA... esto es lo importante no el resultado del backtest PASADO, digo pasado por tanto al ser pasado sus resultados NO SON VALIDOS... lo que es valido es la IDEA y aprender a LEER.

La gente hace backtest AUTOMATICOS... mal hecho, eso solo sirve para hacerte una idea de UNA IDEA, si esa idea puede ser analizada en profundidad... una vez que sepas si esa IDEA que tienes para un sistema es VALIDA, tienes que hacer el estudio MANUAL, para ver la SEÑAL como NACE...

Esto no es algo TRIVIAL, es algo FUNDAMENTAL.

Una vez que has estudiado manualmente has visto todas las operaciones como hubieran salido si hubieras practicado tu IDEA, tienen el punto de partida, pero la cosa no queda en eso.

Un mismo sistema el mismo sistema ejecutado IGUAL por personas diferentes SEGURO DARA RESULTADOS DIFERENTES, en cuanto a ratios de % de acierto y en cuanto a ratios ganancia/perdida.

Y preguntarás... ¿por que esto es así?

La respuesta se llama OPTIMIZAR, en eso esta la clave, no sirve con tener un sistema, hay que optimizarlo correctamente y eso MARCA toda la diferencia.

¿Como se optimiza un sistema?

Probaste tu idea en backtest, y viste que era viable, luego de forma manual LEISTE esas entradas y salidas, AHORA tienes que hacer que ese sistema te aporte el mayor % de aciertos posible y mejore el ratio ganancia/perdida.

Y me preguntarás... ¿como hago eso?


Tienes que volver a leer las señales en el gráfico manualmente, y optimizar significa sacar el máximo rendimiento a la señal, es decir, partamos de una "salida", no quiere decir que la salida tenga que ser en bloque, puede ser escalonada... eso mejora el % de acierto y reduce las pérdidas seguramente si se hace bien...

Cuanto antes se cierra una operación con una señal mas fácil es que esa señal sea un acierto, ¿que quiero decir con esto?, imagina una posición entras y a los "segundos" ya esta en verde... si cierro rápido mi % de acierto se dispara.... si vuelves a LEER las SEÑALES de forma MANUAL, observarás que si la IDEA o sistema es bueno en sí cuanto mas rápido cierres mayor es el % de acierto.

Pero claro eso supone algo obvio.... ¿que pasa si mejoro mi % de acierto?

La respuesta seguro la sabes... tu ratio ganancia/perdida es menor, ganarás menos, sacrificas ratio ganancia/perdida se reduce el beneficio por obtener un % de acierto muy elevado.

Entonces que hago, optimizar se trata de encontrar un equilibrio el mejor equilibrio posible entre % de acierto y ratio ganacia/perdida.

¿Como hago esto?... ya te lo dije, ESCALONANDO la salida, no haciendo una única salida global, sino escalonando la salida.

Ejemplo llevo 10 contratos sp500, me trazo un objetivo en que vendo 3 contratos en cuanto consiga 2 puntos-4 puntos (haces un estudio de cuantos puntos puedes conseguir "facilmente sin poner en riesgo el % de acierto".....

Ese estudio me dice, ojo es orientativo hay que hacer el estudio personal en base a la IDEA O SISTEMA original, que puedo lograr rápido con la escala temporal que uso para operar 8 puntos... y que para mejorar mi % de acierto necesito cerrar 3 contratos de 10....

Obtendría de forma muy alta en % la probabilidad de conseguir 24 puntos.

¿Que consigo con esos 24 puntos? de los 3 contratos vendidos, consigo reducir el coste del stop del resto de los contratos.

Es decir si se da la vuelta el precio no va donde quería salvo 24 puntos y el stop que pago será los puntos que pierda con los 7 contratos que quedan.

Pero para mejorar aún más, optimizar mas, tengo que OPTIMIZAR EL STOP, que por lo general se hace moviendo ese stop...

¿Pero hasta cuanto lo puedo ir moviendo?

Tienes que hacer un estudio de cuantos puntos puedes ir subiendo ese stop en relación al desplazamiento del precio, es decir una vez ejecutada la venta de los 3 primeros contratos, al resto le subo stop para asegurar que la pérdida si se produce será menor.

Por tanto con estos 2 pasos, muy probablemente consiga mejorar el % de acierto y al tiempo reducir la pérdida total.

Bien tenemos definido ya que vender un lote en cuanto consiga un objetivo "minímo" que he esudiado que puede ser "8" puntos, y he optimizado el stop he visto al repasar las señales MANUALMENTE, cuanto puedo ir subiendo ese stop según el precio vaya avanzando...


Ahora tengo que pensar donde vendere otro lote de 3.... lo mismo voy para atrás en lel gráfico y miro la probabilidad de obtener mas puntos con "seguridad" es decir busco por ejemplo 16 puntos y veo cuantas veces ha sido posible eso en el gráfico, si me aporta un % alto lo pongo en práctica, quien dice 16 dice 14 o 18 eso es seleccionable y se trata de obtener un % de acierto ALTO con ese LOTE....

Al tiempo que el stop debe ir subiendo de manera proporcional para que no me echen rápido con ese lote pero asegure ganancias...

Y quedarían 4 contratos.... estos los puedes dejar correr hasta que encuentres un punto claro de salida, o bien puedes ir moviendo stop hasta que te saque...

Con esto consigues optimizar un sistema Y CAMBIAR TOTALMENTE EL RESULTADO, es la IDEA PRIMERA, pero has desarrollado la forma de mejorar tu % de acierto y como intentar sacar el mejor partido a esa idea mediante cierres parciales y moviendo stop en lo posible.

Como mejor se puede probar sistemas es haciendo scalping, por que operas con gráficos de solo 1 minuto, el mercado es FRACTAL, por tanto el sistema da igual en que escala de tiempo lo hagas que los resultados son semejantes, lo que pasa que en 1 minuto todo va rápido puedes hacer muchas operaciones 100 las haces en poco tiempo y te da una idea clara de si el proceso va como quieres, y lo mas IMPORTANTE, es que haces las SEÑALES ANTES DE... y no después "d".. es decir construyes una ESTADISTICA REAL CON OPERACIONES, no un resumen o un informe de lo que paso...

Te dejo este video, que creo resume todo lo que he dicho de manera un poco apresurada pero muy VISUAL, el video incluye una operación EN DIRECTO, como se crea la señal optimizar etc...

Saludos.

Para mí no hay un mínimo mágico de operaciones: importa la distribución de resultados y cuánto independientes son realmente. Si se concentran en un mismo régimen o vienen en rachas correlacionadas, 100 trades pueden aportar bastante menos información de la que parece. Separaría una parte intacta para validación fuera de muestra y contaría costes y deslizamiento; el tiempo real lo usaría para comprobar ejecución y disciplina, no para ir optimizando el sistema sobre la marcha. Si solo funciona tras ajustar salidas y stops mirando ese mismo histórico, mala señal de sobreajuste.

Eso depende de la temporalidad que uses para medir el muestreo.

No es lo mismo medir un muestro de 100 operaciones con gráficos temporales diarios que con gráfico de 1 minuto, el muestreo en 1 minuto recoge todas las fases del "movimiento", 390 velas en mercado americano y varías veces, en un solo día se pueden dar incluso los 3 movimientos...

Que quiero decir con todas LAS FASES?

En bolsa existen 3 fases, movimiento principal, movimiento lateral, movimiento correctivo, hay dos variantes movimiento principal alcista y el bajista aunque lo podemos dejar o mejor definir en movimiento alcista, movimiento contra tendencia que es caídas, ya que al mercado le podemos decir que la fase bajista no existe sino que es un movimiento de "ajuste" o consolidación, ya que la tendencia bajista como tal se puede decir no existe, lo natural es SUBIR, sino los gráficos serían inversos e irían a "0".

Resumiendo:

-Movimiento de tendencia (alcista) el precio puede subir durante muchos minutos e incluso durante varias horas seguidas en gráficos de 1 minuto, puede subir en un gráfico diario durante varios MESES e incluso años...

-Movimiento lateral (lateral), precio puede estar algunos minutos en esta fase, incluso algunas horas, en gráficos diarios puede estar semanas como mucho algunos meses.

-Movimiento de corrección (caídas), en un gráfico de minutos puede durar algunos minutos e incluso horas, en un grafico diario puede durar semanas e incluso algunos meses,

Para probar un sistema en gráfico diario, a parte que para juntar 100 operaciones necesitaras 10 años (seguramente mas), según que sistema uses, incluso si el sistema que uses es lento si se da tendencia alcista muy prolongada puede incluso que tengas una operación abierta durante mas de 1 año.

La ventaja del "inframundo" de miniaturizar la escala temporal es que dentro de ella están todos esos momentos que vosotros definis como "rachas correlacionadas"...

Ya que dentro de escalas de 1 minuto existe TODOS los movimientos o fases de la bolsa en un tamaño menor lógicamente, la trampa donde los sistemas fallan suelen ser en los LATERALES, donde no va para arriba ni para abajo... cuando no hay tendencia ni va para arriba ni va para abajo, si el mercado fuera para arriba o para abajo sería sencillísimo todo, los laterales destrozan los sistemas tendenciales, y los sistemas laterales no funcionan con tendencias.

Al recoger todas las fases el gráfico de 1 minuto incluso en el mismo día muchas veces, esta garantizada esa distribución de la que hablas.... ya que pasa en un solo día lo que pasaría en un mes tirando a la baja en relación a un gráfico diario, y digo tirando a la baja por que en realidad en 1 minuto obtendrás 390 velas de una sesión americana por una sola vela diaria en gráfico diario.

Saludos.

Entiendo lo que dices, pero creo que ahí se mezclan velas con observaciones independientes: 390 velas de una sesión no equivalen a 390 operaciones ni a 390 escenarios distintos, porque comparten día, noticias y régimen. En un minuto puedes ver tramos alcistas, laterales y correctivos, pero una sesión no garantiza haber probado cambios de volatilidad, gaps o mercados bajistas; para eso sí importa ampliar el calendario y validar fuera de muestra. Yo suelo mirar también los resultados por bloques en Celsmar, aunque ninguna herramienta convierte ese muestreo en más independiente.

Ya pero a mi me importan los sentimientos que empujan el precio, no las noticas, si operas trading no operas con noticias, al final da igual "el motivo" que muevan esas 390 velas, lo importante es el dibujo que dejan y si el sistema da señal cuando se produce lo que quieras que pase... que mas me da el motivo que sugiera ese movimiento?

De hecho los movientos pasan y después se les pone la noticia, es decir si sube la bolsa... bunas perspectivas... que baja por petroleo o inflación....

Para mi es irrelevante las noticias, es mas intento o intentaba operar sin saber nada cuando hacia scalping... no habia nada peor para mí que ver noticias antes de operar me podía alterar y no hacer caso a las SEÑALES que son lo que realmente importa, lo que me importa es lo que dibujan esas velas, no el por que lo dibujan.

Una señal no mira el reloj, no mira el calendario, no ve las noticias... por eso son utiles... simplemente se activan o no.

Yo lo veo así, entiendo otros no lo veaís así, cada uno tiene su punto de vista y todos son aprovechables.

Saludos.

Justo por eso la señal es tan útil, que no tiene sesgos ni se asusta. Pero que la señal no mire el calendario no quiere decir que el calendario no le afecte: el mismo patrón se comporta distinto con volatilidad baja que en un día de pánico, y eso solo lo ves si has probado el sistema en regímenes distintos. Las noticias da igual, el historial largo no.