Evidencia › Cómo medimos, y por qué publicamos lo que no…

Cómo medimos, y por qué publicamos lo que no funcionó

Por Seth Pacheco · actualizado el 21 de agosto de 2026

En simple

En el cajón de la cocina se juntan los tickets del súper. Si te preguntan cuánto gastaste el mes pasado, sueltas un número de memoria. Luego sacas los tickets y los sumas uno por uno: el número de memoria no era el bueno.

Aquí funciona igual, con un detalle. Cada cobro que aparece en nuestro muro tiene detrás su comprobante, con fecha y monto. Lo que publicamos es la suma de esos comprobantes, no lo que alguien cuenta frente a una cámara. Las dos veces que pudimos comparar recuerdo y comprobantes, la persona se había quedado corta frente a sus propios papeles. Son dos casos, no una ley sobre todos. Cuando el papel y el relato no coinciden, gana el papel, aunque eso deje la cifra publicada más baja. Si un comprobante aparece repetido en el cajón, se quita: contar de más también es contar mal. Y lo que no tiene papel, no se suma, aunque sepamos que falta algo. Hay cobros de los que nunca se publicó el comprobante, y se quedan fuera igual. Por eso la suma del cajón no es todo lo que se cobró: es todo lo que se puede probar. Sale por debajo a propósito.

Qué significa para ti

Lo primero que cambia es a quién le pides el número. El testimonio da la historia. La cifra tiene que salir de comprobantes contados uno a uno, con fecha de corte y una sola fuente. Cuando alguien cita de memoria cuánto lleva retirado —tú incluido—, eso es un piso, no un dato. Las dos cifras de memoria que pudimos cruzar contra el muro quedaron por debajo de lo que esa persona ya había cobrado. Antes de fijar cuánto pones en juego por operación, cuenta tu historial desde los comprobantes, no desde el recuerdo.

Lo segundo cambia cómo lees cualquier resultado. La misma medición da $8,431 mirando desde 2024 y contando sólo los días con operación. Da $729 mirando los 7.2 años completos y contando el calendario. No son dos opiniones: son dos ventanas y dos formas de contar el tiempo. La forma de contar explica un factor de 1.96×. El resto de la caída es el periodo. La ventana corta es la cómoda: 0% de periodos en pérdida frente a 26% en la larga. Un número tiene que decir sobre qué tiempo se cuenta, qué ventana cubre, sobre qué se divide y cuántos casos lo sostienen. Si llega sin eso, no lo compares con ningún otro. Y si sale de un simulador, queda un descuento pendiente: el nuestro quedó 17.5% por encima de la plataforma donde se ejecuta de verdad. El nivel de cualquier prueba sobre historia —esas dos cifras incluidas— se lee con ese descuento.

Lo tercero es qué haces con tus propias ideas. Nuestra ventaja de +10.0 puntos porcentuales bajó a +3.3 y acabó retirada: al mover el umbral se anulaba e incluso se invertía. Si tu ventaja solo aparece con un ajuste exacto y desaparece al moverlo un poco, no la operes. Ese esfuerzo rinde más probando la idea en un periodo largo y feo.

¿De dónde sale cada cifra del muro?

El muro no empieza en una hoja de cálculo: empieza en el registro interno de retiros. Materia prima no es verdad: la verdad es la imagen del certificado. Tres reglas hacen ese salto.

1. La imagen manda sobre el texto que la acompaña. El 16 de julio de 2026 un registro anunciaba $1,189 y el certificado imprimía $1,335: el texto arrastraba el monto del registro anterior. Se ingirió $1,335, +$146. En ese lote —23 certificados de una sola sesión— la suma de los textos daba $25,617 y la de los certificados $25,763. Es un caso, no una tasa de error medida.

2. El otro conteo interno no es autoritativo, y va por encima.

Esos $2,256 son dos certificados contados dos veces en las capturas del 12 y el 13 de agosto de 2026. Cuando ese conteo y los certificados discrepan, gana el certificado, aunque eso deje la cifra publicada por debajo.

3. El test de completitud se cambió cuando dejó de funcionar. Durante tres capturas seguidas —16, 24 y 31 de julio de 2026— el hueco entre ese conteo y los certificados se mantuvo invariante. Esa invariancia servía de test de que no se perdía nada por el camino. El 12 de agosto se rompió: un certificado de $1,500 publicado tres veces, dos con la imagen byte a byte idéntica. Se cazó por hash, no a ojo. Desde entonces lo que cierra una captura es la verificación uno a uno de la frontera contra el snapshot anterior.

La fuente única de traders únicos es la suma de los certificados, leídos uno por uno. Un conteo por nombres tecleados a mano devolvió 64 traders contra los 58 del sitio. Cubría 282 registros, del 27 de enero al 29 de julio de 2026. De los 13 nombres "extra", 11 eran erratas del staff y los otros 2 no existen en el sitio. Contar por nombres tecleados a mano infla alrededor del 10%: 75 en bruto, 64 tras deduplicar por distancia de edición, 58 en la fuente canónica. Y esa distancia sola no basta. Dos nombres casi idénticos pueden ser personas distintas, y dos nombres que no se parecen pueden ser la misma.

¿Y si el trader dice otra cosa en su testimonio?

La regla nació de un error nuestro. Llegamos a publicar $3,000 de un trader cuyo acumulado certificado —al corte de esta página— es de $44,661. Catorce veces y media por debajo.

El 20 de agosto de 2026 cruzamos los testimonios en video que mapean al muro contra el corte de certificados del 12 de agosto. Son 11 de 12: uno quedó pendiente. De los transcripts salieron 137 afirmaciones monetarias. Ninguna se publica: existen sólo para este cruce. Sólo 2 de los 11 traders dan una cifra global comprobable, y los dos se quedan cortos frente a su propio ledger.

Cero casos de exageración en esos dos. Alejandro lo aclara en el mismo aliento —«es que tengo que hacer la cuenta»—: no infla, estima de memoria mientras sigue cobrando. Su testimonio se grabó el 25 de julio de 2026, y su último retiro certificado en ese corte es del 6 de agosto. El video nació desactualizado: eso explica la dirección del desvío, pero no su magnitud. De ahí la consecuencia: el testimonio aporta la historia, el certificado aporta el número. Una cifra citada de memoria por su protagonista es una cota inferior, no un dato.

¿Quién revisa el código que produce las cifras cuantitativas?

Toda pieza de código que decida dinero —motores Monte Carlo, fórmulas de riesgo, métricas— pasa por una revisión a tres bandas antes de producción. Son una lectura interna con cobertura del espec y casos límite, más dos lecturas de modelos de dos proveedores externos distintos. A veces esas dos corren en paralelo y a ciegas; a veces la tercera se cruza con la segunda, y se anota cuál fue. Los hallazgos se triangulan: 3 de 3, 2 de 3, 1 de 3. Cada uno se cierra con una decisión escrita: corregir, aplazar o rechazar. Lo aplazado se documenta como limitación conocida.

Lo revelador no es en qué coinciden las tres lecturas, sino en cuánto no coinciden. En la auditoría del motor Monte Carlo (2 de mayo de 2026) salieron 28 hallazgos: 10, 11 y 7 por pasada. Ninguno lo vieron las tres a la vez: 2 convergencias entre dos y 25 únicos. Se cerró con 11 correcciones, 14 aplazamientos y 2 rechazos. Dos de esas 11 correcciones no salieron de la revisión, sino después: una ya con el motor desplegado, detectada mirando un resultado que no cuadraba.

Y a veces lo que cae es nuestro propio titular. El estudio del 9 de agosto de 2026 medía la probabilidad trimestral de retirar más de lo invertido. Salieron 13 hallazgos triangulados, 4 de ellos vistos por las tres lecturas: 9 corregidos, 1 aplazado, 2 rechazados. El titular interno pasó de +10.0 puntos porcentuales a +3.3, y ninguno de los cuatro auditores declaró superior al retador. Ese +3.3 es además un valor central de una métrica de umbral: al barrer el umbral, la ventaja se anula y llega a invertirse. La misma revisión dejó fichado por qué esa métrica no bastaba con tan pocos trimestres. Un brazo que pierde dinero en cada operación puede sacar el valor más alto de todo el estudio. Así que el titular no se rescató con matices: se retiró. Entre los hallazgos que vieron las tres lecturas estaba el que lo explica. Una corrección de fidelidad se aplicaba a un solo brazo; aplicada a los dos, la diferencia queda en 0.0 puntos. El estudio no cambió nada y no se desplegó.

¿Por qué la misma medición da cifras distintas?

Porque conviven varias definiciones de "dólares por cada mil de riesgo" que no son comparables entre sí. Mismo modelo, mismo código, mismas operaciones, misma celda de sizing y mismo denominador; sólo cambian el eje del tiempo y la ventana:

El eje explica un factor de 1.96×. El resto de la caída no es eje, es periodo. De 2024 en adelante es una submuestra favorable: 0% de ventanas negativas, contra 26% en los 7.2 años completos. Una ventana de 130 sesiones son unos 6 meses reales en el eje de calendario. Cuando el eje sólo cuenta días con operación, esa misma ventana se estira a 314 días naturales: 10.3 meses. La cifra alta llegó a circular sin declarar su eje. De ahí la regla: toda cifra viaja con su eje, su ventana, su denominador y su tamaño de muestra, o no se publica.

Dos avisos sobre el nivel de esas cuatro cifras. El primero: las produce nuestro motor de simulación propio. La última comprobación de paridad lo dejó 17.5% por encima de la plataforma donde se ejecuta de verdad. Mientras ese diferencial siga abierto, el nivel absoluto se lee con ese descuento pendiente. El segundo: lo que la tabla decide no es el nivel, es la comparación entre filas. Y ninguna fila es comparable con otra que no comparta eje y ventana.

El control honesto que usamos es la última fila. Percentil 35 de $729, eje de calendario, 7.2 años, 14 bloques disjuntos, Sharpe 0.65 y 26% de ventanas negativas. Es la cifra fea, y es la publicable.

Cómo medimos esto

• Muro. Fuente única: la suma de los certificados individuales, leídos uno por uno desde la imagen; corte de datos 12 de agosto de 2026. Una coincidencia de clave —mismo trader, monto y fecha— no excluye automáticamente. En el índice de julio de 2026 había 240 claves únicas para 244 líneas, y las 4 colisiones eran retiros distintos con capturas distintas.
• Excepción firmada. Dos certificados de una misma trader imprimían el año anterior. Se ingirieron con el año corregido por decisión explícita y documentada, una desviación consciente de "la imagen manda". Su tercer certificado imprimió el año correcto: el patrón quedó refutado y no se promovió a regla.
• Auditoría de video. Muestra de 11 testimonios, de los que sólo 2 dan cifra global comprobable. Las citas literales se cotejan contra el audio: la transcripción automática rompe términos del oficio.
• Motor cuantitativo. La celda canónica debe reproducirse bit-exacto (n = 1,600 operaciones en el eje de sesión) antes de creerle a ninguna otra. Y la métrica se declara antes de correr. La resolución se mide primero, ya sobre la reconstrucción en calendario. Un corte aleatorio del 5% —65 de 1,296 operaciones— mueve ese percentil un −14.3% de media, con rango de −97% a +39%. Y 4 operaciones de diferencia entre dos reconstrucciones lo mueven un 11%.
• Limitaciones que nos cazamos solos. Nuestro gate era de una sola vía: "0 de 80 candidatos pasan" no significa "gana el control". Corrido al revés, el control sólo pasaba en 26 de 80; las otras 54 son empate. Y el filtro anti-sobreajuste estaba escrito al revés. Sobre 179 candidatas eliminó 8 (4%), todas hoyos y ningún pico, y ninguna de las 10 mejores celdas. Regla que salió de ahí: publicar siempre cuántas celdas mata el filtro.

Lo que esto NO dice

• No dice que estos resultados sean típicos. 58 traders con certificado no son la población de alumnos, y uno de esos 58 nombres es un coach.
• No dice que el conteo de traders esté cerrado. 58 es el conteo de la fuente canónica. Deduplicar nombres sigue siendo un juicio caso por caso, no un automatismo, y la reconciliación fina continúa abierta.
• No dice que ningún trader exagere. La auditoría compara 2 cifras globales; "cero exageraciones" describe esos dos casos, no una propiedad de los testimonios.
• No dice que el muro esté completo. Otro conteo interno va por encima de la suma de certificados. Parte de ese hueco podrían ser retiros con certificado que nunca se publicaron: es una hipótesis pendiente de confirmar, no un hallazgo. Publicamos lo que podemos probar, que es la cifra menor.
• No dice que una cifra de un eje sirva en otro. Ninguna fila de la tabla de percentiles es comparable con las otras.
• No publicamos la configuración ejecutable. Qué medimos, sobre qué datos, con qué método y qué salió, sí. Los valores que harían el modelo reproducible por un tercero, no.

La evidencia

Publicamos los estudios que no cambiaron nada porque un resultado negativo es más difícil de falsificar que uno positivo. Nadie fabrica una medición que le quita un titular.

Los 293 retiros están en el muro, uno por uno, con su imagen, su fecha y su monto: ábrelo y cuéntalos. Y para ver el método aplicado a la operativa, los materiales de la formación están en biblioteca.ast.bar.