Predicciones que funcionan en el día a día

Los resultados de las pruebas son sólidos, a veces sorprendentemente. Los resultados en el uso diario son claramente más débiles, y reentrenar no cierra la brecha. Los clientes en los primeros puestos de la lista a menudo ya habían empezado a irse o a atrasarse antes de que nadie pudiera actuar. Los equipos dejan de confiar en la lista y eligen por su cuenta a quién contactar, así que el modelo pierde la retroalimentación que necesita.

Los investigadores llaman a esto filtración de información (leakage): información sobre el resultado que llega al modelo a través de datos de entrada que nunca debería haber tenido. Kaufman y sus colegas (2012), citando a profesionales anteriores, señalan que unos resultados que parecen demasiado buenos para ser ciertos son una de sus señales más claras.

Los hechos que más dicen sobre un cliente suelen llegar después de la decisión. Un contracargo se presenta semanas después del pago. Una queja, una nota de cobranza o una revisión de cuenta suelen seguir a un pago atrasado. El almacén de datos guarda hoy todo esto, y un modelo entrenado con el almacén de hoy aprende de ello.

Algunas filtraciones son evidentes una vez que se nombran. Kaufman y sus colegas describen un modelo de fuga de clientes que usaba el nombre del miembro del personal que había hablado por última vez con cada cliente. El campo parecía inofensivo hasta que se descubrió que un vendedor se hacía cargo de clientes que ya habían dicho que se irían. Otras filtraciones son más sutiles, como un saldo o una marca de riesgo sobrescritos en el mismo registro, de modo que el valor almacenado refleja la semana pasada y no el día de la decisión.

Kapoor y Narayanan (2023) encontraron filtraciones notificadas en 17 campos de la investigación publicada, que afectaban a 294 artículos, y enumeran los datos del futuro entre sus causas.

El remedio es una regla estricta sobre el tiempo. Para cada decisión pasada, cada dato de entrada se reconstruye tal como era en ese momento y no después. Un conteo de quejas significa las quejas registradas en ese momento. Un saldo significa el saldo de entonces. Lo mismo vale para las listas de vigilancia, el historial de dispositivos, los resultados del buró y cualquier respuesta de un servicio externo.

En la práctica esto implica una marca de tiempo en cada evento y en cada cambio de un registro, en lugar de actualizar los registros sobre sí mismos. Kaufman y sus colegas lo llaman separación entre aprendizaje y predicción: etiquetar cada observación con el momento en que se conoció y cortar los datos en un punto del tiempo para que el entrenamiento use solo lo anterior. Cuando el historial se ha sobrescrito, registre el hecho y deje fuera esos datos hasta que puedan reconstruirse.

Archive los datos exactos que usó cada decisión en producción, tal como llegaron, y compárelos con su versión reconstruida para las mismas decisiones, columna por columna. Donde difieran, registre el motivo, como un archivo tardío, una definición modificada, una zona horaria o una consulta externa que respondió de otro modo ese día. Trate una diferencia sin explicación como una filtración hasta que pueda demostrar lo contrario.

Los informes de fraude y los contracargos siguen llegando durante semanas después de un pago, y un préstamo que acabará en incumplimiento puede verse sano durante meses. Por eso los períodos recientes se ven más limpios de lo que resultarán ser. Compare modelos y períodos solo sobre clientes que hayan tenido el mismo tiempo para que lleguen los resultados, y trate los últimos resultados como provisionales.

Un modelo predictivo entrega un número que puede comprobarse. Tome a todos los solicitantes a quienes un modelo asignó una probabilidad de incumplimiento de 7 de cada 100: unos 7 de cada 100 deberían incumplir. Si incumplen 12, el modelo se equivoca y usted sabe en cuánto. Haga esta comprobación en cada tramo de puntuación y en los grupos de clientes clave.

Pruebe con períodos posteriores y nunca con una muestra aleatoria del mismo período. Entrene con un tramo de tiempo, pruebe con los meses siguientes y repita a medida que la ventana avanza. Una división aleatoria muestra al modelo los mismos clientes y condiciones en el entrenamiento y en la prueba, lo que oculta el problema aquí descrito.

Los supervisores bancarios de Estados Unidos esperan lo mismo. Su guía de riesgo de modelos, revisada en abril de 2026 como SR 26-2, describe el análisis de resultados como la comparación de las salidas del modelo con los resultados reales, incluidas las pruebas retrospectivas (backtesting), y señala que puede ser conveniente recalibrar o rediseñar el modelo cuando los resultados quedan fuera de los umbrales acordados.

Un modelo de crédito solo conoce el repago de los préstamos que se concedieron, y un modelo de fraude aprende sobre todo de los pagos que pasaron. Los clientes rechazados nunca generan un resultado, de modo que un modelo puede fijar las decisiones de ayer. El riesgo es mayor cuando un prestamista entra en un segmento nuevo en el que las decisiones pasadas fueron cautelosas, como los prestatarios primerizos o los residentes recién llegados al país, un caso frecuente para los prestamistas del Golfo.

Dos prácticas ayudan. Mantenga un pequeño grupo de control reservado con el proceso anterior, para poder medir el efecto real del modelo. Y apruebe una parte pequeña y controlada de los casos que el modelo rechazaría, dentro del apetito de riesgo, para que siga aprendiendo sobre clientes que de otro modo nunca vería. Los métodos de inferencia de rechazados pueden complementar esto, pero no sustituyen a los resultados reales.

Elija el modelo en el que más confían sus equipos y haga dos comprobaciones este mes: las tasas predichas frente a las reales por tramo en el último período cuyos resultados hayan madurado, y una muestra de datos reconstruidos frente a los que registró el sistema en producción. Juntas muestran si la visión retrospectiva ha entrado en los datos y por dónde conviene empezar a buscar.

Mantika Tessera aprende el historial de cada cliente en orden, tal como se fue desarrollando.