Validación de modelos: calibración, datos futuros y límites de uso
Distingue calibrar y validar un modelo. Diseña una prueba temporal sin datos futuros, interpreta el error y documenta los límites de uso.
Calibrar un modelo consiste en ajustar sus parámetros con datos y un criterio. Validarlo exige evaluar si su diseño, implementación y resultados son adecuados para el uso previsto. Una buena cifra de error dentro de la muestra de ajuste no responde por sí sola a esa segunda pregunta. En series temporales, además, un dato conocido tarde puede contaminar todo el análisis.
Empieza por una predicción que pueda fecharse
El caso ficticio consiste en pronosticar, al cierre de cada mes, la salida neta de caja del mes siguiente. Las unidades son millones de euros. El responsable del modelo debe fijar qué decisión apoyará el pronóstico y qué margen de error resulta relevante para ella. Optimizar una cifra sin conocer su uso puede mejorar una métrica y empeorar una decisión.
Para cada variable registra cuándo se publica, qué revisión utiliza y si estaba disponible al emitir el pronóstico. Una cifra contable de marzo publicada en abril no puede entrar en una previsión supuestamente realizada al terminar marzo. Tener el dato hoy dentro de una tabla histórica no demuestra que estuviera disponible entonces.
Una separación temporal de trabajo
Imagina treinta y seis meses ordenados. Usa los meses 1 a 24 para ajustar el modelo, 25 a 30 para elegir entre variantes y 31 a 36 para una evaluación final conservada sin usar durante esa elección. Esta partición es una propuesta educativa, no una proporción universal. Seis meses pueden ofrecer muy poca evidencia para determinados riesgos.
Los transformadores también aprenden de los datos. Si estandarizas una variable utilizando la media de los treinta y seis meses antes de separar conjuntos, la etapa inicial ya incorpora información futura. Ajusta medias, escalas, imputaciones y selección de variables con el conjunto permitido y aplica después esas reglas al siguiente periodo.
Un resultado pequeño para practicar
| Mes | Salida observada | Pronóstico A | Error absoluto A |
|---|---|---|---|
| 31 | 10 | 10 | 0 |
| 32 | 12 | 13 | 1 |
| 33 | 11 | 10 | 1 |
El error absoluto medio de A es (0 + 1 + 1) / 3 = 0,667 millones aproximadamente. Supón que B ofrece 10,1, 11,9 y 11,1; su error absoluto medio es 0,1 millones. B parece mejor en esta tabla. Pero si utilizó la cifra efectiva del mes para construir una de sus variables, no era un pronóstico ejecutable. La comparación necesita corregirse antes de valorar la aparente mejora.
La fuga no desaparece por ocultar el nombre de la variable. Una característica agregada puede contener indirectamente el resultado: por ejemplo, un indicador mensual calculado con movimientos ocurridos después del cierre en el que se supone emitida la previsión. Revisa el flujo de construcción, no solo la tabla final.
Evalúa algo más que un promedio
El mismo error absoluto trata igual sobreestimar e infraestimar. Para una decisión de financiación, quedarse corto precisamente durante una salida elevada podría tener consecuencias distintas de reservar caja de más en un mes tranquilo. Conviene observar dirección del error, episodios grandes y desempeño en condiciones diferentes, sin escoger después la métrica que favorece a la versión deseada.
Introduce una referencia sencilla, como usar la última observación disponible, y compara bajo las mismas fechas y reglas. Un modelo complejo debe aportar evidencia frente a una alternativa que también podría ejecutarse. Si todos funcionan mal al cambiar el régimen, el problema puede ser la información disponible o el supuesto de estabilidad, no el número de parámetros.
Qué debe revisar alguien distinto del ajuste
Una revisión puede reconstruir el objetivo, comprobar ecuaciones o código, verificar los cortes temporales, estudiar sensibilidad y reproducir resultados con las entradas autorizadas. También debe preguntar qué ocurre fuera del dominio observado. Ajustar parámetros de nuevo cuando aparece un error no sustituye investigar si la estructura del modelo tiene sentido.
La guía revisada de las autoridades bancarias estadounidenses publicada en abril de 2026 aborda el diseño, la validación, el seguimiento y los límites de los modelos según su riesgo y uso. La carta SR 26-2 sustituyó SR 11-7. Esta referencia aporta contexto profesional; el ejemplo no afirma que esas expectativas regulatorias se apliquen de igual modo a cualquier estudiante o empresa.
Documenta la conclusión y su caducidad
Una conclusión defendible sería: «A puede reproducirse con información disponible al cierre; su error medio en estos tres meses es 0,667 millones; falta evaluar más periodos y escenarios de salidas elevadas». No transforma una muestra pequeña en una aprobación indefinida. Registra versión, datos, fecha, uso permitido y señales que obligarían a revisar.
Ejercicio: el dato de abril se publica el 12 de mayo. ¿Puede utilizarse en una previsión emitida el 30 de abril? No, salvo que se trate de una estimación separada que ya existiera y se identifique como tal. ¿Y en una previsión del 31 de mayo? Podría estar disponible, pero debes conservar la versión conocida entonces. La fecha de disponibilidad forma parte de la validez de la prueba.
Fuentes y alcance
Ejemplo educativo original de FinTutor.ai, con datos ficticios; no es una pregunta oficial ni una propuesta de inversión. Consulta los objetivos aplicables a tu convocatoria en GARP. GARP mostraba documentos de 2026; estas prácticas no acreditan cobertura del temario 2027. Corte de consulta: 11 de noviembre de 2026.
- Federal Reserve: Supervisory Guidance on Model Risk Management, 2026: Validación, seguimiento, adecuación al propósito y límites; la carta de emisión SR26-2 confirma la sustitución de SR11-7.
- Federal Reserve: SR 26-2, Revised Guidance on Model Risk Management: Carta de 17 de abril de 2026 que sustituye SR11-7 y SR21-8.
Información y estado de la preparación FRM en FinTutor.ai.
Revisión editorial: .