Métricas de precisión y de entrenamiento
Qué miden los KPIs de precisión (BIAS, MAE, MAPE, RMSE, Accuracy) y los de entrenamiento (MASE, WAPE, wQL, MSE), y por qué conviene leerlos en conjunto.
Esta página explica el propósito de cada familia de métricas. Las fórmulas, umbrales de referencia y ejemplos numéricos viven en Referencia → Precisión del forecast y Referencia → Entrenamiento del modelo.
Dos familias, dos preguntas distintas
El forecast produce dos tipos de evaluación que responden preguntas diferentes y no deben confundirse:
Métricas de precisión — evalúan el pronóstico que el equipo humano entregó al negocio (incluyendo todos los ajustes manuales). Son la vara con la que se mide el proceso de S&OP completo.
Métricas de entrenamiento — evalúan únicamente la calidad del modelo estadístico base, antes de cualquier ajuste humano. Indican si el algoritmo aprendió bien de los datos históricos y si conviene seguir usándolo o explorar alternativas.
Confundir las dos lleva a conclusiones erróneas: un modelo estadísticamente bueno puede verse mal si el equipo agrega ajustes que empeoran el pronóstico final, y viceversa.
Las métricas de precisión y cómo leerlas juntas
BIAS: hacia qué lado fallamos
El BIAS mide si el pronóstico tiende a ser sistemáticamente mayor o menor que la demanda real. Un BIAS positivo significa sobreestimación consistente (el equipo pronostica más de lo que el mercado pide); un BIAS negativo indica subestimación (se pronostica menos de lo que realmente ocurre).
El punto crítico es que el BIAS puede salir cercano a cero aunque haya errores grandes. Si un mes se sobreestimó en 500 unidades y el siguiente se subestimó en 500, los errores se cancelan y el BIAS aparece como cero, pero el proceso estuvo muy lejos de ser preciso. Por eso el BIAS nunca se lee solo.
MAE / MAPE: cuánto fallamos
El MAE (Mean Absolute Error) y el MAPE (Mean Absolute Percentage Error) miden la magnitud del error sin importar la dirección. Donde el BIAS indica el sesgo, el MAE/MAPE indica la dispersión: cuánto nos alejamos del valor real en promedio, ya sea por arriba o por abajo.
La lectura conjunta BIAS + MAE es la regla básica de diagnóstico:
- BIAS pequeño + MAE pequeño → pronóstico preciso y sin sesgo sistemático.
- BIAS pequeño + MAE grande → los errores son grandes pero se compensan entre sí; hay variabilidad sin sesgo direccional claro.
- BIAS grande + MAE grande → hay un problema sistemático de dirección y de magnitud; el modelo o los ajustes apuntan consistentemente en el sentido equivocado.
RMSE: los errores grandes importan más
El RMSE (Root Mean Squared Error) penaliza los errores grandes de forma desproporcionada. Un error de 100 unidades pesa cuatro veces más que un error de 50. Esto lo hace útil cuando los picos de error tienen consecuencias operativas graves (un quiebre de stock de un producto A en temporada alta vale mucho más que el promedio de errores). Si el RMSE es sustancialmente mayor que el MAE, hay errores atípicos que merecen revisión individual.
Accuracy: la métrica del negocio
La Accuracy expresa la precisión como porcentaje positivo (100 % − MAPE, simplificado). Es la más fácil de comunicar a audiencias no técnicas: "el forecast tuvo 85 % de precisión este mes". Su limitación es que agrega todo en un solo número y puede ocultar problemas en segmentos específicos del portafolio.
Las métricas de entrenamiento
Las métricas de entrenamiento (MASE, WAPE, wQL, MSE) son internas al proceso de modelado. Reflejan qué tan bien aprendió el algoritmo del historial, comparando su desempeño contra benchmarks simples o midiendo el ajuste sobre el conjunto de validación.
Su uso principal es técnico: comparar modelos candidatos durante la selección por SKU y detectar sobreajuste. Cuando el MASE de entrenamiento es bueno pero la precisión operativa es mala, la causa suele estar en los ajustes manuales o en cambios de mercado ocurridos después del entrenamiento, no en el modelo.
TODO: enlace a la guía técnica de configuración del motor cuando esté disponible.
Por qué ninguna métrica es suficiente sola
| Si solo miraras… | Te perderías… |
|---|---|
| BIAS | Errores grandes que se compensan |
| MAE/MAPE | Si el error tiene dirección sistemática |
| RMSE | La magnitud absoluta promedio |
| Accuracy | Los problemas en segmentos del portafolio |
| Métricas de entrenamiento | Si los ajustes humanos mejoran o empeoran el resultado final |
El panel de métricas de AInventory presenta las familias juntas precisamente para que ninguna se lea de forma aislada.
Los términos BIAS, MAE, MAPE, RMSE, Accuracy, MASE, wQL y WAPE tienen entrada en el glosario.