Q²predict
Relevancia predictiva fuera de muestra por indicador. Por encima de 0 significa que el modelo predice mejor que la media del indicador. No es lo mismo que el Q² del blindfolding, que es en muestra.
MÉTODO PLS-SEM
PLSpredict: evaluar el poder predictivo fuera de muestra
PLSpredict evalúa qué tan bien tu modelo PLS-SEM predice casos nuevos con los que no fue entrenado, en lugar de qué tan bien se ajusta a los datos que ya tienes. Esta página explica qué mide, cómo leer Q²predict y el benchmark de modelo lineal, las variantes de métrica y los errores comunes, sobre todo confundir el ajuste en muestra con el poder predictivo real.
Qué mide PLSpredict
La elaboración de informes habitual en PLS-SEM se centra en medidas en muestra como R² y el Q² del blindfolding, que describen qué tan bien el modelo explica los datos usados para estimarlo. Dicen poco sobre si el modelo puede predecir nuevas observaciones. PLSpredict (Shmueli et al. 2016) llena ese vacío con la predicción fuera de muestra.
Usa validación cruzada de k iteraciones: la muestra se divide en k partes, el modelo se entrena en todas menos una y se predice la parte retenida. Repetir esto a lo largo de las partes produce un valor predicho para cada caso sin usar nunca ese caso para entrenar el modelo. Esas predicciones se comparan luego con los valores reales para cuantificar el poder predictivo.
Un ejemplo resuelto
Para los tres indicadores del constructo objetivo, Q²predict se mantiene por encima de 0 en todos, y el error de predicción de PLS (RMSE) es menor que el benchmark de modelo lineal en los tres. Como PLS supera al benchmark en cada indicador, el modelo tiene un poder predictivo alto.
Si PLS hubiera superado al benchmark en solo uno de los tres, informarías en cambio un poder predictivo medio o bajo.
Cómo leer el resultado
PLSpredict informa, para cada indicador de tu constructo objetivo clave, un Q²predict y un error de predicción (RMSE o MAE) tanto para el modelo PLS como para un benchmark de modelo lineal (LM) ingenuo.
- Q²predict > 0
- El indicador se predice mejor que el benchmark más ingenuo (la media de la muestra de entrenamiento). Un valor igual o inferior a 0 significa que no hay relevancia predictiva para ese indicador.
- PLS < LM (todos)
- Poder predictivo alto: el error de predicción de PLS es menor que el benchmark de modelo lineal en todos los indicadores.
- PLS < LM (la mayoría / pocos)
- Poder predictivo medio si PLS supera al benchmark en la mayoría de los indicadores, bajo si solo en unos pocos.
- PLS ≥ LM (ninguno)
- Sin poder predictivo: el modelo no supera al benchmark. No hagas afirmaciones predictivas a partir de él.
Compara los errores en los indicadores de tu constructo objetivo principal, no en todos los indicadores del modelo. Usa RMSE por defecto y cambia a MAE cuando la distribución de los errores de predicción sea muy asimétrica.
Métricas y variantes
RMSE vs MAE
RMSE (raíz del error cuadrático medio) es el valor por defecto. MAE (error absoluto medio) se prefiere cuando los errores de predicción son muy asimétricos, porque RMSE es más sensible a errores atípicos grandes.
Benchmark LM
Una regresión lineal de cada indicador sobre los indicadores de sus constructos antecedentes directos. PLSpredict pregunta si el modelo PLS basado en la teoría supera este benchmark simple.
CVPAT
La prueba de capacidad predictiva validada por validación cruzada (Liengaard et al. 2021) prueba formalmente si el error de predicción medio del modelo es significativamente menor que un benchmark (media del indicador o LM).
Ejecutar PLSpredict paso a paso
- Identifica el constructo objetivo clave cuyos indicadores te interesa predecir.
- Elige el número de particiones k (10 es habitual) y el número de repeticiones; más particiones y repeticiones dan estimaciones más estables.
- Ejecuta PLSpredict para obtener Q²predict y los errores de PLS y LM de cada indicador.
- Comprueba que Q²predict esté por encima de 0 para los indicadores objetivo.
- Compara el error de PLS con el benchmark LM en esos indicadores y clasifica el poder predictivo como alto, medio, bajo o nulo.
Errores habituales
- Tratar el R² en muestra o el Q² del blindfolding como evidencia de poder predictivo. Describen el ajuste, no la predicción fuera de muestra.
- Omitir la comprobación Q²predict > 0 antes de comparar errores.
- Usar RMSE cuando la distribución de los errores de predicción es muy asimétrica; ahí es más apropiado MAE.
- Comparar errores en todos los indicadores en lugar de los del constructo objetivo clave.
- Afirmar poder predictivo cuando el modelo PLS no supera el sencillo benchmark de modelo lineal.
PLSpredict en OpenPLS
OpenPLS incluye un panel PLSpredict que ejecuta validación cruzada de k iteraciones e informa, por indicador, Q²predict y el RMSE, MAE y MAPE tanto del modelo PLS como del benchmark de modelo lineal, con un veredicto para cada uno. Un CVPAT aparte convierte la comparación en una prueba de significación formal. Gratis y en el navegador.
Prueba el poder predictivo de tu propio modelo
Construye tu modelo en el editor visual y ejecuta PLSpredict de k iteraciones en un clic. Gratis, sin instalación.
Preguntas frecuentes
- ¿Cuál es la diferencia entre Q²predict y el Q² del blindfolding?
- El Q² del blindfolding es una medida en muestra de relevancia predictiva calculada a partir de los datos de estimación. Q²predict proviene de validación cruzada de k iteraciones fuera de muestra y refleja qué tan bien el modelo predice casos con los que no fue entrenado. Solo lo segundo se refiere a predicción genuina.
- ¿Debo usar RMSE o MAE en PLSpredict?
- Usa RMSE por defecto. Cambia a MAE cuando la distribución de los errores de predicción sea muy asimétrica, ya que RMSE pondera más los errores grandes.
- ¿Qué cuenta como buen poder predictivo?
- Q²predict por encima de 0 para los indicadores objetivo, y errores de PLS menores que el benchmark de modelo lineal. Si PLS supera al benchmark en todos los indicadores, el poder predictivo es alto; en la mayoría, medio; en unos pocos, bajo; y en ninguno, nulo.
Lecturas adicionales
PLSpredict se introdujo en Shmueli, G., Ray, S., Velasquez Estrada, J. M., & Chatla, S. B. (2016). The elephant in the room: predictive performance of PLS models. Journal of Business Research, 69(10), 4552-4564. Las directrices prácticas están en Shmueli, G., Sarstedt, M., Hair, J. F., Cheah, J.-H., Ting, H., Vaithilingam, S., & Ringle, C. M. (2019). Predictive model assessment in PLS-SEM: guidelines for using PLSpredict. European Journal of Marketing, 53(11), 2322-2347. Para la prueba de significación: Liengaard, B. D., et al. (2021). Prediction: coveted, yet forsaken? Introducing a cross-validated predictive ability test in PLS path modeling. Decision Sciences, 52(2), 362-392.