Q²predict
Pertinence prédictive hors échantillon par indicateur. Au-dessus de 0, le modèle prédit mieux que la moyenne de l’indicateur. Ce n’est pas la même chose que le Q² du blindfolding, qui est en échantillon.
MÉTHODE PLS-SEM
PLSpredict : évaluer le pouvoir prédictif hors échantillon
PLSpredict évalue la capacité de votre modèle PLS-SEM à prédire de nouveaux cas sur lesquels il n’a pas été entraîné, plutôt que son ajustement aux données que vous avez déjà. Cette page explique ce qu’il mesure, comment lire Q²predict et le benchmark de modèle linéaire, les variantes de métrique et les erreurs fréquentes, avant tout la confusion entre l’ajustement en échantillon et le vrai pouvoir prédictif.
Ce que mesure PLSpredict
Le reporting PLS-SEM habituel se concentre sur des mesures en échantillon comme le R² et le Q² issu du blindfolding, qui décrivent la qualité de l’explication des données ayant servi à l’estimation. Ils disent peu de choses sur la capacité du modèle à prédire de nouvelles observations. PLSpredict (Shmueli et al. 2016) comble ce manque par la prédiction hors échantillon.
Il utilise la validation croisée en k blocs : l’échantillon est divisé en k blocs, le modèle est entraîné sur tous sauf un, et le bloc retenu est prédit. En répétant cela sur les blocs, on obtient une valeur prédite pour chaque cas sans jamais utiliser ce cas pour entraîner le modèle. Ces prédictions sont ensuite comparées aux valeurs réelles pour quantifier le pouvoir prédictif.
Un exemple chiffré
Pour les trois indicateurs du construit cible, le Q²predict reste au-dessus de 0 partout, et l’erreur de prédiction de PLS (RMSE) est inférieure au benchmark de modèle linéaire sur les trois. Comme PLS bat le benchmark sur chaque indicateur, le modèle a un pouvoir prédictif élevé.
Si PLS n’avait battu le benchmark que sur un seul des trois, vous rapporteriez plutôt un pouvoir prédictif moyen à faible.
Comment lire le résultat
PLSpredict rapporte, pour chaque indicateur de votre construit cible principal, un Q²predict et une erreur de prédiction (RMSE ou MAE) à la fois pour le modèle PLS et pour un benchmark naïf de modèle linéaire (LM).
- Q²predict > 0
- L’indicateur est mieux prédit que le benchmark le plus naïf (la moyenne de l’échantillon d’entraînement). Une valeur à 0 ou en dessous signifie aucune pertinence prédictive pour cet indicateur.
- PLS < LM (tous)
- Pouvoir prédictif élevé : l’erreur de prédiction de PLS est inférieure au benchmark de modèle linéaire pour chaque indicateur.
- PLS < LM (la plupart / quelques-uns)
- Pouvoir prédictif moyen si PLS bat le benchmark pour la plupart des indicateurs, faible si seulement pour quelques-uns.
- PLS ≥ LM (aucun)
- Aucun pouvoir prédictif : le modèle ne bat pas le benchmark. N’en tirez aucune affirmation prédictive.
Comparez les erreurs sur les indicateurs de votre construit cible principal, pas sur tous les indicateurs du modèle. Utilisez RMSE par défaut et passez à MAE quand la distribution des erreurs de prédiction est très asymétrique.
Métriques et variantes
RMSE vs MAE
Le RMSE (racine de l’erreur quadratique moyenne) est la valeur par défaut. Le MAE (erreur absolue moyenne) est préférable quand les erreurs de prédiction sont très asymétriques, car le RMSE est plus sensible aux grandes erreurs aberrantes.
Benchmark LM
Une régression linéaire de chaque indicateur sur les indicateurs de ses construits antécédents directs. PLSpredict demande si le modèle PLS fondé sur la théorie bat ce benchmark simple.
CVPAT
Le test de capacité prédictive validé par validation croisée (Liengaard et al. 2021) teste formellement si l’erreur de prédiction moyenne du modèle est significativement inférieure à un benchmark (moyenne de l’indicateur ou LM).
Exécuter PLSpredict étape par étape
- Identifiez le construit cible principal dont vous voulez prédire les indicateurs.
- Choisissez le nombre de blocs k (10 est courant) et le nombre de répétitions ; plus de blocs et de répétitions donnent des estimations plus stables.
- Lancez PLSpredict pour obtenir Q²predict ainsi que les erreurs PLS et LM de chaque indicateur.
- Vérifiez que Q²predict est au-dessus de 0 pour les indicateurs cibles.
- Comparez l’erreur PLS au benchmark LM sur ces indicateurs et classez le pouvoir prédictif comme élevé, moyen, faible ou nul.
Erreurs fréquentes
- Traiter le R² en échantillon ou le Q² du blindfolding comme une preuve de pouvoir prédictif. Ils décrivent l’ajustement, pas la prédiction hors échantillon.
- Sauter la vérification Q²predict > 0 avant de comparer les erreurs.
- Utiliser le RMSE quand la distribution des erreurs de prédiction est très asymétrique ; le MAE y est plus approprié.
- Comparer les erreurs sur tous les indicateurs plutôt que sur ceux du construit cible principal.
- Revendiquer un pouvoir prédictif alors que le modèle PLS ne bat pas le simple benchmark de modèle linéaire.
PLSpredict dans OpenPLS
OpenPLS comprend un panneau PLSpredict qui exécute une validation croisée en k blocs et rapporte, par indicateur, Q²predict ainsi que le RMSE, le MAE et le MAPE pour le modèle PLS et le benchmark de modèle linéaire, avec un verdict pour chacun. Un CVPAT distinct transforme la comparaison en un test de significativité formel. Gratuit et dans le navigateur.
Testez le pouvoir prédictif de votre propre modèle
Construisez votre modèle dans l’éditeur visuel et lancez PLSpredict en k blocs en un clic. Gratuit, sans installation.
Questions fréquentes
- Quelle est la différence entre Q²predict et le Q² du blindfolding ?
- Le Q² du blindfolding est une mesure en échantillon de pertinence prédictive calculée à partir des données d’estimation. Q²predict provient d’une validation croisée en k blocs hors échantillon et reflète la capacité du modèle à prédire des cas sur lesquels il n’a pas été entraîné. Seul le second concerne la vraie prédiction.
- Dois-je utiliser le RMSE ou le MAE dans PLSpredict ?
- Utilisez le RMSE par défaut. Passez au MAE quand la distribution des erreurs de prédiction est très asymétrique, car le RMSE pondère davantage les grandes erreurs.
- Qu’est-ce qu’un bon pouvoir prédictif ?
- Q²predict au-dessus de 0 pour les indicateurs cibles, et des erreurs PLS inférieures au benchmark de modèle linéaire. Si PLS bat le benchmark sur tous les indicateurs, le pouvoir prédictif est élevé ; sur la plupart, moyen ; sur quelques-uns, faible ; sur aucun, nul.
Pour aller plus loin
PLSpredict a été introduit dans Shmueli, G., Ray, S., Velasquez Estrada, J. M., & Chatla, S. B. (2016). The elephant in the room: predictive performance of PLS models. Journal of Business Research, 69(10), 4552-4564. Les recommandations pratiques figurent dans Shmueli, G., Sarstedt, M., Hair, J. F., Cheah, J.-H., Ting, H., Vaithilingam, S., & Ringle, C. M. (2019). Predictive model assessment in PLS-SEM: guidelines for using PLSpredict. European Journal of Marketing, 53(11), 2322-2347. Pour le test de significativité : Liengaard, B. D., et al. (2021). Prediction: coveted, yet forsaken? Introducing a cross-validated predictive ability test in PLS path modeling. Decision Sciences, 52(2), 362-392.