Q²predict
Rilevanza predittiva fuori campione per indicatore. Sopra 0 significa che il modello predice meglio della media dell’indicatore. Non è lo stesso del Q² del blindfolding, che è nel campione.
METODO PLS-SEM
PLSpredict: valutare il potere predittivo fuori campione
PLSpredict valuta quanto bene il tuo modello PLS-SEM predice casi nuovi su cui non è stato addestrato, invece di quanto bene si adatta ai dati che hai già. Questa pagina spiega cosa misura, come leggere Q²predict e il benchmark del modello lineare, le varianti di metrica e gli errori comuni, soprattutto confondere l’adattamento nel campione con il vero potere predittivo.
Che cosa misura PLSpredict
Il reporting PLS-SEM abituale si concentra su misure nel campione come R² e il Q² del blindfolding, che descrivono quanto bene il modello spiega i dati usati per stimarlo. Dicono poco sulla capacità del modello di predire nuove osservazioni. PLSpredict (Shmueli et al. 2016) colma questa lacuna con la previsione fuori campione.
Usa la convalida incrociata a k-fold: il campione è diviso in k parti, il modello è addestrato su tutte tranne una e la parte esclusa viene predetta. Ripetendo su tutte le parti si ottiene un valore previsto per ogni caso senza mai usare quel caso per addestrare il modello. Queste previsioni vengono poi confrontate con i valori reali per quantificare il potere predittivo.
Un esempio svolto
Per i tre indicatori del costrutto target, Q²predict resta sopra 0 in tutti, e l’errore di previsione di PLS (RMSE) è inferiore al benchmark del modello lineare su tutti e tre. Poiché PLS batte il benchmark su ogni indicatore, il modello ha un potere predittivo alto.
Se PLS avesse battuto il benchmark solo su uno dei tre, riporteresti invece un potere predittivo medio o basso.
Come leggere il risultato
PLSpredict riporta, per ogni indicatore del tuo costrutto target chiave, un Q²predict e un errore di previsione (RMSE o MAE) sia per il modello PLS sia per un benchmark ingenuo di modello lineare (LM).
- Q²predict > 0
- L’indicatore è predetto meglio del benchmark più ingenuo (la media del campione di addestramento). Un valore pari o inferiore a 0 significa nessuna rilevanza predittiva per quell’indicatore.
- PLS < LM (tutti)
- Potere predittivo alto: l’errore di previsione di PLS è inferiore al benchmark del modello lineare su ogni indicatore.
- PLS < LM (la maggior parte / pochi)
- Potere predittivo medio se PLS batte il benchmark sulla maggior parte degli indicatori, basso se solo su pochi.
- PLS ≥ LM (nessuno)
- Nessun potere predittivo: il modello non batte il benchmark. Non trarne affermazioni predittive.
Confronta gli errori sugli indicatori del tuo costrutto target principale, non su tutti gli indicatori del modello. Usa RMSE come impostazione predefinita e passa a MAE quando la distribuzione degli errori di previsione è molto asimmetrica.
Metriche e varianti
RMSE vs MAE
RMSE (radice dell’errore quadratico medio) è il valore predefinito. MAE (errore assoluto medio) è preferibile quando gli errori di previsione sono molto asimmetrici, perché RMSE è più sensibile ai grandi errori anomali.
Benchmark LM
Una regressione lineare di ciascun indicatore sugli indicatori dei suoi costrutti antecedenti diretti. PLSpredict chiede se il modello PLS basato sulla teoria batte questo semplice benchmark.
CVPAT
Il Cross-Validated Predictive Ability Test (Liengaard et al. 2021) verifica formalmente se l’errore di previsione medio del modello è significativamente inferiore a un benchmark (media dell’indicatore o LM).
Eseguire PLSpredict passo dopo passo
- Individua il costrutto target chiave di cui ti interessa predire gli indicatori.
- Scegli il numero di fold k (10 è comune) e il numero di ripetizioni; più fold e ripetizioni danno stime più stabili.
- Esegui PLSpredict per ottenere Q²predict e gli errori PLS e LM di ciascun indicatore.
- Verifica che Q²predict sia sopra 0 per gli indicatori target.
- Confronta l’errore PLS con il benchmark LM su quegli indicatori e classifica il potere predittivo come alto, medio, basso o nullo.
Errori comuni
- Trattare l’R² nel campione o il Q² del blindfolding come prova di potere predittivo. Descrivono l’adattamento, non la previsione fuori campione.
- Saltare la verifica Q²predict > 0 prima di confrontare gli errori.
- Usare RMSE quando la distribuzione degli errori di previsione è molto asimmetrica; lì è più appropriato MAE.
- Confrontare gli errori su ogni indicatore invece che su quelli del costrutto target chiave.
- Affermare un potere predittivo quando il modello PLS non batte il semplice benchmark del modello lineare.
PLSpredict in OpenPLS
OpenPLS include un pannello PLSpredict che esegue la convalida incrociata a k-fold e riporta, per indicatore, Q²predict e RMSE, MAE e MAPE sia per il modello PLS sia per il benchmark del modello lineare, con un verdetto per ciascuno. Un CVPAT separato trasforma il confronto in un test di significatività formale. Gratis e nel browser.
Testa il potere predittivo del tuo modello
Costruisci il tuo modello nell’editor visuale ed esegui PLSpredict a k-fold con un clic. Gratis, senza installazione.
Domande frequenti
- Qual è la differenza tra Q²predict e il Q² del blindfolding?
- Il Q² del blindfolding è una misura nel campione di rilevanza predittiva calcolata dai dati di stima. Q²predict proviene dalla convalida incrociata a k-fold fuori campione e riflette quanto bene il modello predice casi su cui non è stato addestrato. Solo il secondo riguarda la vera previsione.
- Dovrei usare RMSE o MAE in PLSpredict?
- Usa RMSE come impostazione predefinita. Passa a MAE quando la distribuzione degli errori di previsione è molto asimmetrica, poiché RMSE pesa di più gli errori grandi.
- Che cosa conta come buon potere predittivo?
- Q²predict sopra 0 per gli indicatori target ed errori PLS inferiori al benchmark del modello lineare. Se PLS batte il benchmark su tutti gli indicatori il potere predittivo è alto, sulla maggior parte è medio, su pochi è basso e su nessuno è assente.
Letture di approfondimento
PLSpredict è stato introdotto in Shmueli, G., Ray, S., Velasquez Estrada, J. M., & Chatla, S. B. (2016). The elephant in the room: predictive performance of PLS models. Journal of Business Research, 69(10), 4552-4564. Linee guida pratiche in Shmueli, G., Sarstedt, M., Hair, J. F., Cheah, J.-H., Ting, H., Vaithilingam, S., & Ringle, C. M. (2019). Predictive model assessment in PLS-SEM: guidelines for using PLSpredict. European Journal of Marketing, 53(11), 2322-2347. Per il test di significatività: Liengaard, B. D., et al. (2021). Prediction: coveted, yet forsaken? Introducing a cross-validated predictive ability test in PLS path modeling. Decision Sciences, 52(2), 362-392.