Was ist der Unterschied zwischen Q²predict und dem Q² aus dem Blindfolding?

Das Blindfolding-Q² ist ein In-Sample-Maß für prädiktive Relevanz, berechnet aus den Schätzdaten. Q²predict stammt aus Out-of-Sample-k-facher-Kreuzvalidierung und spiegelt wider, wie gut das Modell Fälle vorhersagt, auf denen es nicht trainiert wurde. Nur Letzteres betrifft echte Vorhersage.

Was gilt als gute prädiktive Kraft?

Q²predict über 0 für die Ziel-Indikatoren und niedrigere PLS-Fehler als der Linearmodell-Benchmark. Schlägt PLS den Benchmark bei allen Indikatoren, ist die prädiktive Kraft hoch, bei den meisten mittel, bei wenigen gering und bei keinem nicht vorhanden.

PLS-SEM-METHODE

PLSpredict: prädiktive Kraft außerhalb der Stichprobe prüfen

PLSpredict bewertet, wie gut dein PLS-SEM-Modell neue Fälle vorhersagt, auf denen es nicht trainiert wurde, statt wie gut es zu den vorhandenen Daten passt. Diese Seite erklärt, was es misst, wie man Q²predict und den Linearmodell-Benchmark liest, die Metrik-Varianten und die häufigen Fehler, vor allem die Verwechslung von In-Sample-Fit mit echter prädiktiver Kraft.

Was PLSpredict misst

Üblicherweise schaut man bei PLS-SEM vor allem auf In-Sample-Maße wie R² und das Q² aus dem Blindfolding. Sie beschreiben, wie gut das Modell die Daten erklärt, mit denen es geschätzt wurde. Über die Vorhersage neuer Beobachtungen sagen sie wenig. PLSpredict (Shmueli et al. 2016) schließt diese Lücke mit Out-of-Sample-Vorhersage.

Es nutzt k-fache Kreuzvalidierung: Die Stichprobe wird in k Teile (Folds) geteilt, das Modell auf allen bis auf einen Fold trainiert und der ausgelassene Fold vorhergesagt. Über alle Folds wiederholt ergibt das einen Vorhersagewert für jeden Fall, ohne diesen Fall je zum Training zu verwenden. Diese Vorhersagen werden dann mit den tatsächlichen Werten verglichen, um die prädiktive Kraft zu quantifizieren.

Ein durchgerechnetes Beispiel

Für die drei Indikatoren des Zielkonstrukts bleibt Q²predict durchgehend über 0, und der PLS-Vorhersagefehler (RMSE) liegt bei allen drei unter dem Linearmodell-Benchmark. Weil PLS den Benchmark bei jedem Indikator schlägt, hat das Modell hohe prädiktive Kraft.

Hätte PLS den Benchmark nur bei einem der drei geschlagen, würdest du stattdessen mittlere bis geringe prädiktive Kraft berichten.

Der PLS-RMSE liegt bei allen drei Indikatoren unter dem Linearmodell-Benchmark (LM), und Q²predict bleibt über 0: hohe prädiktive Kraft.

Wie man das Ergebnis liest

PLSpredict berichtet für jeden Indikator deines zentralen Zielkonstrukts ein Q²predict und einen Vorhersagefehler (RMSE oder MAE) sowohl für das PLS-Modell als auch für einen naiven Linearmodell-Benchmark (LM).

Q²predict > 0: Der Indikator wird besser vorhergesagt als der naivste Benchmark (der Mittelwert der Trainingsdaten). Ein Wert von 0 oder darunter bedeutet keine prädiktive Relevanz für diesen Indikator.
PLS < LM (alle): Hohe prädiktive Kraft: Der PLS-Vorhersagefehler ist bei jedem Indikator niedriger als der Linearmodell-Benchmark.
PLS < LM (die meisten / wenige): Mittlere prädiktive Kraft, wenn PLS den Benchmark bei den meisten Indikatoren schlägt, geringe, wenn nur bei wenigen.
PLS ≥ LM (keiner): Keine prädiktive Kraft: Das Modell schlägt den Benchmark nicht. Mache daraus keine Vorhersageaussagen.

Vergleiche die Fehler bei den Indikatoren deines zentralen Zielkonstrukts, nicht bei jedem Indikator im Modell. Nutze standardmäßig RMSE und wechsle zu MAE, wenn die Verteilung der Vorhersagefehler stark asymmetrisch ist.

Metriken und Varianten

Q²predict

Out-of-Sample-prädiktive Relevanz pro Indikator. Über 0 heißt, das Modell sagt besser vorher als der Indikator-Mittelwert. Nicht dasselbe wie das Q² aus dem Blindfolding, das In-Sample ist.

RMSE vs. MAE

RMSE (Wurzel des mittleren quadratischen Fehlers) ist die Vorgabe. MAE (mittlerer absoluter Fehler) ist vorzuziehen, wenn die Vorhersagefehler stark asymmetrisch sind, da RMSE empfindlicher auf große Ausreißerfehler reagiert.

LM-Benchmark

Eine lineare Regression jedes Indikators auf die Indikatoren seiner direkt vorgelagerten Konstrukte. PLSpredict fragt, ob das theoriebasierte PLS-Modell diesen einfachen Benchmark schlägt.

CVPAT

Der Cross-Validated Predictive Ability Test (Liengaard et al. 2021) prüft formal, ob der mittlere Vorhersagefehler des Modells signifikant niedriger ist als ein Benchmark (Indikator-Mittelwert oder LM).

PLSpredict Schritt für Schritt durchführen

Bestimme das zentrale Zielkonstrukt, dessen Indikatoren du vorhersagen willst.
Wähle die Anzahl der Folds k (10 ist üblich) und die Anzahl der Wiederholungen; mehr Folds und Wiederholungen ergeben stabilere Schätzungen.
Führe PLSpredict aus, um für jeden Indikator Q²predict sowie die PLS- und LM-Fehler zu erhalten.
Prüfe, dass Q²predict für die Ziel-Indikatoren über 0 liegt.
Vergleiche den PLS-Fehler mit dem LM-Benchmark über diese Indikatoren und stufe die prädiktive Kraft als hoch, mittel, gering oder keine ein.

Häufige Fehler

In-Sample-R² oder das Blindfolding-Q² als Beleg für prädiktive Kraft behandeln. Sie beschreiben den Fit, nicht die Out-of-Sample-Vorhersage.
Die Prüfung Q²predict > 0 überspringen, bevor man Fehler vergleicht.
RMSE verwenden, wenn die Verteilung der Vorhersagefehler stark asymmetrisch ist; MAE ist dort geeigneter.
Fehler über jeden Indikator vergleichen statt über die des zentralen Zielkonstrukts.
Prädiktive Kraft behaupten, obwohl das PLS-Modell den einfachen Linearmodell-Benchmark nicht schlägt.

PLSpredict in OpenPLS

OpenPLS enthält ein PLSpredict-Panel, das k-fache Kreuzvalidierung ausführt und pro Indikator Q²predict sowie RMSE, MAE und MAPE für das PLS-Modell und den Linearmodell-Benchmark berichtet, jeweils mit einer Einordnung. Ein separater CVPAT macht aus dem Vergleich einen formalen Signifikanztest. Kostenlos und direkt im Browser.

Teste die prädiktive Kraft deines eigenen Modells

Baue dein Modell im visuellen Editor und führe k-faches PLSpredict mit einem Klick aus. Kostenlos, ohne Installation.

OpenPLS öffnen Was ist PLS-SEM?

Häufige Fragen

Was ist der Unterschied zwischen Q²predict und dem Q² aus dem Blindfolding?: Das Blindfolding-Q² ist ein In-Sample-Maß für prädiktive Relevanz, berechnet aus den Schätzdaten. Q²predict stammt aus Out-of-Sample-k-facher-Kreuzvalidierung und spiegelt wider, wie gut das Modell Fälle vorhersagt, auf denen es nicht trainiert wurde. Nur Letzteres betrifft echte Vorhersage.
Sollte ich bei PLSpredict RMSE oder MAE verwenden?: Standardmäßig RMSE. Wechsle zu MAE, wenn die Verteilung der Vorhersagefehler stark asymmetrisch ist, da RMSE große Fehler stärker gewichtet.
Was gilt als gute prädiktive Kraft?: Q²predict über 0 für die Ziel-Indikatoren und niedrigere PLS-Fehler als der Linearmodell-Benchmark. Schlägt PLS den Benchmark bei allen Indikatoren, ist die prädiktive Kraft hoch, bei den meisten mittel, bei wenigen gering und bei keinem nicht vorhanden.

Weiterführende Literatur

PLSpredict wurde eingeführt in Shmueli, G., Ray, S., Velasquez Estrada, J. M., & Chatla, S. B. (2016). The elephant in the room: predictive performance of PLS models. Journal of Business Research, 69(10), 4552-4564. Praktische Leitlinien in Shmueli, G., Sarstedt, M., Hair, J. F., Cheah, J.-H., Ting, H., Vaithilingam, S., & Ringle, C. M. (2019). Predictive model assessment in PLS-SEM: guidelines for using PLSpredict. European Journal of Marketing, 53(11), 2322-2347. Zum Signifikanztest: Liengaard, B. D., et al. (2021). Prediction: coveted, yet forsaken? Introducing a cross-validated predictive ability test in PLS path modeling. Decision Sciences, 52(2), 362-392.