Q²predict
指標ごとの標本外の予測妥当性。0 を超えると、モデルは指標平均よりよく予測しています。標本内であるブラインドフォールディングの Q² とは別物です。
PLS-SEM の手法
PLSpredict:標本外の予測力を評価する
PLSpredict は、PLS-SEM モデルが、学習に使っていない新しいケースをどれだけうまく予測できるかを評価します。すでに持っているデータへの適合度ではありません。このページでは、何を測るのか、Q²predict と線形モデルのベンチマークの読み方、指標の種類、そしてよくある落とし穴、とりわけ標本内の適合度を本当の予測力と取り違えることを説明します。
PLSpredict が測るもの
通常の PLS-SEM の報告は、R² やブラインドフォールディングの Q² といった標本内の指標に注目します。これらは、推定に使ったデータをモデルがどれだけ説明するかを表しますが、新しい観測を予測できるかについてはほとんど語りません。PLSpredict(Shmueli et al. 2016)は、標本外予測でこの隙間を埋めます。
k 分割交差検証を使います。標本を k 個に分け、1 つを除いた残りでモデルを学習し、除いた部分を予測します。これを各分割について繰り返すと、そのケースを学習に使わないまま、すべてのケースについて予測値が得られます。これらの予測を実測値と比較して、予測力を定量化します。
計算例
ターゲット構成概念の3つの指標について、Q²predict はいずれも 0 を上回り、PLS の予測誤差(RMSE)は3つとも線形モデルのベンチマークより小さくなります。PLS がどの指標でもベンチマークを上回るため、このモデルの予測力は高いといえます。
PLS が3つのうち1つだけでベンチマークを上回った場合は、代わりに中程度から低い予測力と報告します。
結果の読み方
PLSpredict は、主要なターゲット構成概念の各指標について、PLS モデルと素朴な線形モデル(LM)ベンチマークの両方の Q²predict と予測誤差(RMSE または MAE)を報告します。
- Q²predict > 0
- その指標は、最も素朴なベンチマーク(学習標本の平均)よりよく予測されています。0 以下の値は、その指標に予測妥当性がないことを意味します。
- PLS < LM(すべて)
- 高い予測力:PLS の予測誤差が、すべての指標で線形モデルのベンチマークより小さい。
- PLS < LM(大半 / 一部)
- PLS が大半の指標でベンチマークを上回れば中程度、一部だけなら低い予測力。
- PLS ≥ LM(なし)
- 予測力なし:モデルはベンチマークを上回りません。これを根拠に予測の主張をしないでください。
誤差は、モデル内のすべての指標ではなく、主要なターゲット構成概念の指標で比較してください。既定では RMSE を使い、予測誤差の分布が強く非対称なときは MAE に切り替えます。
指標と種類
RMSE と MAE
RMSE(二乗平均平方根誤差)が既定です。予測誤差が強く非対称なときは MAE(平均絶対誤差)が望ましく、RMSE は大きな外れ誤差に敏感だからです。
LM ベンチマーク
各指標を、その直接の先行構成概念の指標に回帰させた線形回帰です。PLSpredict は、理論に基づく PLS モデルがこの単純なベンチマークを上回るかを問います。
CVPAT
交差検証に基づく予測能力検定(Liengaard et al. 2021)は、モデルの平均予測誤差がベンチマーク(指標平均または LM)より有意に小さいかを正式に検定します。
PLSpredict を段階的に実行する
- 予測したい指標を持つ、主要なターゲット構成概念を特定します。
- 分割数 k(10 が一般的)と反復回数を選びます。分割と反復が多いほど推定は安定します。
- PLSpredict を実行し、各指標の Q²predict と PLS・LM の誤差を取得します。
- ターゲット指標について Q²predict が 0 を超えていることを確認します。
- それらの指標で PLS の誤差を LM ベンチマークと比較し、予測力を高・中・低・なしに分類します。
よくある落とし穴
- 標本内の R² やブラインドフォールディングの Q² を予測力の証拠として扱うこと。これらは適合度を表し、標本外予測ではありません。
- 誤差を比較する前に Q²predict > 0 の確認を飛ばすこと。
- 予測誤差の分布が強く非対称なときに RMSE を使うこと。そこでは MAE が適切です。
- 主要なターゲット構成概念の指標ではなく、すべての指標で誤差を比較すること。
- PLS モデルが単純な線形モデルのベンチマークを上回らないのに、予測力を主張すること。
OpenPLS の PLSpredict
OpenPLS には、k 分割交差検証を実行する PLSpredict パネルがあり、指標ごとに Q²predict と、PLS モデルおよび線形モデルのベンチマークの RMSE・MAE・MAPE を、それぞれの判定とともに報告します。別途 CVPAT が、その比較を正式な有意性検定にします。無料で、ブラウザ上で動作します。
自分のモデルの予測力を検証する
ビジュアルエディタでモデルを構築し、k 分割の PLSpredict をワンクリックで実行できます。無料、インストール不要。
よくある質問
- Q²predict とブラインドフォールディングの Q² の違いは?
- ブラインドフォールディングの Q² は、推定データから計算される標本内の予測妥当性の指標です。Q²predict は標本外の k 分割交差検証から得られ、学習に使っていないケースをモデルがどれだけ予測できるかを反映します。本当の予測に関わるのは後者だけです。
- PLSpredict では RMSE と MAE のどちらを使うべき?
- 既定は RMSE です。予測誤差の分布が強く非対称なときは MAE に切り替えてください。RMSE は大きな誤差をより重く評価するためです。
- 良い予測力とは何?
- ターゲット指標で Q²predict が 0 を超え、PLS の誤差が線形モデルのベンチマークより小さいことです。PLS がすべての指標でベンチマークを上回れば高い予測力、大半なら中程度、一部なら低い、いずれも上回らなければ予測力なしです。
参考文献
PLSpredict は Shmueli, G., Ray, S., Velasquez Estrada, J. M., & Chatla, S. B. (2016). The elephant in the room: predictive performance of PLS models. Journal of Business Research, 69(10), 4552-4564 で提案されました。実務的な指針は Shmueli, G., Sarstedt, M., Hair, J. F., Cheah, J.-H., Ting, H., Vaithilingam, S., & Ringle, C. M. (2019). Predictive model assessment in PLS-SEM: guidelines for using PLSpredict. European Journal of Marketing, 53(11), 2322-2347 にあります。有意性検定については Liengaard, B. D., et al. (2021). Prediction: coveted, yet forsaken? Introducing a cross-validated predictive ability test in PLS path modeling. Decision Sciences, 52(2), 362-392 を参照してください。