Q²predict 与盲折法的 Q² 有何区别?

盲折法的 Q² 是由估计数据计算的样本内预测相关性指标。Q²predict 来自样本外 k 折交叉验证,反映模型对未参与训练个案的预测能力。只有后者关乎真正的预测。

PLSpredict 中应使用 RMSE 还是 MAE?

默认使用 RMSE。当预测误差分布明显不对称时改用 MAE,因为 RMSE 对较大误差赋予更高权重。

怎样才算良好的预测力?

目标指标的 Q²predict 大于 0,且 PLS 误差低于线性模型基准。若 PLS 在所有指标上都优于基准,则预测力为高;在多数指标上为中;在少数指标上为低;在任何指标上都未优于则为无。

PLS-SEM 方法

PLSpredict:评估样本外预测力

PLSpredict 评估你的 PLS-SEM 模型对未参与训练的新个案的预测能力,而不是它对已有数据的拟合程度。本页解释它测量什么、如何解读 Q²predict 和线性模型基准、各类指标,以及常见误区,尤其是把样本内拟合误当作真正的预测力。

PLSpredict 测量什么

通常的 PLS-SEM 报告聚焦于样本内指标,如 R² 和盲折法(blindfolding)的 Q²,它们描述模型对用于估计的数据的解释程度,却很少说明模型能否预测新的观测。PLSpredict(Shmueli 等,2016)用样本外预测填补了这一空白。

它使用 k 折交叉验证:将样本分为 k 份,用除一份之外的所有数据训练模型,并预测被留出的那一份。对各折重复这一过程,就能在从不使用某个个案进行训练的前提下,为每个个案得到一个预测值。随后将这些预测与真实值比较,以量化预测力。

计算示例

对于目标构念的三个指标,Q²predict 始终都在 0 以上,而 PLS 的预测误差(RMSE)在三个指标上都低于线性模型基准。由于 PLS 在每个指标上都优于基准,该模型具有高预测力。

如果 PLS 只在三个指标中的一个上优于基准,则应改为报告中等到较低的预测力。

PLS 的 RMSE 在三个指标上都低于线性模型(LM)基准,且 Q²predict 始终在 0 以上:高预测力。

如何解读结果

PLSpredict 针对你的关键目标构念的每个指标,报告 PLS 模型与朴素线性模型(LM)基准两者的 Q²predict 和预测误差(RMSE 或 MAE)。

Q²predict > 0: 该指标的预测优于最朴素的基准(训练样本均值)。取值等于或低于 0 表示该指标没有预测相关性。
PLS < LM(全部): 高预测力:在每个指标上,PLS 的预测误差都低于线性模型基准。
PLS < LM(多数 / 少数): 若 PLS 在多数指标上优于基准为中等预测力,仅在少数指标上则为低预测力。
PLS ≥ LM(无): 无预测力:模型未能优于基准。不要据此做出预测性结论。

在你主要目标构念的指标上比较误差,而非模型中的所有指标。默认使用 RMSE;当预测误差分布明显不对称时改用 MAE。

指标与变体

Q²predict

按指标的样本外预测相关性。大于 0 表示模型的预测优于指标均值。它与盲折法的 Q²(样本内)不同。

RMSE 与 MAE

RMSE(均方根误差)为默认值。当预测误差明显不对称时更宜用 MAE(平均绝对误差),因为 RMSE 对较大的离群误差更敏感。

LM 基准

将每个指标对其直接前因构念的指标做线性回归。PLSpredict 检验基于理论的 PLS 模型是否优于这一简单基准。

CVPAT

交叉验证预测能力检验(Liengaard 等,2021)正式检验模型的平均预测误差是否显著低于某一基准(指标均值或 LM)。

逐步运行 PLSpredict

确定你希望预测其指标的关键目标构念。
选择折数 k(常用 10)和重复次数;折数与重复越多,估计越稳定。
运行 PLSpredict,得到每个指标的 Q²predict 以及 PLS 和 LM 误差。
确认目标指标的 Q²predict 大于 0。
在这些指标上将 PLS 误差与 LM 基准比较,并将预测力分为高、中、低或无。

常见误区

把样本内 R² 或盲折法 Q² 当作预测力的证据。它们描述的是拟合,而非样本外预测。
在比较误差之前跳过 Q²predict > 0 的检查。
当预测误差分布明显不对称时仍使用 RMSE;此时 MAE 更合适。
在所有指标上比较误差,而非在关键目标构念的指标上比较。
在 PLS 模型未能优于简单线性模型基准时,仍宣称具有预测力。

OpenPLS 中的 PLSpredict

OpenPLS 提供一个 PLSpredict 面板,运行 k 折交叉验证,并按指标报告 Q²predict 以及 PLS 模型和线性模型基准两者的 RMSE、MAE 和 MAPE,每项都附有判定。此外单独的 CVPAT 将该比较转化为正式的显著性检验。免费,且在浏览器中运行。

检验你自己模型的预测力

在可视化编辑器中构建模型,一键运行 k 折 PLSpredict。免费,无需安装。

打开 OpenPLS 什么是 PLS-SEM?

常见问题

Q²predict 与盲折法的 Q² 有何区别?: 盲折法的 Q² 是由估计数据计算的样本内预测相关性指标。Q²predict 来自样本外 k 折交叉验证,反映模型对未参与训练个案的预测能力。只有后者关乎真正的预测。
PLSpredict 中应使用 RMSE 还是 MAE?: 默认使用 RMSE。当预测误差分布明显不对称时改用 MAE,因为 RMSE 对较大误差赋予更高权重。
怎样才算良好的预测力?: 目标指标的 Q²predict 大于 0,且 PLS 误差低于线性模型基准。若 PLS 在所有指标上都优于基准,则预测力为高;在多数指标上为中;在少数指标上为低;在任何指标上都未优于则为无。

延伸阅读

PLSpredict 由 Shmueli, G., Ray, S., Velasquez Estrada, J. M., & Chatla, S. B. (2016). The elephant in the room: predictive performance of PLS models. Journal of Business Research, 69(10), 4552-4564 提出。实用指南见 Shmueli, G., Sarstedt, M., Hair, J. F., Cheah, J.-H., Ting, H., Vaithilingam, S., & Ringle, C. M. (2019). Predictive model assessment in PLS-SEM: guidelines for using PLSpredict. European Journal of Marketing, 53(11), 2322-2347。关于显著性检验,参见 Liengaard, B. D., et al. (2021). Prediction: coveted, yet forsaken? Introducing a cross-validated predictive ability test in PLS path modeling. Decision Sciences, 52(2), 362-392。