Qual é a diferença entre Q²predict e o Q² do blindfolding?

O Q² do blindfolding é uma medida na amostra de relevância preditiva calculada a partir dos dados de estimação. O Q²predict vem da validação cruzada de k-fold fora da amostra e reflete quão bem o modelo prevê casos com os quais não foi treinado. Apenas o segundo diz respeito à previsão genuína.

O que conta como bom poder preditivo?

Q²predict acima de 0 para os indicadores alvo e erros PLS menores que o benchmark de modelo linear. Se o PLS supera o benchmark em todos os indicadores, o poder preditivo é alto; na maioria, médio; em poucos, baixo; e em nenhum, inexistente.

MÉTODO PLS-SEM

PLSpredict: avaliar o poder preditivo fora da amostra

O PLSpredict avalia quão bem seu modelo PLS-SEM prevê casos novos com os quais não foi treinado, em vez de quão bem se ajusta aos dados que você já tem. Esta página explica o que ele mede, como ler o Q²predict e o benchmark de modelo linear, as variantes de métrica e os erros comuns, sobretudo confundir o ajuste na amostra com o poder preditivo real.

O que o PLSpredict mede

O reporte habitual em PLS-SEM foca em medidas na amostra como R² e o Q² do blindfolding, que descrevem quão bem o modelo explica os dados usados para estimá-lo. Dizem pouco sobre se o modelo consegue prever novas observações. O PLSpredict (Shmueli et al. 2016) preenche essa lacuna com a previsão fora da amostra.

Ele usa validação cruzada de k-fold: a amostra é dividida em k partes, o modelo é treinado em todas menos uma e a parte retida é prevista. Repetir isso ao longo das partes produz um valor previsto para cada caso sem nunca usar esse caso para treinar o modelo. Essas previsões são então comparadas com os valores reais para quantificar o poder preditivo.

Um exemplo resolvido

Para os três indicadores do constructo alvo, o Q²predict se mantém acima de 0 em todos, e o erro de previsão do PLS (RMSE) é menor que o benchmark de modelo linear nos três. Como o PLS supera o benchmark em cada indicador, o modelo tem poder preditivo alto.

Se o PLS tivesse superado o benchmark em apenas um dos três, você relataria em vez disso poder preditivo médio ou baixo.

O RMSE do PLS fica abaixo do benchmark de modelo linear (LM) nos três indicadores, e o Q²predict se mantém acima de 0: poder preditivo alto.

Como ler o resultado

O PLSpredict informa, para cada indicador do seu constructo alvo principal, um Q²predict e um erro de previsão (RMSE ou MAE) tanto para o modelo PLS quanto para um benchmark ingênuo de modelo linear (LM).

Q²predict > 0: O indicador é previsto melhor que o benchmark mais ingênuo (a média da amostra de treino). Um valor igual ou abaixo de 0 significa nenhuma relevância preditiva para esse indicador.
PLS < LM (todos): Poder preditivo alto: o erro de previsão do PLS é menor que o benchmark de modelo linear em todos os indicadores.
PLS < LM (a maioria / poucos): Poder preditivo médio se o PLS supera o benchmark na maioria dos indicadores, baixo se apenas em poucos.
PLS ≥ LM (nenhum): Sem poder preditivo: o modelo não supera o benchmark. Não faça afirmações preditivas a partir dele.

Compare os erros nos indicadores do seu constructo alvo principal, não em todos os indicadores do modelo. Use RMSE por padrão e mude para MAE quando a distribuição dos erros de previsão for muito assimétrica.

Métricas e variantes

Q²predict

Relevância preditiva fora da amostra por indicador. Acima de 0 significa que o modelo prevê melhor que a média do indicador. Não é o mesmo que o Q² do blindfolding, que é na amostra.

RMSE vs MAE

RMSE (raiz do erro quadrático médio) é o padrão. MAE (erro absoluto médio) é preferível quando os erros de previsão são muito assimétricos, porque o RMSE é mais sensível a grandes erros atípicos.

Benchmark LM

Uma regressão linear de cada indicador sobre os indicadores dos seus constructos antecedentes diretos. O PLSpredict pergunta se o modelo PLS baseado na teoria supera esse benchmark simples.

CVPAT

O Cross-Validated Predictive Ability Test (Liengaard et al. 2021) testa formalmente se o erro de previsão médio do modelo é significativamente menor que um benchmark (média do indicador ou LM).

Executar o PLSpredict passo a passo

Identifique o constructo alvo principal cujos indicadores você quer prever.
Escolha o número de partes k (10 é comum) e o número de repetições; mais partes e repetições dão estimativas mais estáveis.
Execute o PLSpredict para obter Q²predict e os erros PLS e LM de cada indicador.
Verifique que Q²predict esteja acima de 0 para os indicadores alvo.
Compare o erro PLS com o benchmark LM nesses indicadores e classifique o poder preditivo como alto, médio, baixo ou nulo.

Erros comuns

Tratar o R² na amostra ou o Q² do blindfolding como evidência de poder preditivo. Eles descrevem o ajuste, não a previsão fora da amostra.
Pular a verificação Q²predict > 0 antes de comparar erros.
Usar RMSE quando a distribuição dos erros de previsão é muito assimétrica; ali o MAE é mais apropriado.
Comparar erros em todos os indicadores em vez dos do constructo alvo principal.
Afirmar poder preditivo quando o modelo PLS não supera o simples benchmark de modelo linear.

PLSpredict no OpenPLS

O OpenPLS inclui um painel PLSpredict que executa validação cruzada de k-fold e informa, por indicador, Q²predict e o RMSE, MAE e MAPE tanto do modelo PLS quanto do benchmark de modelo linear, com um veredito para cada um. Um CVPAT à parte transforma a comparação em um teste de significância formal. Grátis e roda no navegador.

Teste o poder preditivo do seu próprio modelo

Construa seu modelo no editor visual e execute o PLSpredict de k-fold com um clique. Grátis, sem instalação.

Abrir o OpenPLS O que é PLS-SEM?

Perguntas frequentes

Qual é a diferença entre Q²predict e o Q² do blindfolding?: O Q² do blindfolding é uma medida na amostra de relevância preditiva calculada a partir dos dados de estimação. O Q²predict vem da validação cruzada de k-fold fora da amostra e reflete quão bem o modelo prevê casos com os quais não foi treinado. Apenas o segundo diz respeito à previsão genuína.
Devo usar RMSE ou MAE no PLSpredict?: Use RMSE por padrão. Mude para MAE quando a distribuição dos erros de previsão for muito assimétrica, já que o RMSE pondera mais os erros grandes.
O que conta como bom poder preditivo?: Q²predict acima de 0 para os indicadores alvo e erros PLS menores que o benchmark de modelo linear. Se o PLS supera o benchmark em todos os indicadores, o poder preditivo é alto; na maioria, médio; em poucos, baixo; e em nenhum, inexistente.

Leitura adicional

O PLSpredict foi introduzido em Shmueli, G., Ray, S., Velasquez Estrada, J. M., & Chatla, S. B. (2016). The elephant in the room: predictive performance of PLS models. Journal of Business Research, 69(10), 4552-4564. Diretrizes práticas estão em Shmueli, G., Sarstedt, M., Hair, J. F., Cheah, J.-H., Ting, H., Vaithilingam, S., & Ringle, C. M. (2019). Predictive model assessment in PLS-SEM: guidelines for using PLSpredict. European Journal of Marketing, 53(11), 2322-2347. Para o teste de significância: Liengaard, B. D., et al. (2021). Prediction: coveted, yet forsaken? Introducing a cross-validated predictive ability test in PLS path modeling. Decision Sciences, 52(2), 362-392.