Falácias comuns sobre o valor de P

 

Vimos na publicação anterior o que representa o valor de P. A probabilidade de encontrar um resultado ou mais extremo, considerando a H0 como verdadeira. Porém, devido a esse conceito não ser muito bem compreendido, e talvez, não muito intuitivo, alguns professores acabam tentando explicar o conceito e aplicabilidade do valor de P erroneamente.

Vou abordar aqui algumas falácias que são atribuídas ao conceito de Valor de P. Mas antes, vamos testar seus conhecimentos. Diante das frases abaixo, identifique a que representa corretamente o significado de valor de P.

De todas as afirmativas expostas na tabela, a única que podemos considerar como verdadeira é a 4 - A probabilidade dos resultados encontrados, considerando H0 verdadeira, é <0,05. O restante são todas falácias atribuídas ao valor de P.

Falácia 1: A probabilidade do acaso.

Quando o computador calcula o valor de P, ele já está assumindo que a H0 é verdadeira. Diante disso, a probabilidade de ocorrência de qualquer valor ser devido ao acaso é de 100%. Então não faz sentido dizer que o valor encontrado ser devido ao acaso.

Falácia 2: A probabilidade de H0 ser verdadeira é <0,05.

O Valor de P trabalha dentro da noção de H0 sendo supostamente verdadeira, ele não mensura a probabilidade de H0 está correta nem a da hipótese alternativa (H1) ser verdadeira. O valor de P não mensura a probabilidade de qualquer hipótese está correta. O pensamento Bayesiano é o que mais pode se aproximar disso.

Falácia 3: A probabilidade de que um erro Tipo I tenha sido cometido ao rejeitar H0 é <0,05.

A probabilidade de rejeitar a H0, quando ela é verdadeira (erro tipo I) é mensurada pelo nível de significância (alfa). O valor de P é um ponto onde se encontra a distribuição dos dados da amostra.

Falácia 4: Falácia da replicabilidade.

Os dados apresentados pelo valor de P referem-se à amostra e não tem robustez para afirmar nada em relação aos resultados de pesquisas subsequentes.

Falácia 5: Falácia da validade.

Esta falácia refere-se à interpretação errônea de que 100 - p é a probabilidade de que H1 seja verdadeira. Por exemplo, se p <0,05, então a interpretação de que H1 é verdadeiro com uma probabilidade> 0,95 exemplifica essa falsidade. O valor de P não testa a probabilidade de uma hipótese ser verdadeira ou falsa.

Outras falácias comuns:

Falácia da magnitude – Um valor de P significativo pode não representar uma diferença muito relevante na prática. Um n amostral muito grande pode favorecer a ocorrência de um valor de P significante, porém sem significado clínico. Dessa forma, medidas de efeito como o intervalo de confiança devem ser acompanhadas do valor de P.

Falácias das hipóteses (atribui esse nome rs) – É a falácia que diz que ao rejeitarmos a H0, assumimos que H1 é verdadeira. Não há como mensurar certeza de hipóteses. O que há são probabilidades! Além disso, bons estudos metodologicamente bem feitos devem ser executados e não somente olhar para o valor de P.

Falácia zero – Falhar em rejeitar H0 não mostra que o efeito não exista, pois o teste de significância não mensura o 0%. Afinal de contas, como dizia Sagan “ Ausência de evidência não é a evidência da ausência”.

Falácia da qualidade – Um estudo que apresenta significância estatística não demonstra que ele foi bem conduzido metodologicamente. Um projeto de estudo ruim ou um erro de amostragem podem levar à rejeição incorreta de H0 ou a um erro Tipo I.

Falácia da qualidade inversa - É a crença errônea de que a falta de significância estatística marca o estudo como ruim. Embora métodos inadequados ou pequenos tamanhos de amostra em combinação com baixo poder estatístico possam causar erros do Tipo II, a falha em rejeitar H0 pode ser um resultado informativo.

Falácia da santificação - Refere ao pensamento dicotômico sobre os valores de P. Se alfa = 0,05, então um resultado em que p = 0,049 versus um em que p = 0,051 são praticamente idênticos em termos de resultados de teste de significância. Mas um pesquisador pode fazer um grande alarme sobre o primeiro, pois é “significativo”. Mas ignora ou desconsidera o segundo. Sabemos que em se tratando de probabilidades, 0,051 e 0,049 são praticamente idênticos. Vale ressaltar que o alfa=0,05 é atribuído aleatoriamente, portanto, verificar os resultados de um estudo somente pelo valor de P não é muito interessante. Pois podemos ver coisas que podem não existir.

 

Referência: KLINE, Rex B. Becoming a behavioral science researcher: A guide to producing research that matters. Guilford Press, 2008.

BADENES-RIBERA, Laura et al. Misconceptions of the p-value among Chilean and Italian academic psychologists. Frontiers in Psychology, v. 7, p. 1247, 2016.