Entenda o que é e como usar o p-valor

Entenda o que é e como usar o p-valor

Recentemente a revista Basic and Applied Social Psychology baniu o p-valor de suas publicações alegando que muitos pesquisadores estavam usando o fato de seus resultados terem p-valores abaixo de 0.05 para justificar pesquisas de má qualidade.

Primeiramente achei um absurdo, mas depois acabei concordando com a proposta. Para que você possa tirar suas próprias conclusões, segue um resuminho do que é e como utilizar o p-valor da maneira correta.

p-valor


O que é p-valor?

O significado de p-valor em palavras é a probabilidade de observar algo mais extremo do que já observei, dado que minha hipótese nula é verdadeira. O trem observado em questão é a estatística usada para testar a hipótese.

Traduzindo para um exemplo: suponha que você tem certeza absoluta que a sua moeda é não viciada, ou seja, você está assumindo que sua hipótese nula de que a chance de dar cara ou coroa é de 50% para ambas. Daí você resolve testar isso lançando essa mesma moeda 30 vezes (boa sorte!). Em seguida você observou 27 caras e apenas 3 coroas. Estranho, né? Qual a probabilidade de eu obter 27 ou mais caras em 30 lançamentos quando a probabilidade de cara era de 50%? Baixa. Bem baixa… Essa probabilidade é o p-valor.

Interpretando o resultado de um p-valor

Isso é bem simples. P-valor baixo é indício de que sua hipótese nula não é verdadeira e evidência a favor da alternativa. Mas cuidado! Apenas em hipóteses completares como t igual a zero contra t diferente de zero é que a rejeição de uma implica na verdade da outra. Fora isso, o p-valor é um resultado que depende da formulação tanto da hipótese nula quanto da hipótese verdadeira.

Afinal o que é um p-valor significativo?

Aí é que vem o problema e o que leva muitos pesquisadores a tirarem conclusões precipitadas. A proposta de Fisher em meados de 1920 era de que o p-valor não fosse um teste definitivo. A ideia de significativo era mais simples do que se imagina: merece ser investigado. Ou seja, realizo um experimento, obtenho um p-valor significativo e daí tenho evidências para poder pesquisar mais a fundo.

P-valor é uma ferramenta que lhe ajuda a elaborar conclusões sobre seu experimento e não toda a conclusão. Junto com ele deve vir um experimento bem executado, testes mais elaborados, análise do poder do teste, etc.

O uso incorreto do p-valor

Na época em que Fisher propos o p-valor havia uma discussão com Neyman e Pearson sobre como deveria ser feita a análise de dados. A comunidade científica cansada de esperar os dois lados chegarem a uma conclusão, o que provavelmente jamais aconteceria, resolveu adotar o p-valor pela sua simplicidade.

Acontece que parte dessa comunidade se sustentou tanto em cima dele que o objetivo final da pesquisa passou a ser encontrar um p-valor significativo. Encontrando esse valor todos os seus problemas estariam resolvidos e poderia publicar. Já me cansei de ver pesquisadores revirando todos os seus dados coletados em busca de um p<0.05, os chamados p-hackers.

E significativo não dá a noção do efeito obtido. Por exemplo, um estudo publicado mostrou que casais que se conheceram pela internet tem maior propensão de serem mais felizes em seu relacionamento com um p < 0,001. Quando o autor do estudo viu o resultado deve ter exclamado um "uau!" bem alto. Porém, em uma escala de no máximo 7, casais que se conheceram pela internet obtiveram uma média de 5,64 contra 5,48 dos demais. Uma diferença de 0,16... Onde está o resultado tão significativo assim?

Como disse o tio Ben ao Peter Parker: com grandes poderes vem grandes responsabilidades. Testes muito poderosos detectam a menor das diferenças e pode levar a conclusões não tão significativas. Use o p-valor sabiamente.

Dúvidas? Pergunte no Twitter

Você pode fazer sua pergunta para nós do Blog Manipulando Dados no Twitter. Basta clicar no botão abaixo. Não esqueça de manter o @MnplndDados para sua pergunta chegar até nós.



 

8 comentários

  1. Edu disse:

    Este comentário foi removido pelo autor.

  2. Edu disse:

    Como eu deveria interpretar os resultados do estudo dos casais internet? Casais que se conhecem pela internet tendem a ser mais felizes… mas só um pouquinho mais felizes?

  3. Gabriel F. disse:

    Oi, Edu! Seria isso mesmo, mas esse exemplo foi para mostrar que um p-valor "muito significativo", como o 0.001 observado, nem sempre implica em efeito muito relevante.

    Vou dar um outro exemplo: Suponha que você testou e observou que sua moeda é viciada com um p < 0.0001. Ao olhar os efeitos viu que ela tem 49,5% de cara e 51,5% de coroa. Na prática ainda tanto faz vc apostar em cara ou coroa. Deu pra entender?

    Abraços e continua participando do nosso blog =)

  4. Edu disse:

    Este comentário foi removido pelo autor.

  5. Edu disse:

    Valeu, Gabriel. No caso das moedas, a soma dá 101%, mas eu entendi o raciocínio. Estou acompanhando o blog via Facebook.

  6. Ana Luisa disse:

    As Planilhas para teste Chi Quadrado de Pearson em Excel disponibilizadas estão dando erro no p-valor. A fórmula inserida é: =1-_xlfn.CHISQ.DIST(C20;1;VERDADEIRO). Tem algum erro na fórmula? Como devo proceder para obter o resultado?
    Abraços e obrigada

    • Gabriel Franco disse:

      Oi, Ana Luisa.

      Fui até conferir se estava tudo certo com a planilha e as fórmulas estão corretas. Inclusive, essa fórmula que você está me apresentando é diferente das encontradas nas planilhas do blog. O correto seria:

      = 1-CHISQ.DIST(C20,1,TRUE)

      Você pode consertar a fórmula na sua planilha por essa disponibilizada acima.

      Qual das duas versões você baixou? A .xls ou a .xlsx? E qual versão do Excel você está utilizando. Respondendo a essas perguntas você pode me ajudar a ajudar futuros leitores com problemas parecidos 🙂

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *