Em 2015, um consórcio liderado por Brian Nosek tentou repetir 100 estudos publicados em revistas importantes de psicologia. Só cerca de 36% das replicações encontraram resultados estatisticamente significativos, contra 97% dos originais, e os efeitos replicados eram, em média, metade dos originais. Era a confirmação de um problema que já se suspeitava: a crise de replicação.
Uma analogia
A crise de replicação é como descobrir que muitas receitas famosas só deram certo uma vez, na cozinha do autor. Quando outros cozinheiros tentaram, o bolo não cresceu. A solução foi exigir receitas detalhadas antes de cozinhar e testar em várias cozinhas.
Explicando para uma criança
Quando um cientista descobre algo, outros cientistas tentam fazer igual para ver se dá o mesmo resultado. Descobriram que muitas descobertas não davam certo de novo, e agora estão mudando o jeito de trabalhar para isso acontecer menos.
Ao fim desta lição, você vai conseguir
- Explicar o que é replicação e os números da crise.
- Descrever as causas: viés de publicação, p-hacking, HARKing, amostras pequenas e incentivos.
- Apresentar as respostas da ciência aberta e por que a crise não justifica o negacionismo.
Ajuda ter lido: Estatística para entender ciência, Vieses cognitivos e o método.
Antes de ler: o que você pensa?
Um pesquisador coleta dados, testa 15 formas de análise e publica a única que deu significativa, sem mencionar as outras.
Ele fraudou? O resultado é confiável?
Ver o que a lição responde
Talvez sem má-fé, mas é p-hacking: com 15 tentativas, um resultado significativo por acaso é esperado. O pré-registro teria evitado o problema.
O que é replicar
Replicar é refazer um estudo, de preferência com outra equipe e outra amostra, para ver se o resultado se repete. É o teste mais importante de um achado científico, porque elimina acasos e erros locais. A crise mostrou que esse teste era raro, e que, quando feito, muitos resultados falhavam.
Onde aconteceu
A psicologia social foi o epicentro (efeitos como o “ego depletion” e a “pose de poder” perderam força em replicações grandes), mas o problema aparece na medicina, na economia e na biologia. Em 2012, pesquisadores da empresa Amgen relataram ter conseguido confirmar apenas 6 de 53 estudos marcantes de biologia do câncer.
As causas
- Viés de publicação: revistas preferem resultados positivos e novos. Estudos que não acham nada ficam na gaveta (o “problema da gaveta”), e a literatura fica enviesada para efeitos que não existem.
- p-hacking: testar várias análises, excluir alguns dados, parar a coleta quando dá certo, até chegar a p < 0,05. Muitas vezes sem má-fé: são os “jardins de caminhos que se bifurcam”, de Andrew Gelman.
- HARKing: formular a hipótese depois de ver os resultados e apresentá-la como se fosse prévia.
- Amostras pequenas: com poucos participantes, resultados significativos tendem a exagerar o efeito.
- Incentivos: carreiras dependem de publicar muito e de achados chamativos.
Em 2005, John Ioannidis publicou um artigo com o título provocador “Por que a maioria dos resultados de pesquisa publicados é falsa”, mostrando como esses fatores se combinam.
As respostas: ciência aberta
- Pré-registro: registrar hipótese e análise antes de coletar os dados.
- Relatórios registrados: a revista aceita o artigo pelo desenho, antes dos resultados, o que acaba com o viés de publicação.
- Dados e código abertos para que outros confiram.
- Replicações em larga escala com muitos laboratórios.
- Amostras maiores e foco em tamanho de efeito.
Crise ou autocorreção?
A crise foi descoberta pela própria ciência, com métodos científicos, e levou a reformas. Para muitos, é o melhor exemplo de que a ciência se corrige. Mas ela também é um alerta: um único estudo, ainda mais com amostra pequena e efeito surpreendente, vale pouco antes de ser replicado.
Para guardar
- Replicar é o teste mais importante, e foi raro por décadas.
- Viés de publicação, p-hacking e amostras pequenas inflaram falsos positivos.
- Pré-registro e ciência aberta são a autocorreção em ação.
Para pensar
Que “fato científico” curioso que você conhece veio de um único estudo? Ele foi replicado?
Teste rápido · 1 de 3
Aplique · 2 de 3
Confira · 3 de 3