Entre a ciência bem feita e a fraude deliberada há uma zona cinzenta enorme: a má ciência. São práticas em que ninguém inventa dados, mas o resultado sai distorcido mesmo assim, muitas vezes sem que o próprio pesquisador perceba. É daí que vem a maior parte dos resultados que não se replicam.
Uma analogia
Má ciência é como um cozinheiro que prova o prato, não gosta, acrescenta sal, prova de novo, tira um pedaço queimado, prova de novo, e no fim serve dizendo que a receita “saiu perfeita de primeira”. Nenhum passo foi mentira; o relato final é.
Explicando para uma criança
Às vezes um cientista não mente, mas só conta a parte que deu certo e esquece a parte que deu errado. Aí parece que descobriu algo que não descobriu. Por isso é importante contar tudo, até o que não funcionou.
Ao fim desta lição, você vai conseguir
- Identificar as práticas questionáveis mais comuns.
- Explicar por que acontecem: vieses e incentivos.
- Distinguir erro honesto, má ciência, fraude e pseudociência, e aplicar perguntas de proteção.
Ajuda ter lido: A crise de replicação, Fraudes científicas famosas.
Antes de ler: o que você pensa?
Um pesquisador coleta dados de 40 pessoas, não acha efeito, coleta mais 20 e aí acha p = 0,04. Publica só o resultado final.
Houve fraude?
Ver o que a lição responde
Não, mas houve má ciência: parar a coleta quando dá certo infla falsos positivos. Com pré-registro do tamanho da amostra, isso não aconteceria.
As práticas mais comuns
- Escolha seletiva (cherry picking): relatar os dados, os anos, os participantes ou os estudos que confirmam e deixar de fora os que contrariam. Um gráfico de temperatura que começa num ano excepcionalmente quente “mostra” que o aquecimento parou.
- HARKing: formular a hipótese depois de ver os dados e apresentá-la como se fosse prévia. Qualquer conjunto de dados tem algum padrão por acaso; prever o padrão antes é o que torna o teste um teste.
- P-hacking e jardim de caminhos que se bifurcam: testar muitas análises, excluir “outliers” convenientes, parar a coleta quando dá certo. Cada decisão parece razoável; o conjunto fabrica significância.
- Teimosia diante da refutação: salvar a teoria com hipóteses auxiliares que não preveem nada de novo (o programa degenerativo de Lakatos). O caso do N-raio, em 1903: o físico René Blondlot “viu” uma radiação nova que ninguém mais via; quando um visitante retirou o prisma do aparelho às escondidas, Blondlot continuou vendo os raios. Ele nunca aceitou a refutação.
- Citação seletiva: citar só os estudos a favor, ou citar como apoio estudos que dizem outra coisa. Levantamentos mostram que boa parte das citações em artigos distorce a fonte.
- Amostras pequenas e poder estatístico baixo: com poucos participantes, resultados significativos tendem a exagerar o efeito, e os negativos não aparecem.
- Confundir correlação com causa nas conclusões e nos títulos, mesmo quando os métodos só permitem associação.
- Gráficos enganosos: eixo que não começa no zero, escalas truncadas, duas escalas no mesmo gráfico.
- Fatiar resultados (salami slicing): dividir um estudo em vários artigos para inflar o currículo, o que também infla a aparência de evidência.
- Revisão por pares de fachada: revistas predatórias que publicam qualquer coisa mediante pagamento.
Por que acontece
Raramente por maldade. Os motivos são os vieses de todos (confirmação, raciocínio motivado), somados a incentivos ruins: carreiras que dependem de publicar muito e de resultados positivos e chamativos, verbas que seguem o sucesso, e pouca recompensa para replicar ou publicar o que não deu certo. Feynman chamou de “ciência de culto à carga” a pesquisa que imita a forma da ciência sem a honestidade de relatar tudo o que poderia invalidar o resultado.
Má ciência, fraude e pseudociência
| Intenção | Como se corrige | |
|---|---|---|
| Erro honesto | Nenhuma | Replicação e crítica; o autor corrige |
| Má ciência | Em geral inconsciente; às vezes conveniente | Pré-registro, dados abertos, replicação, mudar incentivos |
| Fraude | Deliberada | Investigação, retratação, punição |
| Pseudociência | Fora do sistema: não aceita correção | Não se corrige por dentro; cabe à demarcação e à educação |
Como reconhecer e como se proteger
- O estudo foi pré-registrado? Os dados estão disponíveis?
- Que outros resultados os autores poderiam ter obtido com os mesmos dados, e por que escolheram esse?
- Os estudos contrários foram citados e discutidos?
- O efeito é grande e surpreendente com amostra pequena? Desconfie.
- A conclusão vai além do que o método permite?
- Como pesquisador: decida a análise antes de ver os dados, publique o que não deu certo e peça a alguém que tente derrubar o resultado antes de submetê-lo.
Para guardar
- Cherry picking, HARKing, p-hacking, teimosia, citação seletiva e gráficos enganosos distorcem sem inventar dados.
- A causa é a soma de vieses com incentivos ruins.
- Pré-registro, dados abertos e replicação são as defesas; fora da ciência, a habilidade de reconhecer é a mesma.
Para pensar
Em que situação você já “parou de coletar quando deu certo” num argumento seu?
Teste rápido · 1 de 3
Aplique · 2 de 3
Confira · 3 de 3