Quase toda ciência empírica passa pela estatística. Você não precisa saber fazer as contas para entender os conceitos, e eles evitam boa parte dos enganos na leitura de estudos e notícias.
Uma analogia
Ler um estudo sem estatística é como ler a previsão do tempo sem saber o que significa “70% de chance de chuva”. Os números estão lá, mas só fazem sentido quando você sabe o que eles medem, e o que não medem.
Explicando para uma criança
Se você quer saber de que sabor de sorvete as crianças da escola gostam mais, não precisa perguntar a todas: pode perguntar a algumas, desde que escolha bem quem, e não só os seus amigos.
Ao fim desta lição, você vai conseguir
- Explicar amostra, margem de erro e intervalo de confiança.
- Interpretar corretamente o p-valor e diferenciá-lo do tamanho do efeito.
- Reconhecer armadilhas: múltiplas comparações, sobrevivência, regressão à média e taxa de base.
Ajuda ter lido: Correlação não é causalidade.
Antes de ler: o que você pensa?
Um livro de negócios analisa dez empresas de sucesso e conclui que todas tinham CEOs que acordavam às 5h.
Que armadilha estatística aparece aqui?
Ver o que a lição responde
Viés de sobrevivência: faltam as empresas cujos CEOs também acordavam às 5h e faliram. Sem comparação, o hábito não explica nada.
Amostra e população
Raramente se estuda todo mundo. Estuda-se uma amostra e se tenta generalizar para a população. Isso funciona se a amostra for representativa, idealmente escolhida por sorteio. Uma pesquisa feita só com quem segue um perfil numa rede social não representa o país, por maior que seja.
Margem de erro e intervalo de confiança
Como a amostra é só uma parte, o resultado tem incerteza. Uma pesquisa que dá 40% com margem de erro de 3 pontos indica que o valor real provavelmente está entre 37% e 43%. Na ciência, isso aparece como intervalo de confiança. Intervalos largos indicam pouca precisão; quando dois intervalos se sobrepõem muito, a diferença pode não ser real.
O p-valor e a significância
O p-valor responde: se não houvesse efeito nenhum, qual seria a chance de ver um resultado tão extremo quanto este, ou mais? Por convenção, p menor que 0,05 é chamado de “estatisticamente significativo”.
O p-valor é muito mal entendido. Ele não é:
- A probabilidade de a hipótese ser verdadeira.
- A probabilidade de o resultado ser obra do acaso.
- Uma medida do tamanho ou da importância do efeito.
Em 2016, a Associação Americana de Estatística publicou um alerta: decisões não devem se basear só em p < 0,05.
Tamanho do efeito
Com uma amostra enorme, até diferenças minúsculas ficam “significativas”. Um remédio que reduz a pressão em 0,5 mmHg pode ter p = 0,001 e não ter importância clínica nenhuma. Por isso a pergunta mais útil é: quão grande é o efeito, e com que precisão foi medido?
Armadilhas comuns
- Múltiplas comparações: teste vinte coisas e, por acaso, uma dará p < 0,05. A tirinha da xkcd sobre balas de goma verdes e acne ilustra isso.
- Viés de sobrevivência: olhar só os casos que “sobreviveram” a um filtro. Analisar só empresas de sucesso para descobrir o segredo do sucesso ignora as que fizeram o mesmo e faliram.
- Regressão à média: resultados extremos tendem a ser seguidos por resultados mais próximos da média. O aluno que tirou a pior nota tende a melhorar na prova seguinte, com ou sem castigo.
- Média que esconde: a renda média de um bairro sobe muito se um bilionário se muda para lá; a mediana mostra melhor o morador típico.
Para guardar
- Amostra boa é representativa; tamanho não compensa viés.
- p-valor não é probabilidade da hipótese nem tamanho do efeito.
- Desconfie de múltiplas comparações, de sobreviventes e de extremos que “melhoram sozinhos”.
Para pensar
Que número você viu esta semana que parecia impressionante? Ele vinha com margem de erro ou tamanho de efeito?
Teste rápido · 1 de 3
Aplique · 2 de 3
Confira · 3 de 3