“Tem estudo” virou argumento. Mas há milhões de artigos publicados por ano, de qualidade muito desigual, e saber onde procurar e como julgar o que se acha é uma habilidade própria. Esta lição reúne os pontos práticos, muitos deles repetidos por quem ensina prática baseada em evidências no Brasil, como o fisioterapeuta e pesquisador Leonardo Costa, da UNICID e do PEDro.
Uma analogia
Procurar evidência é como procurar água potável. O Google Acadêmico é o rio inteiro, com tudo o que cai nele. O PubMed é a rede de abastecimento, que leva muita coisa boa e alguma ruim. Revisões sistemáticas de qualidade são o filtro na torneira. E uma garrafa com rótulo bonito (Qualis, Nobel, universidade) não garante o que tem dentro.
Explicando para uma criança
Nem tudo que está escrito num artigo é verdade, mesmo quando parece sério. Existem lugares melhores e piores para procurar, e é preciso olhar como o estudo foi feito, não só onde foi publicado ou quem assinou.
Ao fim desta lição, você vai conseguir
- Escolher a base de dados certa para cada pergunta e saber o que cada uma não garante.
- Distinguir revisão narrativa, sistemática e metanálise; reconhecer revistas predatórias e o que o Qualis é.
- Evitar os erros de leitura: p-valor como prova, extrapolar de animais, coorte como intervenção, gráfico sem tabela, Nobel como argumento.
Ajuda ter lido: Níveis de evidência, Estatística para entender ciência.
Antes de ler: o que você pensa?
Um colega defende um tratamento com “um artigo numa revista A1 do Qualis, com p < 0,05, publicado no PubMed”.
Esses três selos bastam?
Ver o que a lição responde
Não: Qualis é classificação administrativa por área, PubMed indexa sem julgar e p < 0,05 não mede tamanho nem relevância. Falta saber o desenho, a amostra, o efeito e se foi replicado.
Onde procurar
- PubMed/MEDLINE: a maior base da área da saúde. Estar lá não é selo de qualidade: a base indexa revistas, não avalia cada artigo, e há artigos muito ruins indexados. Serve para achar, não para julgar.
- Cochrane Library, PEDro, Epistemonikos: bases que já selecionam ou avaliam revisões sistemáticas e ensaios; o PEDro, brasileiro-australiano, dá nota de qualidade a ensaios de fisioterapia.
- SciELO e LILACS: bases latino-americanas, úteis para encontrar pesquisa brasileira e literatura em português. Para responder a uma pergunta clínica específica, são limitadas: cobrem poucas revistas de ponta e muita pesquisa de qualidade desigual. Não são um atalho para “a melhor evidência”.
- Google Acadêmico: excelente para encontrar um artigo que você já sabe que existe e para ver quem o citou. Ruim para buscar evidência: mistura revistas predatórias, teses, preprints e livros sem nenhum filtro, e a ordem dos resultados privilegia citações, não qualidade.
Revisões: três coisas diferentes
| Tipo | O que é | Força |
|---|---|---|
| Revisão narrativa | Um especialista resume a literatura que escolheu, sem método explícito de busca e seleção | Útil para introduzir um tema; vulnerável à escolha seletiva do autor |
| Revisão sistemática | Busca exaustiva com critérios definidos antes, avaliação da qualidade de cada estudo e síntese, com protocolo registrado (PROSPERO) | O padrão para saber o que a literatura diz; vale o que valem os estudos incluídos |
| Metanálise | Técnica estatística que combina os resultados numéricos de vários estudos | Pode ou não fazer parte de uma revisão sistemática; metanálise de estudos ruins produz um número preciso e errado |
“Revisão sistemática” e “metanálise” não são sinônimos: a primeira é um método de revisar; a segunda, uma conta. Há revisões sistemáticas sem metanálise (quando os estudos são incomparáveis) e metanálises sem revisão sistemática (quando os estudos foram escolhidos à mão).
Revistas: onde foi publicado importa, mas não como se pensa
- Revistas predatórias: cobram para publicar e aceitam quase tudo, com revisão por pares de fachada. Sinais: convites por e-mail bajuladores, prazos de dias, taxas escondidas, nomes parecidos com os de revistas sérias, “fator de impacto” inventado. Experimentos com artigos absurdos (um deles escrito por um gerador automático) foram aceitos por dezenas delas.
- Editoras em zona cinzenta: grupos como MDPI e Frontiers publicam milhares de artigos por ano em modelo de autor pagante, com revisão muito rápida e “edições especiais” em escala industrial. Têm artigos bons e muitos fracos; várias de suas revistas foram excluídas de índices (a Web of Science retirou dezenas de revistas da MDPI em 2023), e a Hindawi, da Wiley, retratou milhares de artigos de fábricas de papers. Não é motivo para descartar um artigo por vir de lá; é motivo para ler com mais cuidado do que de costume.
- Qualis não é ranking de revista: é o sistema da Capes para avaliar a produção dos programas de pós-graduação brasileiros. Ele classifica periódicos em estratos (A1 a C) para esse fim administrativo, por área, com critérios que mudam a cada ciclo. Uma revista A1 numa área pode ser B em outra, e o estrato diz pouco sobre a qualidade de um artigo específico. Usá-lo como prova de que um artigo é bom é erro comum.
- Número de publicações não quer dizer nada por si: a pressão por volume gera artigos fatiados, repetidos e fracos. O que conta é o que cada estudo mostrou e se foi replicado.
Ao ler o artigo
- P-valor significativo não quer dizer que o tratamento funciona. Diz que o resultado seria raro se não houvesse efeito. Com amostra grande, efeitos irrelevantes ficam “significativos”; com análises múltiplas, acasos ficam “significativos”. Pergunte pelo tamanho do efeito, pelo intervalo de confiança e pela relevância clínica.
- Estudos em animais não se extrapolam para humanos. A maior parte dos tratamentos que funcionam em camundongos falha em pessoas. Resultado animal é hipótese, não evidência de eficácia em humanos.
- Estudos de coorte não medem efeito de intervenção. Acompanhar quem escolheu fazer algo e comparar com quem não escolheu mostra associação; quem escolhe é diferente de quem não escolhe. Para saber se uma intervenção funciona, o desenho é o ensaio randomizado (ou um experimento natural bem defendido).
- Gráficos podem enganar; peça os números. Eixo cortado, escala escolhida, dois eixos no mesmo gráfico e seleção do período distorcem sem mentir. A tabela com os valores, os intervalos e o número de participantes permite conferir. Isso não torna todo gráfico suspeito; torna obrigatório olhar o que está por trás dele.
- Prêmio Nobel não é argumento. A “doença do Nobel” nomeia laureados que defenderam pseudociências fora da sua área: Linus Pauling e as megadoses de vitamina C, Luc Montagnier e a “memória da água”, Kary Mullis e a negação do HIV. Autoridade vale dentro da área e abaixo da evidência.
Pesquisa básica e pesquisa aplicada
Nem todo artigo pretende dizer “o que fazer”. A pesquisa básica investiga mecanismos (como uma célula responde a um sinal) e é indispensável, mas está longe da decisão clínica; a aplicada testa intervenções. Citar um estudo de mecanismo como se provasse um tratamento é pular etapas: do mecanismo plausível ao efeito em pessoas há um caminho longo em que a maioria das ideias morre.
Para guardar
- PubMed acha, não julga; Google Acadêmico mistura tudo; SciELO e LILACS servem à literatura brasileira, não como atalho para a melhor evidência.
- Revisão sistemática é método; metanálise é conta; Qualis é instrumento da Capes, não ranking de revista.
- P significativo, estudo em animais, coorte, gráfico bonito e Nobel não provam que um tratamento funciona.
Para pensar
Qual foi o último “tem estudo” que você aceitou sem saber o desenho, a amostra e onde foi publicado?
Teste rápido · 1 de 3
Aplique · 2 de 3
Confira · 3 de 3