Existe alguma investigação/estudo/inquérito/… que tenha tentado estimar quantos resumos de artigos foram lidos por investigadores médicos ao preparar uma revisão clínica sistemática?
Mesmo que esta seja apenas uma resposta parcial, poderá ajudar a “compreender melhor o processo de criação de revisões sistemáticas”, tal como se refere nos comentários.
Uma resposta óbvia a dar aqui é: todos os resumos têm de ser lidos, uma vez que os artigos aparecem “positivos” no âmbito da estratégia de (re)pesquisa da literatura. Afinal de contas, têm de ser avaliados para inclusão ou exclusão.
Se a pergunta original se destina a pedir o número médio de estudos realmente utilizados, ou seja, um número difícil de artigos incluídos na revisão, então a resposta é bastante diferente:
De Terri Pigott: Advances in Meta-Analysis, Springer, 2012:
Outra pergunta comum é: Quantos estudos preciso para realizar uma meta-análise? Embora os meus colegas e eu tenhamos frequentemente respondido a “dois” Valentine et al. 2010 ), a resposta mais completa reside na compreensão do poder dos testes estatísticos em meta-análise. Neste livro, tomo a abordagem de que o poder dos testes em meta-análise como o poder de qualquer teste estatístico precisa de ser calculado a priori, utilizando pressupostos sobre o tamanho de um efeito importante num determinado contexto, e os tamanhos típicos de amostras utilizadas num determinado campo. Mais uma vez, o profundo conhecimento substantivo de uma literatura de investigação é fundamental para um revisor, a fim de fazer suposições razoáveis sobre os parâmetros necessários para o poder.
Depende, portanto, de quão bem estudado e pesquisado é um campo ou uma questão de investigação para seleccionar os artigos revistos. Tópicos altamente na moda com controvérsia em anexo terão centenas ou milhares para escolher, interesses de nicho, locais não rentáveis talvez apenas alguns poucos. Solicitar uma estatística em todos estes campos de revisões sistemáticas clínicas é inteiramente possível. Mas um dos problemas associados a meta-análises é o chamado problema do saco de lixo: um tal empreendimento - de não só “estimar quantos resumos em papel os investigadores médicos lêem quando preparam uma revisão clínica sistemática?” mas até mesmo calcular precisamente esse número - pode correr o risco de produzir números sem sentido, úteis apenas para jornalistas ou políticos.
Um artigo que fornece precisamente essa meta-análise enumera um número tal como solicitado na pergunta para o subcampo da psicologia: 51 (intervalo 5-81). (doi: 10.1080/0027317100368018 A Meta-Meta-Analysis: Revisão Empírica do Poder Estatístico, Taxas de Erro Tipo I, Tamanhos de Efeito, e Selecção de Modelos de Meta-Análises Publicadas em Psicologia. ) Mas também destaca bastante bem os problemas inerentes a tal abordagem:
- Tamanhos de Efeito e Heterogeneidade em Meta-Análise
- Escolha do Modelo: Modelos de efeitos fixos foram utilizados com muito maior frequência do que modelos de efeitos aleatórios, muitas vezes sem afirmar abertamente que tal modelo estava a ser utilizado. Por outro lado, os modelos de efeitos aleatórios foram utilizados com uma frequência crescente ao longo do tempo. Estudos futuros deveriam implementar mais rotineiramente modelos de efeitos aleatórios, dada a sua maior validade do ponto de vista da inferência.
Finalmente, é importante considerar que a utilização de modelos de efeitos aleatórios irá diminuir o poder de testes de significância na maioria dos casos (isto é, quando a variância entre estudos é maior que zero).
Mais geral, podemos proteger-nos contra a confiança cega em revisões ou meta-análises em geral. Actualmente, o campo da medicina esforça-se por reconstruir os seus conhecimentos sobre uma base baseada em provas, o que é, naturalmente, muito bem-vindo. Mas na prossecução deste objectivo com uma concentração demasiado confiante em dados quantitativos e modelos matemáticos, uma criança na banheira pode ficar ferida. Nomear, usar ou simplesmente acreditar em qualquer tipo de “padrão de ouro” (ou até mesmo platina) será demasiado de um lado extremo. Isto é ilustrado da seguinte forma:
O maior problema dessa imagem é que “o filtro” está bastante mal definido e são escolhidos regularmente estudos com maior poder estatístico ou maior significado para serem incluídos. Embora pareça lógico no início, isto viola princípios filosóficos, por princípio, como o Princípio de Evidência Total “ de Carnap. Este raciocínio mecanicista introduz, portanto, o seu próprio conjunto de preconceitos sistemáticos.
Para abordar vários destes perigos, armadilhas e deficiências conhecidos, a declaração PRISMA é uma iniciativa para pelo menos uniformizar as abordagens e documentar de forma transparente o procedimento escolhido para estes tipos de análises.
Mais problemas epistemológicos são condensados em Stegenga: "Será a meta-análise o padrão de evidência da platina?” (2011):
[…] as meta-análises não conseguem restringir adequadamente as avaliações intersubjectivas das hipóteses. Isto porque as numerosas decisões que devem ser tomadas ao conceber e realizar uma meta-análise requerem julgamento pessoal e perícia, e permitem que os preconceitos e idiossincrasias pessoais dos revisores influenciem o resultado da meta-análise. O fracasso de A objectividade explica, pelo menos em parte, o fracasso da Constraint: ou seja, a subjectividade necessária para a meta-análise explica como múltiplas meta-análises da mesma evidência primária podem chegar a conclusões contraditórias relativamente à mesma hipótese. […] Contudo, a minha discussão sobre as muitas decisões particulares que devem ser tomadas quando se realiza uma meta-análise sugere que tais melhorias só podem ir até certo ponto.
Para pelo menos algumas destas decisões, a escolha entre as opções disponíveis é inteiramente arbitrária; as várias propostas para aumentar a transparência dos relatórios das meta-análises não podem, em princípio, arbitrar entre estas escolhas arbitrárias. Mais genericamente, esta réplica dos defensores da meta-análise - que não devemos descartar por completo as técnicas - sobrepõe-se à força da conclusão que defendi, que não é que a meta-análise seja um mau método de amálgama de provas, mas sim que a meta-análise não deve ser considerada o melhor tipo de provas para avaliar as hipóteses causais na medicina e nas ciências sociais. Não tenho argumentado que a meta-análise não pode fornecer qualquer prova convincente, mas sim, ao contrário da visão padrão, tenho argumentado que a meta-análise não é o padrão de evidência platina.