quarta-feira, 12 de julho de 2017

O Manifesto da Medicina Baseada em Evidências: Oxford 2017





No mês passado estive no evento Evidence Live 2017, em Oxford, onde foi lançado o  Evidence Based Medicine Manifesto for Better Health Care”. Esta foi uma iniciativa do Centre of Evidence Based Medicine (Oxford University) e do British Medical Journal. 
Em postagem recente neste Blog aprofundamos a discussão sobre a baixa confiabilidade das evidências científicas. O Manifesto é uma iniciativa para a melhoria da qualidade das evidências em saúde, onde se discute causas da pouca confiabilidade científica e objetivos voltados para a correção deste cenário. 
Afinal, como fazer medicina baseada em evidências se a maioria das evidências não são confiáveis? Na realidade, este não é um problema da proposta do uso de evidência para nortear nossas decisões (paradigma da medicina baseada em evidências), mas sim um problema do mundo científico que gera estas evidências. 

As causas do problema estão presentes nas diferentes fases da atividade de pesquisa, como descrevo abaixo:


Fase de Definição do Objetivo do Estudo
  • O investimento de trabalho, tempo e dinheiro em perguntas científicas inúteis. A inutilidade destes estudos decorre da irrelevância do que está sendo avaliado, cujo resultado não terá impacto científico, nem clínico. Isto ocorre pois autores estão mais interessados em gerar artigos do que gerar conhecimento. Por exemplo, demonstrar um efeito benéfico em um desfecho substituto que já se sabe que não prediz benefício clínico, nem é uma condição intermediária para eficácia. O problema desses estudos é que são publicados como dados positivos e naturalmente os leitores se deixam influenciar por estes resultados no desenvolvimento de suas “crenças internas”.
  • Testes de hipóteses claramente improváveis, relacionadas a uma baixa probabilidade pré-teste, levando a baixo valor preditivo positivo de estudos. Isto está bem detalhado em uma recente postagem.
  • Você sabia que 85% do financiamento de pesquisa global é desperdiçado por estudos inúteis?

Fase de Definição do Método do Estudo

  • Desenhos de estudos com amostras subdimensionadas para seus objetivos, levando a uma baixa veracidade de eventual significância estatística, que pode surgir ao acaso. 
  • A construção de protocolos desprotegidos quanto a vieses de amostragem, seleção, confusão, mensuração do desfecho, acompanhamento de pacientes.
  • O uso comum de interrupção pré-definida de estudos positivos em análises interinas (estudos truncados). 
  • Você sabia que 35% dos pesquisadores assumem práticas inadequadas de pesquisa, dentre estas a construção de protocolos enviesados?

Fase de Análise de Dados

  • O problema do p-hacking ou mineração de dados. Utiliza-se em demasia análises de desfechos secundários ou de subgrupos, muitos destes testes nem são pré-determinados. Primeiro se faz várias destas análises e as que dão certo (significantes) serão transformadas nas perguntas dos estudos. É o fenômeno do texas sharp shooter, quando primeiro se atira, depois se desenha o alvo nos locais mais atingidos. 
  • Você sabia que 35% dos pesquisadores assumem práticas inadequadas de pesquisa, dentre estas, mineração de dados, troca de desfechos, descrição seletiva de desfechos (escondendo os negativos)?


Fase de Publicação


  • Viés de publicação quando estudos que vão ao encontro do desejo do pesquisador são publicados e estudos de encontro ao desejo do pesquisador (ou da comunidade científica) não são publicados. Evidências negativas são silenciadas.

  • Você sabia que metade de todos os trials nunca foram publicados e que trials positivos são duas vezes mais prováveis de serem publicados do que trials negativos? Quando se fala de estudos pequenos, este viés de publicação ocorre em muito maior escala. 
  • Você sabia que 35% dos pesquisadores assumem práticas inadequadas de pesquisa, dentre estas esconder conflitos de interesses?


Fase de Leitura do Artigo


  • Os consumidores dos trabalhos não são devidamente treinados para reconhecer o potencial de vieses e erros aleatórios, compram gato por lebre. Profissionais de saúde não praticam ceticismo científico, tendendo a acreditar em demasia no que leem ou ouvem falar. 



O Conteúdo Inicial do Manifesto


No dia da abertura do Evidence Live, o Manifesto foi publicado no British Medical Journal, tendo como autores principais Carl Hannegan, diretor do Centre of Evidence Based Medicine, e Fionna Godlee (vide vídeo abaixo), editora chefe do British Medical Journal. Este Manifesto é considerando um “living document”, no sentido de que esta é a primeira versão, que será aprimorada ao longo do tempo. O primeiro passo para aprimoramento foi este workshop, onde nos reunimos em pequenos grupos para aprimorar as medidas sugeridas. 

Nesta primeira versão, 9 objetivos foram apontados:


  • Tornar evidências científicas mais relevantes, aplicáveis e acessíveis a pacientes. 
  • Expandir o papel de pacientes no processo de geração do conhecimento científico. Você sabia que o BMJ empregou no processo de avaliação de artigos os revisores-pacientes. Sim, pacientes não pesquisadores contribuem com o processo de revisão de trabalhos que versam sobre as condições das quais eles sofrem. Isto tende a estreitar a lacuna entre o que é pesquisado e o que mais interessa aos pacientes.
  • Aumentar a utilização sistemática de evidências no processo de decisão médica.
  • Reduzir práticas de pesquisa questionáveis, vieses e conflitos de interesse.
  • Garantir que o processo de aprovação de drogas e devices seja mais robusto, transparente e independente.
  • Produzir guidelines de melhor qualidade.
  • Promover melhora de qualidade e segurança a partir do uso de dados do mundo real (estudos de efetividade).
  • Educar profissionais e o público sobre prática clínica baseada em evidências. 
  • Encorajar uma nova geração de líderes em medicina baseada em evidências.

Onde Estamos?


Durante as discussões em Oxford, falou-se em pessimismo e otimismo. Minha visão pessoal é otimista, pois não considero que estamos em uma “crise”. Crise conota algo que está piorado em relação a um momento prévio. Não é o caso. Ao invés de falar em crise, prefiro falar em evolução. Até o ano 1.500 não existia ciência e foi apenas no século passado que o método científico contemporâneo foi proposto para a prevenção de erros aleatórios e sistemáticos (Ronald Fisher), aprofundado filosoficamente por Karl Popper. 

Nos últimos anos, a discussão sobre conceitos de qualidade em pesquisa, transparência, reprodutibilidade tem se tornado mais prevalente no mundo científico e acadêmico. É o início de um processo, cujo primeiro passo é o reconhecimento de problemas que ainda se encontram em grande parte debaixo do tapete. De fato, não é prevalente a consciência de que “evidências” nem sempre são confiáveis. Há evidências para tudo e há todo tipo de interesse em utilizar evidências de má qualidade, deste que seu resultado seja interessante, em detrimento de uma análise isenta da qualidade dessas informações.

No momento em que estes problemas passam a ser profundamente discutidos, pode-se ter a impressão de que estamos em crise. Talvez não … Talvez estejamos apenas percebendo melhor a realidade. 

Veja a realidade do Brasil. Parece que estamos no pior momento político. Nem tanto, recentemente o (ex-) Ministro do Supremo Aires Brito se manifestou com um agradável e leve otimismo, quando retratou este como um momento evolutivo de nossa democracia. 

Seria uma “lava-jato científica”?


Se pensamos que a lava-jato está aí para lavar toda a sujeira, de forma efetiva, definitivamente o Manifesto não será uma lava-jato. Mas se pensamos de forma mais realista, talvez a gente não deva esperar que a lava-jato resolva plenamente os problemas políticos ou de corrupção.

Não é assim que acontece, uma lava-jato ou um Manifesto não são sozinhos suficientes para ajuste pleno dos problemas. Mas podem ser passos iniciais em um processo que requer transformação cultural. Sim, transformação na cultura da corrupção e na cultura científica. 

O Manifesto não será uma lavagem plena, nem muito menos a jato. Na verdade, uma limpeza-lenta (e não uma lava-jato), assim deveria ser o nome dessa operação da PF, assim como da nossa evolução cultura. 

Seria um “choosing wisely científico”?


Uma melhor analogia é com a campanha Choosing Wisely: o Manifesto está para a ciência como Choosing Wisely está para a decisão clínica. Choosing Wisely se define como uma “conversa”, algo que não coloca como objetivo uma redução imediata do overuse, mas a intenção é a reflexão como forma de promover uma mudança cultural. 

Manifesto, quais as estratégias para melhoria?


Nesta publicação seminal do Manifesto estão claros os objetivos, porém não há referência aos métodos pelos quais estes objetivos serão alcançados, que provavelmente devem passar por ações políticas, evolução do processo de revisão e editoração de publicações, ações educativas para pesquisadores, consumidores de pesquisas (leitores) e população leiga. 

A ausência de métodos e estratégias demonstra a função do Manifesto como uma provocação à nossa reflexão. Não será este Manifesto a causa única ou principal da evolução científica. Na verdade, existirão muitos manifestos, muitas iniciativas, e tudo junto contribuirá para uma evolução. Esta evolução depende de uma mudança cultural. 

Mas desde já podemos começar uma espécie de brainstorm de estratégias para melhorias. Foi o que ocorreu em Oxford, quando participantes foram convidados a apresentar ideias estratégicas, que contribuiriam para a evolução do “living Manifesto”, podendo estar presente em futuros artigos sobre o tema. 

Compartilho aqui algumas ideias que apresentamos na discussão:

  • Editores de revistas devem categoricamente classificar os artigos originais em exploratórios (a maioria) ou confirmatórios (a minoria). Esta categorização, baseada no valor preditivo do trabalho, evitará crença demasiada em estudos geradores de hipóteses. Esta atitude promoverá a cultura de que trabalhos científicos isolados não necessariamente servem para confirmar hipóteses. Ciência é uma construção de pequenos tijolinhos, representados por cada trabalho.
  • Editores devem estimar e publicar o valor preditivo positivo ou negativo de cada estudo, gerando valorização da comunidade quanto a este tipo de estimativa, que considera a plausibilidade da ideia, a dimensão do estudo, a qualidade metodológica e não só o "famigerado" valor de P (injustiçado pois P não foi originalmente criado por Fisher para ser assim mal utilizado). 
  • O Manifesto deve promover não só evidência de mais qualidade, mas também pensamento clínico de maior qualidade científica: ênfase em estimativas adequadas do tamanho de efeito (evitando superestimativas), na utilização do pensamento probabilístico, no reconhecimento das incertezas em cada caso individual e na percepção e prevenção dos mais comuns vieses cognitivos do pensamento médico.
  • Educação básica da população, desde a escola secundária, quanto à forma científica de pensar, promovendo no profissional futuro um pensamento mais naturalmente baseado em evidências. 

Convite!!


A discussão está aberta, agora é hora de discutir e apresentar estratégias. Convido os colegas que acompanham nosso Blog a escrever comentários nesta postagem, como forma de sugestões a serem encaminhadas aos líderes do Manifesto. Será a voz de nossa comunidade virtual influenciando esta importante iniciativa. 

Vídeos


Complementando esta postagem, publicarei nos próximos dias dois vídeos de conversas que Franz Porzsolt e eu tivemos em Oxford com colegas da área. 

Vídeo 1: Fionna Godlee, editora-chefe do British Medical Journal, onde conversamos sobre o paradigma da medicina baseada em evidências e o papel de revistas científicas na melhoria da qualidade de evidências. 

Vídeo 2: Janet Martin, meta-cientista canadense que trouxe para o evento dados impressionantes de suas pesquisas retratando inadequações do universo científico, como fenômenos de medical reversal e data mining.

Fiquem atentos para nos próximos dias. 

_______________________________________________________________________

Conheça nosso curso de medicina baseada em evidências, clicando aqui.

7 comentários:

  1. Julgo extremamente importante inciarmos um processo educativo mais vigoroso nas escolas médicas a respeito dos princípios da MBE e sua aplicabilidade clínica. Há evidências disponíveis de que apenas 30 % dos médicos, aplicam conceitos baseados em evidências na sua integridade.
    Educar a população é fundamental, pois o paciente tem importância na tomada de decisão. Paciente mais educados, utilizam o sistema apenas quando necessário, isso com certeza tem impacto nos custos e na própria prescrição de exames e tratamentos desnecessários. Além do mais, acho importante a difusão dos conhecimentos de economia-clínica atrelados a MBE. Quem aqui nunca prescreveu um hemograma como "rotina", mas não sabe o custo real dessa simples prescrição. Não aprendemos nas faculdades o custos das coisas e num mundo onde os recursos são cada mais limitados, precisamos levar em conta este raciocínio.

    ResponderExcluir
    Respostas
    1. Tens total razão e a questão ainda vai adiante... É preciso pensarmos também em como lidar melhor com o 30% que detém o conhecimento técnico necessário, mas cai em armadilhas da mente humana. Tenho visto muitos médicos que estudam e conhecem MBE, a aplicam rigorosamente em alguns contextos, mas a flexibilizam em outros. Há, por exemplo, grupos que defendem "less is more", mas com viés ideológico, acreditando que a discussão só serve para tecnologias duras e medicamentos comerciais, cenários onde analisam atentamente p's, mas apenas p não basta. Então vão ao NNT. E são implacáveis ao desaconselhar as intervenções. Por outro lado, quando em pauta estão intervenções das quais são simpatizantes, relativizam. Questionados do comportamento intrigante, justificam o rigor lá por não confiar na indústria - com eles haveria soluções frequentemente taxadas de "naturais", outras de "obviamente boas". São implacáveis ao atacar stents e estatinas, mas só vêem o lado positivo de suas atividades holísticas e dietas. Ignoram que quando estas coisas são incorporadas ao SUS, alguém paga por elas. Este dualismo é muito negativo, pois mesmo quando estão adequadas as críticas a determinada tecnologia dura ou medicamento comercial, terceiros não dão a atenção devida, já que percebem que nas recomendações pouco interessa a adequação - partem sempre de um norte conceitual, anterior à discussão do grau de evidência. E isto cria na saúde algo parecido com o que vemos hoje na política.

      Excluir
  2. Concordo plenamente com o excelente comentário do colega acima .
    Existe uma real necessidade de realizarmos esse sinergismo entre as condutas médicas que adotamos pelo simples acúmulo de conhecimento e as condutas que realmente quantificamos e analisamos sua magnitude de benefício através das evidências de qualidade, é claro !
    Precisamos de mais análise crítica, mais pensamento científico e até mesmo desenvolver um certo auto-didatismo para que "formadores de opinião " não definam condutas, muitas vezes desnecessárias e às vezes por conflitos de interesses . Entender de forma científica e consciente que não indicar algo ( procedimento ou tratamento ) desnecessário é uma conduta médica, é contra intuitivo e requer esse tipo de "mindset".
    Podíamos pensar numa forma de como podemos cada um, que se interessa pela MBE, contribuir para a disseminação desses conceitos de análise critica , pensamento cientifico, conceitos de economia clinica , Choosing Wisely e slow medicine que leitores frequentes do blog já estão familiarizados .
    Quem sabe veremos mais discussões como esta e como as que presenciei no curso avançado em Salvador, nos congressos médicos de sociedades, nas ligas acadêmicas das várias escolas médicas do Brasil .
    Penso que, talvez, nosso desafio seja esse .....como podemos ajudar a difundir isso ?


    ResponderExcluir
  3. Caro Luiz , você continua na ponta , assertivo e chamando nossa atenção , nos tirando da zona de conforto. Parabéns.
    Walmore Siqueira

    ResponderExcluir
  4. Eu acredito que essa crise científica, extremamente necessária pelos motivos acima citados, se resolverá após longo período, principalmente através das sementes que são plantadas nas universidades, com as disciplinas de MBE aos estudantes de Medicina e demais áreas,e assim esses futuros embriões de pesquisadores e cientistas crescerão com a opinião crítica e ética da necessidade de uma boa evidência terpêutica,diagnóstica e prognóstico para diminuir nossas incertezas e estarmos mais próximos de uma verdade que jamais conheceremos em função da imprevisibilidade das reações no intracelular e a variabilidade humana; além disso como seres pensantes, farão hipóteses viáveis, factíveis, cujos estudos metodologicamente isento de vieses sistemáticos e aleatórios, aumentarão o valor preditivo positivo ou negativo daquela hipótese.
    E assim conheceremos a árvore pelo seus frutos.

    ResponderExcluir
  5. Realmente, o Manifesto foi um passo inicial importante, mas, sinceramente, tenho pouca esperança na sua eficácia, enquanto não buscarmos outra fonte de recursos para uma pesquisa científica séria, além do que da indústria farmacêutica.

    ResponderExcluir
  6. Tenho acompanhado de longe esta publicação, com prazer. Há esperança! Vivo no mundo real longe da universidade. Difícil tarefa conjugar conhecimentos adquiridos, realidade limitada de recursos (nem estou falando de medicina pública só da privada que é minha realidade), disseminação de pseudo-conhecimentos informativos marqueteiros pela mídia digital acessível a qualquer paciente/indivídulo, com a simplicidade do dia a dia que precisa "funcionar" para o cuidado do paciente, tendo que consumir tempo e conversas longas para sugestioná-los com o que é bom, produtivo a longo prazo, baseado muitas vezes na intuição, desconfiando o tempo todo de publicações que deveriam ser minha segurança! Vejo com esperança este movimento, manifesto, mas com tanta desconfiança quanto nutro pela lava-jato, de que algo realmente possa acontecer: os poderes e valores envolvidos são elevados demais!

    ResponderExcluir