Via Folha de S. Paulo

psychology

Um grupo formado por 270 cientistas da área de psicologia se dedicou à tarefa hercúlea de refazer cem experimentos que já haviam sido anteriormente publicados nas melhores revistas da área.

A surpresa: menos da metade dos estudos replicadores chegou aos mesmos resultados dos originais, segundo um artigo publicado na última edição da “Science”.

Uma possível explicação para tão desanimadora descoberta é que, em biologia, psicologia e medicina, o número de variáveis a serem controladas é muito grande.

No caso de uma pesquisa com camundongos, pelo menos dá para ter a certeza de que eles tem o mesmo background genético e que viveram toda a vida em um ambiente parecido.

Quando humanos são estudados, porém, o número de possíveis variáveis candidatas a trazerem ruído para as medidas é enorme. Em psicologia, não há como fugir disso.

De todo modo, com a cifra de só 39% de “acertos” das replicações, não é exagero para os cientistas envolvidos de que se deve ligar o sinal amarelo na área.

O “mutirão científico” foi encabeçado por Brian Nosek, psicólogo e professor da Universidade da Virgínia.

O “argumento de autoridade”, defende Nosek, não vale: a credibilidade de um estudo depende, ao menos em parte, da reprodutibilidade da evidência em que se baseia.
Clique no infográfico: Pesquisas não comprovadas

Enquanto 97% dos estudos originais selecionados conseguiam obter resultados significantes (que não poderiam ser atribuídos ao acaso a não ser com uma pequena probabilidade, em geral 5%), apenas 36% dos estudos de replicação conseguiram resultados que apontassem na mesma direção.

Além disso, 83% das replicações que deram certo eram “menos intensas” do que os estudos originais.

Entre os resultados estudados estão achados que foram bastante comentados na época em que saíram, como o que a descrença no livre arbítrio aumenta a chance de traição e o que mulheres comprometidas se sentem mais atraídas por homens solteiros quando estão no período fértil.

EXPLICAÇÕES

O valor reduzido de “acertos” não necessariamente significa picaretagem.

Existem três explicações possíveis para as discordâncias: a primeira é a de que o resultado original tenha sido um falso positivo –quando o erro é detectar uma diferença ou identificar um fenômeno que na verdade não existe.

A segunda é a de que os estudos que tentaram replicar sejam falsos negativos –o erro seria de não detectar o fenômeno mostrado no estudo original, que existiria, de fato.

A terceira, por fim –bastante comum também em outras áreas das ciências da saúde–, poderia ser atribuída a pequenas diferenças metodológicas em relação ao estudo original, como participantes de diferentes etnias ou idades, condições diferentes de avaliação, ou sazonalidade de um fenômeno.

Incorrer nessa última armadilha foi uma preocupação do “mutirão”. Os autores dos estudos originais foram contatados e convidados a auxiliar na adaptação da metodologia do estudo-réplica.

Tanto que Alan Kraut, diretor-executivo da Associação Americana de Psicologia, que publica a revista “Psychological Science”, disse que a questão da replicabilidade é um dos desafios a serem superados pela publicação.

Os cientistas dizem que a cultura de uma competição agressiva na ciência favorece a publicação de resultados que se mostrem mais novos e, de certa forma, mais “sensuais” que os demais, em detrimento de atividades importantes porém menos reconhecidas como as de replicar outros estudos já publicados.

A psicóloga e professora do Instituto de Psicologia da USP, Paula Debert, crê que mais estudos de revisão são úteis à ciência. “Com a publicação das réplicas em boas revistas é que é possível ter certeza da qualidade dos estudos”.

No caso do mutirão, os 270 cientistas estabeleceram critérios de transparência e de revisão a fim de garantir a qualidade dos novos resultados.

Nem sempre uma divergência de resultados quer dizer algo ruim, defende Paula: “Às vezes o mais interessante é pesquisar a razão das diferenças. Pode ser um detalhe que passou batido”.

Um exemplo disso, exemplifica, poderia ser uma sala com nível de ruído diferente daquela usada no estudo original, ou mesmo algum detalhe a respeito dos participantes da pesquisa.

Márcia McNutt, editora da “Science”, disse que esse tipo de estudo realizado pelo “mutirão” trouxe informações importantes e que ele ajudará a estabelecer um tipo de controle melhor sobre a reprodutibilidade de estudos no futuro.

 

Crédito: Folha de S. Paulo

Posts relacionados: