Estudo que apontava falhas em outros também estava errado

O estudo em questão, publicado em agosto de 2015 na prestigiosa revista Science, tentou reproduzir 100 trabalhos publicados anteriormente e só teve sucesso em 39% dos casos

sex, 04/03/2016 - 06:20
LOIC VENANCE (Arquivo) Pesquisadores anunciaram que descobriram vários erros de metodologia num estudo que criticava a confiabilidade de trabalhos científicos de psicologia no ano passado LOIC VENANCE

Pesquisadores anunciaram nesta quinta-feira que descobriram vários erros de metodologia num estudo que criticava a confiabilidade de trabalhos científicos de psicologia no ano passado.

O estudo em questão, publicado em agosto de 2015 na prestigiosa revista Science, tentou reproduzir 100 trabalhos publicados anteriormente e só teve sucesso em 39% dos casos.

O estudo, que causou bastante polêmica na comunidade científica, foi considerado o terceiro maior "avanço" do ano pela revista Science.

O estudo levou "diversas grandes publicações científicas a mudar de política, a mudar suas prioridades no financiamento de agências, e prejudicou a imagem da psicologia na opinião pública", explicou Daniel Gilbert, professor de psicologia da universidade de Harvard.

Mas o próprio estudo de 2015 está cheio de erros metodológicos.

"Os leitores pensam que se os cientistas reproduzem centenas de estudos, eles usam os mesmos métodos e as mesmas populações. Mas neste caso preciso, esta hipótese de revelou falsa", afirmou Gilbert.

Em alguns casos, o consórcio de 270 cientistas que atua sob o nome de "Open Science Collaboration" (OSC) reproduziu uma experiência num local diferente.

Eles também refizeram um estudo de comportamentos sobre raça na Universidade da Califórnia, mas utilizando estudantes holandeses que não tinham a mesma experiência da política anti-discriminatória americana (ações afirmativas), destinada a permitir que mais pessoas negras tivessem acesso à universidade.

"Eles colocaram estudantes holandeses para assistir um vídeo de estudantes de Stanford, que falavam em inglês sobre políticas anti-discriminatórias numa universidade que estava a mais de 8.000 quilômetros longe deles", conta Gilbert.

O estudo, então, não teve validade. Mas o que é ainda mais perturbador é que os pesquisadores, prevendo o fracasso do trabalho, repetiram a experiência numa universidade americana. Lá o método funcionou, mas eles só mantiveram as conclusões negativas em suas análises, deformando assim sua mensagem final.

Outros problemas surgiram quando os pesquisadores foram autorizados a escolher as experiências que gostariam de reproduzir, o que também levou a conclusões enviesadas.

"Todas as regras de amostragem, cálculos de erros e experiências às cegas devem ser aplicadas (inclusive) quando se reproduz uma experiência", lembra Gary King, professor em Harvard e co-autor do estudo da Science.

Tratam-se de erros não-intencionais de uma equipe de cientistas conduzida por Brian Nosek, da universidade da Virgínia, que em seguida cooperou com os investigadores de Harvard, explicou Gilbert.

COMENTÁRIOS dos leitores