Arxiu del dimarts , 8/09/2015

És fiable la psicologia? I la ciència en general?

dimarts , 8/09/2015

“Un estudi ha demostrat que…” “uns investigadors han descobert…” “S’ha publicat un treball on…” Aquesta mena de frases acostumen a aparèixer en totes les notícies relacionades amb la ciència. La manera que tenim de treballar els científics es condensa en els treballs que es publiquen a les revistes especialitzades on seran analitzats amb lupa per la resta de la comunitat científica. Al menys això és el que diu la teoria. A la pràctica les coses no van exactament així. I això està portant cada vegada més problemes.

Cada vegada és més freqüent que quan intentes reproduir els treballs publicats per altres grups, trobes que no hi ha manera que et surti el mateix. De vegades és per detalls tècnics, per metodologies diferents o per motius ben subtils, però en moltes ocasions és simplement perquè el treball inicial estava malament. De fet, ja és com una broma una mica amarga (i una exageració) que ningú pot reproduir els treballs publicats a Nature o a Science. Però estudis científics més modestos també costen de reproduir. A mi m’ha passat d’escriure a uns investigadors per preguntar detalls d’una tècnica, ja que portàvem mesos intentant copiar el seu treball i no hi havia manera. La resposta va ser “No se el que falla. En realitat a nosaltres només ens va sortir una vegada i mai més no ho hem intentat”.

La magnitud del problema s’ha posat de manifest fa poc en un projecte anomenat “Reproducibility of Psychological Science”. Han aconseguit que 250 investigadors intentin reproduir 100 treballs experimentals del camp de la psicologia. Estudis d’aquells de com varia la capacitat d’atenció després de menjar, si el color de l’habitació afecta la teva capacitat per recordar coses o si trobes més maques les noies en funció dels nivells de corticosterona que tinguis en sang. Es tractava de fer el mateix experiment i veure si s’obtenia el mateix resultat. Fins i tot en molts casos es va fer en col·laboració amb els mateix equip que va fer el treball inicial.

I el resultat ha sigut que 61 dels 100 treballs no s’han pogut reproduir.

Això es pot interpretar de moltes maneres. Si més no, hi ha 39 treballs que ja són una mica més fiables, però que passa amb la resta? Tant malament treballen els psicòlegs? He de dir que sospito que si el mateix estudi es fes en altres camps, els resultats potser serien una mica millors, però no gaire millors. En tot cas, moltes vegades el treball no reproduïa el resultat inicial, però per problemes estadístics. Per decidir si determinada cosa millora la memòria cal tirar d’estadística. I l’estadística és punyetera. Algun investigador deia que els resultats havien sigut similars en els dos casos, però en el primer treball l’estadística deia que la millora era significativa i en el segon cas deia que no. De manera que no tot és blanc o negre.

Sigui com sigui, no es tracta de buscar excuses sinó de reconèixer que hi ha un problema i que cal trobar solucions. I no es limita a la psicologia. Hi ha iniciatives similars en altres camps del coneixement. Els equips científics tenen molta pressió per publicar treballs novedosos, però no per reproduir els treballs d’altres. La conseqüència és que tothom intenta fer coses noves i molt de pressa, de manera que potser no es fan tots els grups experimentals que caldria, o es repeteix poques vegades l’experiment o es fa amb pocs pacients, amb poques rates o amb pocs cultius cel·lulars.

Hi ha qui veu en tot això una feblesa de la ciència. Ens creiem o no ens creiem els estudis que publiquen els científics? Però en realitat és una bona cosa anar mirant enrere i verificant si ho fem be o no. Comprovar, verificar, repetir, cercar errors, rectificar,… Constantment anem corregint teories i coneixements i per fer-ho cal anar posant a prova tot el que creiem, sempre. Aquesta és una de les principals diferències amb les pseudociències, que mai posen en dubte les seves afirmacions i creences i que mai rectifiquen.

Si més no, en el camp de la psicologia experimental ara ja estem més segurs que hi ha 39 treballs fiables i 24 més aproximadament correctes. També sabem que a la resta hi havia algun error i no els hem de donar per bons. Important, ja que identificar els errors és un dels passos més importants per millorar.

I de pas ens recorda que un únic estudi pot ser molt interessant, ho podem comentar i posar-hi atenció, però cal no donar-ho per definitiu fins que altres ho confirmin.