És fiable la psicologia? I la ciència en general?

“Un estudi ha demostrat que…” “uns investigadors han descobert…” “S’ha publicat un treball on…” Aquesta mena de frases acostumen a aparèixer en totes les notícies relacionades amb la ciència. La manera que tenim de treballar els científics es condensa en els treballs que es publiquen a les revistes especialitzades on seran analitzats amb lupa per la resta de la comunitat científica. Al menys això és el que diu la teoria. A la pràctica les coses no van exactament així. I això està portant cada vegada més problemes.

Cada vegada és més freqüent que quan intentes reproduir els treballs publicats per altres grups, trobes que no hi ha manera que et surti el mateix. De vegades és per detalls tècnics, per metodologies diferents o per motius ben subtils, però en moltes ocasions és simplement perquè el treball inicial estava malament. De fet, ja és com una broma una mica amarga (i una exageració) que ningú pot reproduir els treballs publicats a Nature o a Science. Però estudis científics més modestos també costen de reproduir. A mi m’ha passat d’escriure a uns investigadors per preguntar detalls d’una tècnica, ja que portàvem mesos intentant copiar el seu treball i no hi havia manera. La resposta va ser “No se el que falla. En realitat a nosaltres només ens va sortir una vegada i mai més no ho hem intentat”.

La magnitud del problema s’ha posat de manifest fa poc en un projecte anomenat “Reproducibility of Psychological Science”. Han aconseguit que 250 investigadors intentin reproduir 100 treballs experimentals del camp de la psicologia. Estudis d’aquells de com varia la capacitat d’atenció després de menjar, si el color de l’habitació afecta la teva capacitat per recordar coses o si trobes més maques les noies en funció dels nivells de corticosterona que tinguis en sang. Es tractava de fer el mateix experiment i veure si s’obtenia el mateix resultat. Fins i tot en molts casos es va fer en col·laboració amb els mateix equip que va fer el treball inicial.

I el resultat ha sigut que 61 dels 100 treballs no s’han pogut reproduir.

Això es pot interpretar de moltes maneres. Si més no, hi ha 39 treballs que ja són una mica més fiables, però que passa amb la resta? Tant malament treballen els psicòlegs? He de dir que sospito que si el mateix estudi es fes en altres camps, els resultats potser serien una mica millors, però no gaire millors. En tot cas, moltes vegades el treball no reproduïa el resultat inicial, però per problemes estadístics. Per decidir si determinada cosa millora la memòria cal tirar d’estadística. I l’estadística és punyetera. Algun investigador deia que els resultats havien sigut similars en els dos casos, però en el primer treball l’estadística deia que la millora era significativa i en el segon cas deia que no. De manera que no tot és blanc o negre.

Sigui com sigui, no es tracta de buscar excuses sinó de reconèixer que hi ha un problema i que cal trobar solucions. I no es limita a la psicologia. Hi ha iniciatives similars en altres camps del coneixement. Els equips científics tenen molta pressió per publicar treballs novedosos, però no per reproduir els treballs d’altres. La conseqüència és que tothom intenta fer coses noves i molt de pressa, de manera que potser no es fan tots els grups experimentals que caldria, o es repeteix poques vegades l’experiment o es fa amb pocs pacients, amb poques rates o amb pocs cultius cel·lulars.

Hi ha qui veu en tot això una feblesa de la ciència. Ens creiem o no ens creiem els estudis que publiquen els científics? Però en realitat és una bona cosa anar mirant enrere i verificant si ho fem be o no. Comprovar, verificar, repetir, cercar errors, rectificar,… Constantment anem corregint teories i coneixements i per fer-ho cal anar posant a prova tot el que creiem, sempre. Aquesta és una de les principals diferències amb les pseudociències, que mai posen en dubte les seves afirmacions i creences i que mai rectifiquen.

Si més no, en el camp de la psicologia experimental ara ja estem més segurs que hi ha 39 treballs fiables i 24 més aproximadament correctes. També sabem que a la resta hi havia algun error i no els hem de donar per bons. Important, ja que identificar els errors és un dels passos més importants per millorar.

I de pas ens recorda que un únic estudi pot ser molt interessant, ho podem comentar i posar-hi atenció, però cal no donar-ho per definitiu fins que altres ho confirmin.

9 comentaris

  • Daniel Closa

    14/09/2015 13:04

    Jordi: Moltes vegades dic en broma (però no massa en broma) que la física sembla difícil, però és una de les ciències més senzilles que hi ha ja que el nombre de variables es pot delimitar raonablement. Això ja és més difícil en la química, encara més en la biologia i resulta quasi impossible en la psicologia. Però més enllà de la dificultat objectiva i de la manca d’eines per estudiar la ment, cal revisar si estem afrontant la manera d’estudiar la ment de manera correcta o caldria ser més prudents a l’hora de fer la recerca. Potser no cal demanar 5 sigmes com en física, però una mica més exigents en la qualitat dels treballs si que ho hauríem de ser.

  • Daniel Closa

    14/09/2015 13:00

    Patricia. És el que dius. la ment és molt difícil d’estudiar. Segurament encara ens manquen eines eficients per fer-ho.

  • Jordi Domènech

    14/09/2015 12:31

    Com que segueixo bàsicament publicacions d’astrofísica, potser no m’hi trobo tant. O al menys és el que penso. De fet, quan he vist un treball infirmat, normalment ha estat perquè han aparegut noves dades.
    El problema de la psicologia, vist per la meva filla quan estudiava magisteri i en feia una assignatura; venint del batxillerat científic i convivint amb dos científics a casa era:
    Però la psicologia és una ciència?
    Em va fer pensar.
    Potser un altre punt a tenir en compte és que al menys en astrofísica, es publiquen resultats negatius: —no s’ha trobat evidència de…— però en altres camps potser no i això podria fer que es forcés la publicació de resultats per poc positius que siguin.

  • Patricia E.

    14/09/2015 10:53

    Com a estudiant de psicologia, sempre trobo que hi ha molts estudis i molts paradigmes. Hi ha alguns estudis més fàcils de reproduir que d’altres pels seus mecanismes, però la ment és tan difícil… Suposo que per això la seguim estudiant :)

  • Daniel Closa

    10/09/2015 0:00

    Uf! Des que ens han dit que la t de student no serveix, i el valor p està mal aplicat, ja no sabem que hem de fer. :-)

  • Jordi Busqué

    09/09/2015 13:39

    Un problema gros és que és difícil trobar un científic (tret de la majoría de matemàtics i físics) que domini l’estadística.

  • Daniel Closa

    08/09/2015 15:56

    Pons: Però no oblidis com puteja quan algú demostra que el teu treball tenia errors! :-)
    En tot cas, aquestes son les regles del joc .-)

    tramuntaire: reproduïbilitat “ad infinitum”,
    Ep! Confirmar o rebatre ÉS la base de la ciència! Per això les pseudociències sempre busquen excuses per justificar que les seves afirmacions no es poden reproduir

  • tramuntaire

    08/09/2015 10:18

    “Un estudi ha demostrat que el 61% dels treballs no són reproduïbles”. És reproduïble aquest estudi?

    El mètode científic: un dels millors mètodes (sinó EL millor) per conèixer la realitat. Precisament per això cal que la societat sàpiga com funciona, que un sol estudi no fa estiu.

    El món acadèmic: Reflecteix la nostra societat capitalista i competitiva, on el mètode científic no es pot aplicar rigorosament per pressions externes, sobretot diners i egos.

    Però qui ha decidit que el més important en ciència és la novetat i no pas confirmar o rebatre les bases de la ciència?

  • Pons

    08/09/2015 9:43

    La satisfacció de demostrar quelcom amb un estudi científic deu ser gran, però tampoc s’ha de menysprear la satisfacció de demostrar que un estudi científic s’equivoca :D