No miris només la part bona

La imatge de la ciència és la d’una activitat en la que es van fent descobriments i es van publicant en revistes especialitzades per tal de sotmetre’ls a les opinions de la resta de científics i de pas, per contribuir a augmentar el coneixement global que tenim sobre cada tema en concret. Una imatge molt bonica i inspiradora que transmet la sensació d’una millora, potser lenta, però constant. Per desgràcia no és exactament així.

Una cosa que en general es passa per alt i que els estudiants de doctorat descobreixen d’una manera dolorosa és que la majoria d’experiments no acaben de sortir. Hi ha mil motius pels que un experiment pot no sortir. Mal disseny, errors en els càlculs, errors en l’equip, reactius fets malbé,… També pot ser que la hipòtesi plantejada fos incorrecta i simplement no hagués de sortir el que esperàvem. L’estat normal d’un científic no és el de eufòria per un descobriment sinó el de frustració per un resultat desconcertant que no pot interpretar.

També pot passar una cosa molt emprenyadora. Que ho facis malament i surti el que volies. Pot passar que la teva hipòtesi sigui incorrecta, però que per un error el resultat sigui l’esperat. Si ho haguessis fet bé, hauries descobert que anaves errat, però algun error fa que obtinguis el resultat esperat. Tu acabes encantat i amb l’ego pels núvols… però errat.

Això pot tenir conseqüències inesperades i relativament perverses. Abans o després publicaràs aquest resultat, satisfactori però erroni, i hi haurà qui intentarà reproduir-ho, altres formularan teories a partir de les teves conclusions (errònies, recordem-ho) i altres pensaran que son un desastre perquè no els surt el mateix que a tu. El cas d’aquests últims és més cruel perquè potser ho estan fent bé i els surt el resultat negatiu correcte.

El problema és que a les revistes no els agrada publicar coses que no surten, als investigadors no els agrada publicar que els experiments no funcionen o que les seves hipòtesis no es confirmen i als laboratoris no els agrada publicar que els seus medicaments no funcionen. El que tots volen són descobriments, no constatacions que allà no hi ha res per descobrir. Una mala idea perquè és important saber on buscar com saber on no cal buscar. La tendència de les revistes a publicar només resultats positius és el que s’anomena “biaix de les publicacions” i pot fer perdre molt de temps a la ciència.

Uns autors ho han posat de manifest amb un treball sobre els efectes psicològics de l’administració de la hormona oxitocina per via nasal. La idea és que d’aquesta manera s’aconsegueix que arribi amb més facilitat al cervell i els seus efectes sobre el comportament, per exemple augmentant l’acceptació del risc, seran més marcats.

Aquests autors van començar a treballar-hi fa uns anys ja que la idea de l’administració d’oxitocina per via nasal s’havia publicat alguna vegada i era prometedora. Passats els anys havien aconseguit publicar un treball amb resultats positius, però estaven descontents. Altres treballs que havien fet i que havien donat resultats negatius no els havien aconseguit publicar. Les revistes no hi estaven interessades en aquells resultats negatius. El seu raonament va ser: Ho hem intentat vuit vegades, només ha sortit en una, però és la única que s’ha publicat. Aquest únic treball és l’únic que la gent coneixerà i no sabran res dels altres set que no han sortit, de manera que tothom pensarà que la oxitocina per via nasal funciona molt bé, mentre que nosaltres pensem que en realitat no funciona.

El que han fet ha sigut aconseguir publicar (segur que els ha costat força!) un estudi ajuntant tots els vuit treballs. Amb totes les dades queda clar que, si hi ha algun efecte, aquest és molt menor del que es podria pensar si només mirem els resultats positius que són els únics que es publiquen. L’important de tot plegat no és el cas concret de la oxitocina, sinó el posar sobre la taula quantes vegades més està passant això. Quants resultats que donem per bons deuen ser, en realitat, la excepció que va sortir una única vegada? Segur que molts més dels que ens agradaria.

La idea que també cal publicar els treballs amb resultats negatius és acceptada per tothom, no la discuteix ningú, tothom hi està d’acord… però ningú la posa en pràctica. Tenim clar que hem d’aprendre dels errors, de les hipòtesis errònies o dels treballs impossibles de reproduir, però s’ha de reconèixer que no hem trobat la manera de fer-ho. Però si volem que la ciència sigui una eina útil, ens caldrà fer-ho d’una vegada.

5 comentaris

  • Ramon Fabregat

    28/03/2016 17:59

    Totalment d’acord, pero no sempre és posible. Tal com menciones “a les revistes no els agrada publicar coses que no surten”

  • Lluís Mª Bassas

    23/03/2016 2:58

    Des del primer moment de la meva residència de medicina de familia vaig voler fer una revista on publicar tots els treballas fallits…projecte fallit!. Ara tots ens omplim la boca de que és molt important fracasar per crèixer però quan toca fer-ho públic sembla que no ens agrada tant!, una llàstima per a tots!

  • Antoni Cuadrench i Fort

    22/03/2016 16:45

    Molt oportú l’escrit d’avui. Per experimentar cal molta paciència, no fallar en el mètode i mai anar amb presses.

  • Daniel Closa

    21/03/2016 11:22

    Ja ho vaig fer una vegada. I tothom està d’acord amb la conclusió: Els científics som idiotes!
    http://ciencia.ara.cat/centpeus/2013/06/12/el-preu-de-publicar/

  • XeXu

    21/03/2016 10:58

    Llavors dec ser afortunat, perquè un dels treballs que em van publicar era basat, sobretot, en resultats negatius. Però tens raó que no és el comú, i en canvi ens hem de creure tot el que es publica com a cert. Un dia podries parlar de com funcionen les revistes en realitat i que aquest món nostre de la ciència no és tan maco com es vol pintar. No, millor no ho expliquis, que no publiques res més en la vida…