Això és eficaç (o no) tercera part.

Aquest és el tercer i darrer apunt de la sèrie sobre l’avaluació de l’eficàcia. Els altres dos els vaig penjar ja fa força temps, però com que penjo molt poca cosa, és fàcil trobar-los tirant enrera – si algú hi té cap interès.

En els posts previs comentàvem que per avaluar l’eficàcia d’una intervenció –posàvem d’exemples l’aplicació d’una crema antiarrugues o la implementació d’una nova política educativa- calia d’entrada una pregunta concreta que definís amb precisió la qüestió a estudi i com a mínim dos grups d’individus. Comentàvem també que calia assegurar que aquests grups fossin “comparables”. Si els grups fossin massa diferents entre ells, seria complicat destriar l’efecte del tractament de l’efecte de les característiques dels subjectes de cada grup: va ser la crema antiarrugues que no va funcionar o van ser les noies del grup que es va posar la nostra crema que tenien més acné que les del grup de la crema de la competència?

Bé doncs, la millor manera que es coneix per fer grups “semblants” o “comparables” és “l’aleatorització”. És a dir, deixar-ho en mans de l’atzar. De la mateixa manera que si tirem enlaire una moneda prou vegades acabarem gairebé sempre tenint aproximadament tantes creus com cares, si estudiem prou gent, la mitjana d’edat, la mitjana d’estudis, la història d’acné, el tabaquisme, etc tendiran a repartir-se de forma semblant entre els dos grups d’estudi. Això és un fenomen que no per habitual, deixa de ser gairebé màgic: l’atzar farà que -en la gran majoria de les vegades- els dos grups acabin sent semblants. Però el veritable poder de deixar actuar l’atzar, és que distribuirem de forma semblant tots els factors que puguin influir en els resultats, tant si els coneixem com si no! La proporció de gent que sàpiga tocar el piano serà semblant en els dos grups, la de la gent que hagi pujat al Bastiments també, i així fins a l’infinit. Òbviament,  si només hi ha un pianista, anirà a parar a un sol grup, i per tant com menys freqüent a la població sigui la característica que volguem que es reparteixi de forma equitativa entre els dos grups, més gent caldrà incloure a l’estudi. Hi ha fórmules matemàtiques per calcular com de grans han de ser els grups en funció de com de freqüents siguin els factors; ara no hi entrarem. Però, alto, estem parlant de probabilitats: existeix sempre la possibilitat, per remota que sigui, que l’atzar provoqui una distribució desequilibrada: la mala sort també existeix! Cal verificar que l’aleatorització hagi funcionat correctament.

Bé, retornant al cas de l’estudi de l’eficàcia de les polítiques d’ensenyament fineses i catalanes: es podrien aleatoritzar els centres educatius catalans perquè impartissin ensenyament amb un o altre sistema. De fet, com que hi ha moltes escoles al país, seria més pràctic agafar una mostra aleatòria de tots els centres (una tria a l’atzar d’entre tots els centres catalans) amb l’esperança que l’atzar fes una mostra representativa de tots els centres i dividir-la en 2 grups de forma aleatòria també. En aquest estudi, tractaríem el centre educatiu com si fos un sol individu i aconseguiríem que la proporció de centres rurals i urbans, en barracons i ben equipats, nous i vells etc fos alhora semblant entre els dos grups i semblant a la mitjana de les caraterístiques de tots els centres del país. D’aquesta manera, els resultats pel que fa a la nostra intervenció –la nova política- serien vàlids (creïbles) perquè els dos grups estudiats serien semblants i a més serien extrapolables perquè haurien estat triats a l’atzar d’entre tots els centres del país. Sempre amb el permís de la mala sort, això sí.

Un cop arribats a aquest punt, armats amb una bona pregunta, una intervenció que volem provar i uns grups d’estudi comparables i representatius només ens quedaria engegar l’estudi, no fer trampes mentres el féssim –en medicina es fan servir càpsules idèntiques als dos grups perquè ni metges ni pacients sàpiguen qui pren què, en el cas de l’educació l’emmascarament seria més complicat- i presentar els resultats de forma neutra. Si es decidís adoptar la nova intervenció –aplicar la nova política a tots els centres- seria convenient que al cap d’un temps s’avaluessin els resultats en condicions d’aplicació normals, és a dir, fora de l’estudi que n’avaluava l’eficàcia. No és infreqüent que el fet d’estar en un estudi influeixi en els resultats d’una intervenció. Tant pot ser que es pari més atenció a fer les coses bé i els resultats estiguin “inflats” o bé que la manca d’experiència faci que els resultats de l’estudi siguin pitjors que els que s’obtindran quan els professors i alumnes ja hi estiguin avesats. De fet, en la mesura del possible, caldria fer una avaluació contínua de l’eficàcia de totes les intervencions importants que es fan, ja que els que és eficaç avui pot deixar de ser-ho demà o pot presentar problemes inesperats que no hagin estat detectats durant l’estudi inicial, potser perquè no es va estudiar prou gent o perquè l’estudi no va durar prou temps. És un no acabar mai, vaia.

I fins aquí aquesta revisió forçosament simplificada de com avaluar si una cosa és eficaç o no. Espero que algú l’hagi trobada mínimament interessant -útil seria fantàstic- i espero no haver dit cap bajanada. Si algú no està d’acord amb alguna cosa de les que he dit, si us plau que m’ho faci saber!

2 comentaris

  • Sempre curiosa

    17/07/2011 12:00

    Gràcies Joan per les teves clares explicacions sobre ciència.

    • jfortuny

      20/07/2011 12:47

      De res, a disposar!

Comenta

*

(*) Camps obligatoris

L'enviament de comentaris implica l'acceptació de les normes d'ús