Això és eficaç (o no), segona part

Seguint la sèrie encetada l’altra dia, avui començarem a parlar de característiques que han de tenir els estudis sobre l’eficàcia d’un producte.

Suposem que volem demostrar que aplicar una crema antiarrugues redueix com a mínim un 50% l’aparició de noves arrugues al voltant dels ulls, després d’un any d’aplicació contínua, 2 cops al dia. Està bé, ja veurem si ho aconsegueix. Però per identificar l’efecte de la crema ens fa falta un comparador: com a mínim hem de saber què passa si no fem res. És a dir, comparar l’eficàcia de la crema amb no posar-se la crema. Si resulta que obtenim millors resultats amb la crema que no fent res, podrem afirmar que la crema és eficaç. Si estem molt segurs del nostre producte, podem comparar la nostra crema amb una de la competència i si tenim èxit, proclamar que la nostra crema és millor que tal altra producte.

De fet, molt sovint veiem que les afirmacions sobre eficàcia es fan sense cap comparador: ens diuen que tal política educativa ha millorat els resultats dels alumnes, però sovint no ens diuen si la política educativa s’ha comparat amb un altre tipus de política aplicada simultàniament a un altre grup d’alumnes. Sense aquest pas, qui pot assegurar que els resultats observats siguin deguts al canvi de mètode d’ensenyament i no, per exemple, a canvis demogràfics de la població o a diferències en el professorat?

Bé doncs, cal poder comparar per poder decidir. I cal poder comparar en condicions d’igualtat: en l’exemple de les cremes, cal que la gent que es posarà la nostra crema sigui “semblant” o “comparable” a la gent del grup que es posarà l’altra crema -o que no es posarà res de res. Per entendre’ns, no podem provar la nostra crema en joves models de 20 anys preocupades per la seva pell i la de la competència en velles pageses exposades al sol tot el sant dia: ja sabem d’entrada qui tindrà més bons resultats, per molt bo que sigui el nostre producte. Això és un exemple una mica extrem, però què passaria si les participants a l’estudi que es posessin la nostra crema fumessin més que les del grup de comparació? Podríem trobar-nos que la pell no els millorés gaire, no tant per culpa de la manca d’eficàcia de la crema, com per l’efecte nociu del tabac sobre la pell. I què passaria amb l’eficàcia de les cremes si les participants al grup de la nostra crema tinguessin més acné que les de l’altre grup abans de començar l’estudi? Cal anar amb compte com es fan les comparacions.

Seguint amb l’exemple de les polítiques educatives, a Catalunya s’ha parlat d’importar l’exitós model educatiu finès. Si abordem la qüestió en termes d’estudi, tindrem 2 grups: els nens i mestres del sistema educatiu finès i els nens i mestres del sistema català i un sol “tractament”: el model educatiu finès. Però són comparables els estudiants finesos i els catalans? I els professors? I la inversió en educació dels dos països? I les famílies dels alumnes? Estan segurs que si apliquem la política educativa finesa aquí, obtindrem els mateixos resultats que ells? Potser abans d’importar a la brava, caldria experimentar i comparar a Catalunya l’eficàcia del model finès i la del català, aplicats a 2 grups de nens i professors catalans. I caldrà encara que els dos grups de nens i professors catalans siguin comparables -semblants- entre ells. I en base a tot això, decidir.

Bé doncs, fins aquí tenim una pregunta ben definida -1r post- i una idea clara de que per poder proclamar eficàcia hem hagut de fer una comparació, i que aquesta comparació sigui justa. En el proper post proposarem un mètode eficaç per controlar els factors que sabem d’entrada que poden fer diferents dos grups d’estudi, però molt més important encara, un mètode que també és eficaç per controlar aquells factors que desconeixem però que poden tenir un efecte sobre l’eficàcia.

Comenta

*

(*) Camps obligatoris

L'enviament de comentaris implica l'acceptació de les normes d'ús