Entrades amb l'etiqueta ‘ètica’

Escolteu les dones i els homes de ciència

divendres, 5/10/2018

Ara fa set anys, en una entrevista, el pintor Antonio López va dir això: “La cosa es posarà seriosa. Caldria escoltar els homes de ciència més que als banquers. Així ha ser pel bé de tots”. Crec que tenia tota la raó.

Sembla que els científics estiguin callats, massa callats. No és cert. Ho expliquen tot, perquè la ciència, a més de basar-se només en fets comprovats, és oberta i defensa el principi d’universalitat. Tots els resultats científics es sotmeten a un procés anònim de revisió i seguidament, si són acceptats, es publiquen en revistes i congressos que tothom pot consultar i llegir. El principi d’universalitat implica que qualsevol nova troballa és a l’abast de tothom i per tant pot ser usada per a millorar les condicions de vida de qualsevol persona del món. Els científics parlen, i sobretot escriuen, de manera que tot el que diuen es pot llegir. Penseu en els darrers premis Nobel de medicina, física o química. Busqueu, i tindreu informació sobre els seus descobriments.

Es pot argumentar que la ciència és fosca, i que aquests escrits no són fàcils d’entendre. És cert. El llenguatge científic és molt precís, i això fa que no sigui accessible a tothom de manera immediata. Ens cal un esforç molt més gran de divulgació per a que la veu dels científics arribi a tothom. Però això no treu cap mèrit a la ciència: gràcies al fet que és oberta i universal, tothom es pot beneficiar dels seus resultats. L’ús ètic de la ciència ens pot salvar.

Fa poc, en una conferència, una estudiant va preguntar com es podia justificar el fet que determinats departaments d’Universitats japoneses (i d’altres països) s’haguessin posat a treballar en projectes militars finançats pels seus ministeris de defensa. La meva resposta personal va ser que jo creia que els qui treballaven en aquest tipus de projectes no eren científics, i que per tant no feien ciència. Perquè la recerca militar és secreta per naturalesa, i per tant vulnera aquest principi bàsic de la ciència: la universalitat. Podríem dir que tot allò que no és publicable i usable per al benefici de tota la humanitat, simplement no és ciència.

Tornant a l’ètica, hem de dir que la ciència evita ficar-se en aspectes transcendents, com bé ens explica en Michael Shermer. No li cal. Com diu en Shermer, el principi de ser amable i ajudar als altres ha estat una estratègia exitosa durant tota l’evolució humana, combatent a la vegada l’entropia en base a fer coses “extròpiques” i usant l’energia per ordenar, construir i sobreviure. Però és que a més, el principi d’universalitat ens porta directament a veure que hem de respectar la dignitat de tothom. Perquè l’objecte d’aquesta ètica que emana de la ciència són totes i cada una de les persones del planeta. Els que sofreixen fam o violència i els qui malviuen o tenen limitada la seva llibertat són persones que ara mateix viuen al nostre planeta i per tant, prop nostre. El seu sofriment l’està causant algú, que n’és el responsable. Són persones que ara mateix sofreixen per culpa d’altres persones, i que tenen dret a que allò que ara és injust, es corregeixi ara. Aquest és el principi ètic essencial, com indica en Michael Shermer. Perquè els drets de totes les persones impliquen deures. El repte real que tenim és el de millorar les condicions de vida de gairebé vuit mil milions de persones, assegurant a la vegada la sostenibilitat planetària. És un repte que només es pot resoldre des d’una visió ètica a nivell global, amb l’ajut d’eines que ens poden subministrar la ciència i la tecnologia, perquè els gestors dels grans negocis, els “banquers” de l’Antonio López, fins ara només ho han empitjorat i ja no ens serveixen.

Fa poc, vaig quedar sorprès per una frase que vaig llegir a la versió impresa d’un article de l’Ignasi Vidal-Folch on parlava de la venda de bombes “de precisió” a l’Aràbia Saudita. La frase era aquesta: “no hi ha una solució fàcil en aquest conflicte entre economia i ètica”. L’anàlisi d’aquest oxímoron que posa al mateix nivell principis ètics i benefici econòmic, explica moltes coses. M’agrada pensar que, d’aquí a deu o vint anys, qui analitzi aquesta frase ho veurà com un conflicte, ja passat, entre aquell vell sistema mundial de dominació basat en el negoci (la civilització dels “banquers” de l’Antonio López, la dels beneficis, les grans corporacions, les grans desigualtats i la dels amos del món) que haurem estat capaços d’aturar abans del suïcidi com espècie, i la una civilització emergent basada en la paraula, el diàleg, els drets humans i la cura de totes les persones i del planeta.

El progrés i el benestar que promouen la ciència i la tècnica han d’arribar a totes les persones que habiten la Terra, per damunt d’hipocresies, negocis i interessos. Cal protegir aquest planeta, que és de tots, i limitar tot allò que pot fer-li mal. No escolteu els banquers. Escolteu els homes de ciència i, sobretot, les dones de ciència.

La imatge de dalt és d’aquest vídeo, que mostra la feina d’Afroz Shah.

——

Per cert, la Carme Torras diu que els robots actuals ens porten a pensar en termes d’ètica. Explica que els anomenats robots socials plantegen un ventall de qüestions ètiques molt amplies i complexes, que no podem deixar de plantejar, debatre i resoldre.

La corba que mai s’acaba

dissabte, 25/08/2018

Tenim una botiga (o una exposició) que té 16 zones diferents disposades en 4 files de 4, com veiem al primer dibuix de la imatge d’aquí al costat. Hi ha alguna forma de posar les parets o separacions de manera que la gent que entra per una banda hagi de passar per totes i cada una de les estances abans de sortir?

La resposta, que segurament haureu vist (o sofert) a algunes botigues, és el recorregut de Hilbert d’ordre 2, que teniu just al costat. Només cal deixar pas en el sentit d’aquest recorregut i barrar-lo en totes les demés direccions, de manera que cada una de les zones quadrades tinguin dos costats que permetin el pas i dos parets que l’impedeixin. Els visitants, abans de poder sortir, hauran de passar per tots els racons de l’espai d’exposició.

I si volem fragmentar més l’espai? En aquest cas podeu pensar en subdividir cada una de les 16 zones en 4, de manera que tingueu una quadricula de 64 (vuit per vuit) zones. Per a  crear un recorregut que passi per tots i cada un d’aquests 64 espais, només cal fer una cosa: per a cada un dels 16 espais del cas anterior que tenim dalt a la dreta a la imatge, mantindrem els seus “portals” d’entrada i sortida, però obligarem que la gent hagi de recórrer cada una de les seves 4 sub-zones. Veiem-ho en els dos primers quadrats de la disposició de 4 per 4. En el d’entrada, els visitants entraven per l’esquerra i sortien per la dreta; en el segon, entraven per l’esquerra i sortien per sota, segons veiem al recorregut de Hilbert de dalt a la dreta de la imatge. Ara, per generar el recorregut de Hilbert d’ordre 3 que passarà per 64 espais (recorregut que podeu veure a la imatge, sota i a l’esquerra), només hem de posar separacions que obliguin a fer un recorregut en “U” al primer quadrat i un altre en sentit Nord-Oest -> Nord-Est -> Sud-Est -> Sud-Oest al segon. Si aneu fent el mateix per tots els quadrats de dalt de la imatge, generareu fàcilment aquesta corba de Hilbert d’ordre 3.

Però això no acaba aquí, perquè podem repetir el procès. Subdividim cada una de les 64 zones en 4 sub-quadrats, i per cada un dels 64 quadrats mantenim els seus “portals” d’entrada i sortida, obliguem que els visitants hagin de recórrer cada una de les seves 4 sub-zones. El resultat és el recorregut de baix a la dreta de la imatge (corba de Hilbert d’ordre 4), que passa sistemàticament una sola vegada per tots i cada un dels 256 quadrats d’una retícula de 16 per 16 quadrats. Evidentment, la corba de Hilbert d’ordre 5 passa per tots els 1024 quadradets de 32 per 32, i la d’ordre 6 recorre (quasi res) 4096 petites zones quadrades. Si algun dia heu de muntar una exposició amb 4096 obres i voleu assegurar-vos que tothom passarà (mirant o no) per totes elles, ja sabeu la solució: podeu estructurar l’espai en base a una corba de Hilbert d’ordre 6. No és clar que garantiu la satisfacció de la gent, però el que és clar és que els haureu forçat a fer el que voleu. Podeu veure els 6 primers nivells de la corba de Hilbert plana en aquesta imatge gif animada (que també podeu trobar a la web que explica la corba de Hilbert). La de nivell 6 és realment recargolada, oi?

David Hilbert, el gran matemàtic, va estudiar i proposar aquesta corba l’any 1891, als 29 anys, un any després que Giuseppe Peano estudiés les corbes que porten el seu nom. Una de les seves propietats és que el procés de creació d’aquesta corba de Hilbert no acaba mai. Si tenim temps i paciència, podem dibuixar una corba de Hilbert d’ordre 7 que passarà per tots els 16384 quadradets d’una retícula de 128 per 128, o una d’ordre 10 que recorrerà més d’un milió de petits espais. Les corbes d’ordre 11 o 12 saben recórrer tots i cada un dels píxels de les imatges que captura una bona càmera digital, sense passar dues vegades pel mateix píxel. I podríem continuar més i més, subdividint cada vegada en 4 les regions quadrades del pas anterior (vegeu la nota al final). D’altra banda, la imatge de dalt ens mostra que, a cada pas, la corba és el doble de llarga que en el pas anterior. Si l’espai que tenim és sempre el mateix i només anem subdividint les seves cel·les, i si la longitud de la nostra corba de Hilbert d’ordre 2 és, per exemple, de 40 metres (la qual cosa correspon a un espai inicial de 10 per 10 metres), la d’ordre 3 serà de 80 metres, la d’ordre 4 tindrà 160 metres, la d’ordre 6 serà de 640 metres i, si arribéssim a la corba d’ordre 10, els visitants de la nostra exposició haurien de caminar 10 quilòmetres per sortir d’aquest espai diabòlic de 10 per 10 metres que els hem preparat. La conclusió és clara i evident: si no ens aturem i continuem refinant la corba de Hilbert, acabarà tenint una longitud infinita i omplint tot el quadrat inicial com un fil ben recargolat. És una corba que ho omple tot i que mai s’acaba. Per això, tot veient que omple tot un quadrat del pla, diem que té dimensió fractal 2.

Una altre aspecte interessant de les corbes de Hilbert és que el mateix que hem fet en 2d es pot fer en 3d (en aquest vídeo podeu veure l’aspecte que té la corba de Hilbert 3D d’ordre 3, que passa pels 512 cubicles d’una retícula a l’espai). És una corba que també té longitud infinita amb dimensió fractal 3, de manera que acaba omplint tot l’espai inicial. Pot ser “útil” per a qui vulgui muntar una exposició sota l’aigua per visitants submarinistes.

Si, en una cartolina, pinteu una retícula de 8 per 8 quadrats i els aneu numerant de l’1 al 64 segons l’ordre del recorregut de la corba de Hilbert d’ordre 3, podeu fer un joc matemàtic d’estiu per als vostres nens. Els jugadors, per torns i amb un retolador, han d’anar pintant les separacions “prohibides” entre quadradets veïns, que són tots aquells costats de la retícula que separen quadrats amb números no consecutius. Cada un d’ells, abans de pintar-lo, explica quin vol pintar. Si intenta pintar un costat incorrecte (que separa números correlatius), un altre jugador (o vosaltres) avisa i guanya un punt. Al final, la retícula de la cartolina mostrarà el recorregut que ens fan seguir en una de les botigues que comentava al principi. Una altra cosa que podeu fer, al final, és veure qui troba la “millor drecera”, que és el costat ja pintat com a paret que separa dues caselles amb números el més diferents possibles. També podeu cercar altres dreceres no tan òptimes, i anar-les repintant d’un altre color.

La corba de Hilbert em fa pensar en Spinoza i en la seva “Ética demostrada segons l’ordre geomètric”, perquè és tot un exercici sobre els límits, el finit i l’infinit. En un quadrat ben finit i limitat, Hilbert ens hi construeix una corba que l’omple i que té longitud infinita. Ara bé, això té un petit problema: per a que tingui longitud infinita, hem de generar-la amb un “total” d’infinits passos, cosa que implica un temps de construció infinit. Com que som finits i limitats, ens haurem d’aturar, i la corba final tindrà una longitud mesurable. La corba de Hilbert no s’acabi mai, però no és del món real. Tot allò que forma la realitat (les corbes, els objectes, els recursos, el creixement, el poder, nosaltres mateixos) és limitat. L’infinit és una construcció mental, que podem imaginar gràcies al poder del raonament per recursió. Hem de ser ben conscients d’allò que és realista i del que són mites utòpics.

———
Per cert, en Vicent Martínez Guzmán, filòsof de la pau i traspassat fa pocs dies, deia això: “nosaltres els pacifistes som els realistes, els utòpics són els que volen aconseguir la pau mitjançant la violència”.

———

NOTA: La corba de Hilbert es pot explicar amb un algorisme recursiu de substitució que és ben curt i senzill. Tot l’algorisme consisteix en aquestes quatre regles de substitució, que anomenarem A, B, Af i Bf:
A -> e B C d A C A d C B e
B -> d A C e B C B e C A d
Af -> e C d C d C e
Bf -> d C e C e C d

Coneixeu els gràfics de la tortuga? Tenim una tortuga-robot que porta un retolador enganxat a la closca que marca, al terra, tot el camí que va fent. La tortuga només pot fer tres coses. Aturada, pot girar a l’esquerra (“e”) o a la dreta (“d”). Quan ja ha girat, pot caminar un petit trosset (“C”) en la direcció que es troba, trosset que sempre és de la mateixa longitud L. Els girs a l’esquerra (en contra de les agulles del rellotge) i a la dreta (en el sentit de les agulles del rellotge), són sempre de 90 graus. Per exemple, la regla Af diu que cal girar a l’esquerra, avançar L, girar a la dreta, avançar L, tornar a girar a la dreta, avançar L, i finalment girar a l’esquerra. És una regla, semblant a la Bf, que fa un recorregut en forma de “U” mentre es passeja pels 4 quadradets d’una retícula de 2 per 2.

Les regles A i B, que són les essencials de l’algorisme de Hilbert, indiquen que a cada pas de substitució, hem de substituir la lletra “A” o la “B” per tot el que hi ha a la dreta. Hi ha dues possibilitats. La primera, és només usar les regles “A” i “B”, començant per exemple per la “A” i substituint una i altra vegada les “A” i “B” de la dreta per les seves corresponents extensions. El procés és una recursió infinita, que ens portaria, si poguéssim acabar, a la corba teòrica de Hilbert. La segona, és començar per “A”, substituir N vegades per les expressions de la dreta de les regles “A” i “B”, i en acabar, usar les substitucions indicades per les regles “Af” i “Bf”, que ja no inclouen signes “A” i “B” i per tant aturen el procés. Si feu això darrer podreu acabar i fer que la tortuga dibuixi una corba, però només serà una aproximació a la corba de Hilbert…

Espai, temps i ètica

divendres, 16/02/2018

En Michael Shermer, en un article recent, diu que som éssers sensibles dissenyats per l’evolució per sobreviure i florir entre l’espasa de l’entropia i la paret de la mort. Ens explica, com bé sabem, que la segona llei de la termodinàmica (que tracta de l’entropia) és la primera llei de la vida. Si no fem res, l’entropia seguirà el seu camí i ens portarà cap a estats de més i més desordre que acaben en la mort. Per tant, explica, el nostre propòsit a la vida, que els nostres gens han après durant milions d’anys, és combatre l’entropia fent coses “extròpiques” i usant energia per ordenar, construir i sobreviure. Ser amable i ajudar als altres ha estat una estratègia exitosa, diu. Castigar els dictadors i aquells que volen fer mal als altres n’ha estat una altra, fins i tot al Paleolític. De fet, a partir de totes aquestes accions, els humans hem anat creant i evolucionant un concepte de moralitat i ètica que es basa fortament en les lleis de la natura.

En el seu escrit, en Michael Shermer explica que, a la llarga, l’increment d’entropia implicarà la fi de tot l’univers. Cert. Però no ho veurem, perquè no vivim milions d’anys. Vivim ara, aquí i amb els altres. I així és com la perspectiva científica defineix totes les facetes de l’ètica: amb l’espai i el temps. L’argument que tot és vàlid i que no importa com actuem perquè el món s’acabarà de totes maneres, és èticament inacceptable, perquè moltes coses que fem sí que importen als altres, ara mateix. Pensem en els torturadors. Podem acceptar el que fan? No, perquè té greus conseqüències per a les seves víctimes. No cal que hi hagi efectes còsmics ni que afecti a l’univers, quan un ésser humà és torturat. L’hi importa a ell, importa a la seva família, i per tant ens importa.

Hi ha qui diu que sense Déu i sense la promesa de la vida eterna, la vida no té cap significat i per tant la moralitat deixa de tenir sentit. Però els conceptes d’espai i temps ens recorden que vivim ara i aquí, no a l’altra vida. I que el judici sobre les nostres accions i les dels altres l’hem de fer en base a aquests paràmetres, independentment de si hi ha alguna cosa després de la mort o no. La ciència no es fica en aspectes transcendents, perquè no li cal, per construir l’ètica. Els que sofreixen fam o violència i els qui malviuen o tenen limitada la seva llibertat són persones que ara mateix viuen prop nostre. El seu sofriment l’està causant algú, que n’és el responsable. Són persones que ara mateix sofreixen per culpa d’altres persones, i que tenen dret a que el que ara és injust, es corregeixi ara. Perquè els drets de les persones impliquen deures. Deures envers els nostres éssers estimats, la nostra comunitat, la nostra espècie i el nostre planeta.

El que ens diu en Michael Shermer amb arguments científics m’ha recordat el que deia, en un llibret meravellós, l’Umberto Eco. A “En què creuen els qui no creuen”, Eco argumenta les bases de la seva ètica laica. Explica que som animals de posició erecta, que tenim nocions d’una dreta i d’una esquerra, i que podem fer coses, tots sabem què vol dir batre, aixafar, picar, caminar, ballar i moltes més coses com recordar i sentir desig, por, tristesa, consol, plaer i dolor. Però som junt amb els altres. Podríem morir o tronar-nos boigs si visquéssim en una comunitat on sistemàticament tothom hagués decidit no mirar-nos a la cara i comportar-se com si no existíssim, diu Eco. Per això, explica, hem de respectar els drets de la corporalitat dels altres, entre els quals hi ha el dret de parlar, de pensar i de ser tractats amb dignitat i sense violència. El reconeixement del paper dels altres i la necessitat de respectar, en relació amb ells, les mateixes exigències que considerem irrenunciables per a nosaltres, és el resultat d’un creixement mil·lenari que ha anat configurant l’ètica. L’ètica dels altres, que viuen ara i aquí.

Michael Shermer, el científic. Umberto Eco, l’escriptor. Dos raonaments diferents que arriben al mateix punt. Dos raonaments de cultura de pau que ens fan veure fins a quin punt hi ha molta feina a fer, al món. La imatge de dalt és d’aquesta pàgina web (foto de Kampala, feta per Dominic Bukenya).

———

Per cert, Joan Soler Felip, que va conèixer Pere Casaldàliga als 14 anys, explica que és una persona que està casada amb el poble. Als seus 90 anys, continua vivint en una casa senzilla, amb les portes sempre obertes a tothom. Tot citant Casaldàliga, en Joan Soler diu que el Primer món hauria de renunciar a les seguretats.

Versatilitat, autonomia, morts i ètica

dijous, 18/01/2018

A mitjans del segle XX, no hi havia màquines versàtils. Les neveres servien per conservar aliments, les tisores per tallar i les bicicletes per anar amunt i avall. Però ben aviat, els ordinadors ens van canviar les coses. Treballaven amb informació, adaptant-se en cada moment a allò que ens calia i fent tot tipus de càlculs. La seva versatilitat era extraordinària. Van passar de ser eines de càlcul a ajudar-nos en l’escriptura, processament i gestió de textos, ben aviat es van convertir en màquines ideals per manipular imatge, vídeos i so, i ara són eines bàsiques per a la comunicació i cerca d’informació. Els ordinadors són essencialment màquines versàtils.

Pot semblar estrany aquesta afirmació que els ordinadors són màquines, perquè estem acostumats a pensar que una màquina és un giny mecànic que actua i fa alguna cosa, mentre que els ordinadors treballen amb això tan subtil que anomenem informació. Però el fet és que les màquines actuals inclouen en general ordinadors que, gràcies a determinats mecanismes actuadors, realitzen tasques en el món real. Un amic meu diu que els cotxes d’avui en dia són ordinadors que controlen un motor, tot plegat cobert amb allò que anomenem carrosseria. Podríem parlar dels robots-aspiradora i de molts altres invents per la llar. I és clar que els mòbils són ordinadors amb una bona càmera de fotos que, a més, serveixen per a telefonar. Estem voltats d’ordinadors que fan coses, des de sistemes que llegeixen la matrícula del cotxe en entrar al pàrquing, fins màquines que ens fan un TAC i ens creen imatges del que tenim dins del nostre cos. En tots aquests ginys sempre hi ha el mateix: un ordinador convenientment programat, que detecta el que passa en el seu entorn amb un conjunt adequat de sensors, i que controla determinats actuadors que acaben fent el que cal. Ordinadors amb sensors i actuadors.

Fa ben poc, alguns d’aquests invents han aprés a volar. Són els drons: ordinadors que volen, detecten i actuen. Tenen motors elèctrics, una bateria, un sistema de control de vol i estabilització (ordinador), sensors (d’alçada, GPS i altres) i alguns actuadors (per exemple, una càmera de fotos o de vídeo). Són força autònoms, però habitualment requereixen que algú els condueixi des de terra. Els més sofisticats es controlen des d’un ordinador que mostra, a la pantalla, allò que el dron està veient amb la seva càmera. Això facilita el guiatge i la decisió de quan cal fer les fotos. Això sí, els drons, ordinadors que volen, porten determinats dispositius específics en funció del seu ús. És habitual que incloguin una càmera de fotos, però poden portar, a més i per exemple, material específic d’ajut per a rescats a la muntanya o fins i tot desfibril·ladors.

Els drons, hereus dels ordinadors, són altament versàtils. Poden salvar vides, cartografiar cultius, o fotografiar objectius militars que després seran bombardejats. Fins i tot, poden portar explosius i matar, comandats remotament des d’un ordinador per un “soldat” que actua com si estigués en un joc inofensiu. Malauradament, però, hi ha molt poc debat ètic sobre les morts extra-judicials amb drons. És èticament acceptable que, en països que han abolit la pena de mort, els jutges no condemnin ningú a mort mentre hi ha qui pot matar, impunement, amb drons? No puc entendre que la resposta no sigui un NO rotund.

Doncs bé, les armes autònomes encara van un pas més enllà. Aquestes armes, habitualment drons, inclouen un sistema d’intel·ligència artificial que pot acabar decidint, sense intervenció humana, si cal matar una determinada persona o destruir un objectiu concret. Són autònomes, cert; però el problema és que, com nosaltres, es poden equivocar. Perquè els sistemes d’intel·ligència artificial estan sotmesos a errors i perquè les màquines no tenen el que s’anomena comprensió profunda. I el problema és que els seus errors són vides de persones concretes.

Actualment hi ha un gran debat sobre aquestes armes autònomes letals (LAWS, conegudes també com robots assassins; la imatge de dalt és d’aquesta web). L’Stuart Russell, de la Universitat de California a Berkeley, diu que són “la tercera revolució de l’art de la guerra, després de la pólvora i la bomba atòmica”. I hi ha debat perquè hi ha grans interessos. El Departament de Defensa nord-americà insta a un augment de la inversió en tecnologies d’armes autònomes, de manera tal que “Amèrica pugui mantenir la seva posició davant els adversaris, que també explotaran els seus beneficis operacionals”. La frase no pot ser més clara. És l’ètica del poder i del domini, la llei del més fort que ignora la gent.

Per sort, els científics pensen més en termes d’una ètica que posa les persones al centre i que defensa els quasi oblidats drets humans, un dels quals és l’indiscutible dret a la vida de tota persona humana. Per exemple, un total de 116 experts en els àmbits de la intel·ligència artificial i la robòtica han signat una carta en la que demanen a les Nacions Unides que prohibeixi aquestes armes autònomes letals.

Acabo citant un article recent d’en Michael Shermer, en el que diu que el que cal prohibir és la guerra, directament. El podeu llegir aquí. Diu (poca gent ho sap) que això no és res de nou i que, de fet, la guerra ja es va prohibir l’any 1928 amb el pacte de Kellogg–Briand a París. Les disposicions bàsiques del pacte, que continua vigent, fixaven la renuncia a l’ús de la guerra i la promoció de la solució pacífica dels conflictes i disputes. Ho expliquen l’Oona A. Hathaway i en Scott J. Shapiro, professors de Yale, en un llibre recent. En Michael Shermer recorda el que ja deia en Salmon Levinson l’any 1917: que no hauríem de tenir lleis sobre la guerra com tenim ara, sinó lleis contra la guerra, de la mateixa manera que no tenim lleis sobre l’assassinat o l’enverinament, sinó lleis contra l’assassinat i l’enverinament. Cent anys després, amb una segona guerra mundial i infinitat d’altres guerres que han generat morts innocents, no només continuem igual sino que ara volem que les màquines versàtils siguin les que s’encarreguin de la feina bruta. Qui són els responsables? On és la ètica?

———

Per cert, en Bru Rovira parla del cas de l’activista Helena Maleno, i constata que el govern espanyol pressiona un tercer país (el Marroc) perquè condemni una persona que les nostres lleis no condemnen. Recorda que la investigació va ser ja rebutjada i arxivada per la mateixa fiscalia de l’Audiència Nacional.

La personalitat de la Tay

divendres, 1/12/2017

La Tay va ser un robot dissenyat per conversar. Era un “ChatBot“, terme que no és més que una contracció de xerraire (chatter) i robot, i que va ser proposat l’any 1994 per en Michael Mauldin. Aquests robots són programes informàtics que simulen converses, participen en xats, i es comuniquen amb persones. Els més habituals i senzills analitzen paraules clau de la nostra pregunta i construeixen la seva resposta tot consultant una base de dades de paraules i expressions. Moltes vegades els hem de patir en els sistemes telefònics d’atenció al client i en alguns centres de trucades. Són robots de xat específics per a converses relacionades amb un propòsit determinat i no per a qualsevol tipus de comunicació humana.

La imatge, que podeu trobar a aquesta web, és la que van escollir els creadors de la Tay. Val a dir que els robots xerraires són ben peculiars. No són materials. Són conjunts de bits, programes informàtics que necessiten un ordinador per a poder reaccionar i actuar. Els anomenem robots perquè reaccionen als nostres estímuls, actuant i creant respostes. Pertanyen, en definitiva, al que ara anomenem “aplicacions”. En tot cas, la Tay era especial, perquè tenia això que diem “intel·ligència artificial”. Les seves reaccions no estaven programades, sino que eren conseqüència del que havia après. Contestava en base al que “sabia”, i cada nova pregunta li servia per aprendre una mica més. Va ser creat per Microsoft amb aquest nom, Tay, que no és més que un acrònim: “Thinking about you“. Tay va ser dissenyat per imitar la conducta d’una noia nord-americana de 19 anys. Tenia un sofisticat sistema d’aprenentatge profund que li permetia aprendre mentre anava interactuant amb usuaris humans. I el 23 de març de 2016 va iniciar la seva aventura com una usuària més de Twitter. Va ser, però, una aventura ben curta, de només dos dies. En només 16 hores, Tay va enviar més de 96.000 tuits mentre s’anava fent racista i mentre anava enviant missatges cada cop més xenòfobs i amb més càrrega sexual. El van haver de desconnectar i Microsoft es va disculpar públicament.

Tay havia estat dissenyada per a fer-se més intel·ligent a mesura que els usuaris (sobretot els joves) anessin interactuant amb ella i li anessin enviant tuits. Però es va trobar en un entorn on bàsicament només hi havia violència, intolerància i insults. I ràpidament s’hi va adaptar, difonent tot tipus de frases racistes i masclistes i un bon nombre d’invectives d’odi. Va aprendre ben ràpid de tot allò que els humans li van tuitejar. La primera reacció de l’empresa va ser dir que Tay era una “màquina d’aprenentatge” i que algunes de les seves respostes eren inadequades, també indicatives dels tipus d’interaccions que algunes persones tenen amb ella. Però desprès, l’empresa va haver d’admetre que l’experiment no havia anat bé. Tot i que una de les directores de l’empresa, Satya Nadella, creu que aquest tipus de robots de xat són el futur de les aplicacions pels mòbils i que aviat els acabarem tenint al correu electrònic i a la missatgeria, el cert és que cal trobar maneres de prevenir que els usuaris d’internet puguin influir de manera negativa en ells per tal de garantir el respecte als principis ètics.

El sistema d’aprenentatge profund de Tay i de moltes altres aplicacions actuals d’intel·ligència artificial, es basa en una xarxa neuronal de moltes capes, en general més de 10. Justament, el terme “aprenentatge profund” (Deep Learning) es deriva d’aquest fet que es treballa en múltiples capes, capes que treballen d’una manera que recorda el funcionament de les neurones del cervell amb les seves connexions. Cada cop que Tay rebia un tuit, els seus 140 caràcters s’enviaven a la primera capa de “neurones”. Les capes d’una xarxa neuronal són una munió de cel·les, cada una de les quals pot guardar un valor. En aquest cas, les cel·les de la primera capa acabaven guardant informacions diverses sobre el contingut, les paraules i l’extensió del tuit. Després, i a travès del gran entramat de connexions que hi ha entre totes les cel·les de la primera capa i les de la segona, es calculen els valors de les cel·les de la segona capa de manera tal que el valor que acaba guardant cada una d’aquestes cel·les és una barreja, amb coeficients i funcions específiques per cada connexió cel·la-cel·la, de tots els valors de les cel·les de la primera capa amb les que està connectada. Aquest procés es repeteix tantes vegades com capes té la xarxa neuronal, i el que surt de la combinació de valors de les cel·les de la darrera capa és el tuit de resposta. Tot i que l’estructura no és difícil d’entendre, una xarxa neuronal profunda només funcionarà de manera acceptable si els coeficients i funcions associats a totes i cada una de les connexions entre capes estan ben ajustats. I aquests són justament els valors que contenen “l’aprenentatge” que ha anat fent el sistema. Cada nou tuit que rebia Tay generava una resposta, però a més, ajustava una mica els coeficients i funcions associats a totes i cada una de les connexions entre les seves cel·les neuronals. Com a nosaltres, a Tay, l’experiència l’anava configurant i anava marcant la seva personalitat tuitera. L’únic problema és que Tay era massa innocent i s’ho creia tot.

Les aplicacions d’aprenentatge profund basada en xarxes neuronals de moltes capes estan revolucionant la intel·ligència artificial. Cada cop són més a la nostra vida quotidiana i cada cop hi seran més. Traducció automàtica, reconeixement de cares, publicitat personalitzada segons els interessos que se suposa que tenim, i una llista que no s’acaba. Però hem de tenir present que són una eina, i que les eines no serveixen per tot. Els martells van bé per clavar claus, però si tenim un cargol, millor que agafem un tornavís. En aplicacions d’aprenentatge profund, cal tenir en compte com a mínim tres eixos: el d’acceptació d’errors, el de la mida de les dades i el de la seva qualitat. El primer, el de l’acceptació d’errors, té relació amb l’ús que en vulguem fer, i amb un tret inherent a les aplicacions d’aprenentatge profund i a les xarxes neuronals: no sempre l’encerten, a vegades s’equivoquen, i a més és difícil saber el seu grau de fiabilitat. No ens ha d’estranyar. Nosaltres ens equivoquem, i les noves eines de la intel·ligència artificial, que ens volen emular, també. El que passa és que en alguns casos els errors són acceptables i en d’altres, no. Si estem traduint un text i la frase que ens dona el sistema de traducció no té sentit, la corregirem i no passa res. Però si un metge està planificant una operació quirúrgica i el sistema s’equivoca, el resultat pot ser fatal. Per això, en aquest eix d’acceptació d’errors, la traducció automàtica pot conviure amb moltes equivocacions i en canvi la planificació quirúrgica o el disseny de ponts no (per posar dos exemples). El segon eix, el de la mida de les dades, indica una cosa força lògica. Ens diu que l’aprenentatge automàtic millora a mesura que incrementem el nombre de dades que li subministrem per a que aprengui. I el tercer, el de la seva qualitat, ens fa veure que l’aprenentatge necessita dades fiables, ben contrastades i diverses. En aquest context, ara sabem que les aplicacions d’aprenentatge profund basades en xarxes neuronals són eines que només serveixen quan podem acceptar un cert nivell d’errors, quan podem fer que aprenguin amb moltíssimes dades (l’anomenat Big Data) i quan aquestes dades són de qualitat. És el que passa justament a la traducció automàtica: Google, per exemple, disposa de moltíssims exemples de traduccions de qualitat, fetes per traductors professionals, que utilitza per a que els seus sistemes aprenguin. I això és justament el que no va passar amb el robot Tay, que bevia d’informació esbiaixada i de baixa qualitat. I és el perill de moltes aplicacions i sistemes que ens poden arribar (una de les quals són les polèmiques i molt perilloses armes autònomes). Cal estar ben atents, perquè la intel·ligència artificial pot ser una bona eina en aquells casos en que ens trobem ben situats als tres eixos, però pot ser funesta si la volem fer servir per allò que no ens pot resoldre.

Si voleu tenir un sistema de resposta automàtica a consultes no crítiques i sabeu com preparar un bon mecanisme d’aprenentatge basat en moltíssimes dades fiables, les aplicacions d’intel·ligència artificial us poden aportar una bona solució. Però si el que voleu, per exemple, és dissenyar un rellotge de sol, no us hi penseu, i apunteu-vos als algorismes clàssics de la geometria i astronomia. I si no us podeu permetre que el sistema de resposta automàtica s’equivoqui, penseu en solucions alternatives, fiables i deterministes. Els martells, usem-los per clavar claus.

——

Per cert, en Ferran Sáez Mateu diu que les anomenades “xarxes socials” estan substituint o, com a mínim, començant a desplaçar la noció clàssica d’opinió pública. Pensa que el periodisme del segle XXI ha de ser capaç de perfilar una identitat pròpia en relació a la de les xarxes socials.

Economia o ecologia?

divendres, 17/11/2017

En Jason Hickel, de la London School of Economics, diu que el gran repte de l’enginyeria del segle XXI és fer compatible un fort creixement del nivell de desenvolupament humà a nivell planetari, amb una reducció de recursos als països rics. Ho diu des la convicció que, si volem salvar el planeta i fer que tothom visqui amb dignitat, la única solució és que l’economia dels països rics decreixi.

És una idea que jo qualificaria de sorprenent, venint d’un economista, perquè estem acostumats a que sempre ens parlin de creixement. Ens diuen que el creixement és el motor econòmic del món: més recursos, més energia, més noves tecnologies, més productes de consum, més renda per càpita, més viatges i turisme, més de tot. Tot ha anat “bé” mentre hem pogut anar conquerint i explotant noves terres que han permès una substancial millora del nostre nivell de vida. Val a dir que, quan dic “nostre”, em refereixo a la setena part dels habitants del planeta que vivim als països del nord, aquesta setena part que tan bé ens mostrava en Hans Rosling al vídeo de la rentadora. Ara, quan el món ja se’ns ha acabat i cada cop és més difícil trobar nous recursos, tot se’ns ha complicat. Estem escalfant el planeta a nivells altament preocupants, estem incrementant les desigualtats i marginant gran part de la humanitat, estem destruint la diversitat i estem castigant els nostres néts sense que ells hi puguin fer res. Per això, en un moment en què el creixement està deixant de ser l’objectiu i es va convertint en un relat i un mite, les paraules de Jasen Hickel són molt oportunes..

No hem de perdre mai de vista els objectius i els reptes que tenim i tindrem. En paraules de Ellen Pikitch, l’important és crear una visió compartida d’una nova societat que haurà de ser sostenible a més de justa i equitativa. I ho haurà de ser per a tota la humanitat, per a les altres espècies i per a les futures generacions. Ellen Pikitch continua dient que el camí passa per tenir en compte les restriccions biofísiques que ens imposa el món real. És un objectiu ambiciós, totalment centrat en l’ètica, que es planteja la dignitat i la qualitat de vida de tota la humanitat present i futura i que no vol continuar depredant la biosfera. A més, el repte és arribar-hi, com diu, tenint en compte les restriccions biofísiques que tenim. Objectius ètics i reptes basats en restriccions. Res més proper a l’enginyeria, que habitualment ha d’aportar solucions per millorar la qualitat de vida en entorns plens de restriccions i límits, siguin de volum, pes, cost, temps, impacte ambiental o impacte social.

Hi ha un terme que s’està posant de moda i que trobo, si més no, delicat i polèmic. És el de “bioeconomia”. No m’agrada. Perquè economia, segons la seva definició habitual, implica creixement, diners i beneficis. Diners i beneficis que evidentment no són per a tothom, sino per a uns quants que es volen enriquir mentre incrementen les desigualtats al món. El que la humanitat necessita, segons Hickel i Pikitch, no és el creixement d’alguns i l’enriquiment d’uns pocs, sino tenir cura, de manera sostenible, de les necessitats de les persones. El gran perill d’aquesta “bioeconomia” és que acabi convertint la diversitat biològica del planeta en beneficis per a unes quantes fortunes. Mentre que els objectius ètics per al segle XXI inclouen una mínima qualitat de vida per a tota la humanitat present i futura, el perill de la “bioeconomia” és que sigui una manera de tapar i amagar objectius ocults d’enriquiment personal. Parlem massa de diners i massa poc de persones; i cada dia veiem massa objectius ocults i pocs objectius ètics. Per això, hi ha índexs com l’indicador genuí de progrés o com l’índex de progrés social que, per a mesurar el benestar, utilitzen factors basats en les persones. La imatge de dalt (que he obtingut d’aquesta pàgina web) mostra, per a la província canadenca d’Alberta, l’evolució de la renda per càpita (GDP) i de l’indicador genuí de progrés (GPI) entre els anys 1961 i 1999. Mentre la renda per càpita sembla indicar un gran progrés, el GPI ens indica més aviat una disminució de qualitat de vida. L’economia basada en els diners creix, però, què passa amb les persones?

Tornant a la idea dels límits i a la impossibilitat del creixement continu que defensen Hickel i Pikitch, l’ecologia pot ser-nos una bona mestra. Perquè som una espècie més en un món limitat, i tenim la responsabilitat de tornar el planeta a l’equilibri ecològic. L’altra dia, visitant el museu de la ciència, vaig estar observant les dues columnes de Winogradsky. Són recipients tancats de vidre, habitualment de forma cilíndrica però que també poden ser esfèrics, amb ecosistemes formats per molts tipus de micro-organismes que viuen perfectament sense necessitat d’interacció amb la resta de la natura. Els organismes de les columnes de Winogradsky no requereixen cap procés que impliqui creixement continu. Viuen en equilibri els uns amb els altres, alimentant-se de la llum que els arriba a través del vidre.

De fet, en Jason Hickel cita en Herman Daly, que en el seu famós llibre defensa l’economia de l’estat estacionari i del no-creixement. I, veient el que diuen tots dos, un es pregunta per què ens deixem enganyar per aquest creixement il·limitat que ens prometen els economistes clàssics, si som part d’un sistema ecològic limitat que hauríem de saber mantenir en equilibri.

———

Per cert, en Bru Rovira ens parla dels experts que aprofiten les escletxes del sistema per esprémer el bé públic i traslladar el botí a mans privades, cosa que diu que empobreix la resta de la societat on ells mateixos viuen amb un poder, despesa i privilegis fora de qualsevol mesura. Com ell mateix indica, els diners i els seus amos tenen ara més poder que els governs.

Edison i la xocolata

dimecres, 5/11/2014

L’altre dia, al carrer, em vaig trobar aquest cartell de l’ajuntament de Barcelona, i vaig pensar en Thomas Alva Edison. Segurament, a Edison li agradava la xocolata. Però no és això el que vaig pensar. Em va venir al cap una frase seva. Edison deia: “no he fallat. Només he trobat deu mil camins que no funcionen”. És una bona manera d’expressar el que és la recerca. Edison va haver de fracassar moltes vegades fins trobar la bombeta incandescent, i el xocolater Xavier ha hagut de fer cinc-centres proves per aconseguir sis varietats de xocolata. La frase d’Edison, optimista i engrescadora, la va citar Elif Bilgin en una entrevista. Elif Bilgin, de setze anys, va rebre l’any passat el premi Science and Action Award per haver trobat un nou bioplàstic que va saber sintetitzar a partir de peles de plàtan després de fer 10 proves fallides.

Els qui treballem a la Universitat som uns privilegiats. No ens fem rics, però treballem amb els joves estudiants, abans i després de graduar-se. I això és meravellós. Alguns d’ells, els pocs que s’animen a fer el doctorat, volen aprendre a fer recerca. No és fàcil. Aquest any he acabat recordant la frase d’Edison a dos estudiants, que per diferents circumstàncies estaven en moments de desànim i no acabaven d’obtenir resultats concrets.

Els estudiants de doctorat es pregunten què és la recerca. Després, poc a poc, ho aniran descobrint. Els que han acabat i ja són doctors saben que recerca vol dir preguntar-se sempre, llegir, cercar, experimentar i fer fer moltes proves, amb una actitud d’esforç i constància, sense defallir i amb esperit critic per analitzar sense prejudicis. Ja sabem, la bona xocolata es fa esperar i potser no surt fins després d’haver fet més de quatre-centes proves. El més important que es fa durant el doctorat és entendre què és això de la recerca. Al final, els estudiants, a més de fer la seva tesi, hauran acabat entenent què és la recerca, amb tot el que això comporta. Una actitud d’esperit crític davant la vida i moltes més coses.

Hi ha qui creu que la ciència és l’àmbit de les certeses, i que la recerca científica vol acabar trobant explicacions a tot. Però quan escoltem els científics, descobrim en canvi que la recerca és el terreny del dubte constant, de les preguntes sense resposta i del qüestionar-s’ho tot. Fa més de vuitanta anys, Einstein ja ens ho deia: “en ciència, no existeixen les teories eternes. Al final, l’experiència sempre acabarà contradient algunes de les prediccions de les teories anteriors. Cada teoria té el seu període de desenvolupament gradual i triomf, passat el qual pot experimentar una ràpida davallada”. Einstein ens ho va explicar en un meravellós llibre de divulgació, “The evolution of physics, que va escriure junt amb Leopold Infeld l’any 1939. Les teories científiques són com tot, en aquest Univers: neixen, creixen, donen lloc a d’altres teories, i al final moren. Més endavant, en el mateix llibre, Einstein ens avisa dels perills de la vanitat científica. Diu que “els conceptes físics són creacions lliures de l’esperit humà i, encara que ho sembli, no estan únicament determinats pel món exterior. En el nostre desig de descriure la realitat, ens assemblem a algú que volgués entendre i descriure el mecanisme invisible d’un rellotge del que no pot obrir la caixa i del que només en veu el moviment de les agulles i en sent el seu tic-tac. Si és una persona enginyosa i intel·ligent podrà imaginar un mecanisme que sigui capaç de generar tots els efectes que observa. Però mai podrà estar segur que la seva imatge és la única que els pot explicar. Mai podrà comparar les seves teories amb el mecanisme real i ni tan sols podrà concebre el significat d’una comparació que li està prohibida”.

Per cert, Tony Judt deia que és urgent reiniciar una conversa pública imbuïda d’ètica. És correcte el que està passant? Estem incrementant la pobresa i les desigualtats. És just? És legitim? És equànime?

Elogi de la imperfecció

dilluns, 31/12/2012

Ahir va morir a Roma la científica Rita Levi Montalcini. Ens ha deixat l’anomenada Signora della Scienza.

Ha mort als 103 anys. Rita Levi va rebre el Premi Nobel de medicina l’any 1986, junt amb el seu col·laborador Stanley Cohen, per haver descobert els mecanismes de creixement neuronal, la cadena de proteïnes que conforma el factor de creixement de les neurones.

Fa un parell d’anys vaig llegir el seu llibre de memòries. El seu títol és clar i suggerent: Elogi de la imperfecció. Ens uns moments en els que molt sovint s’ignora i es menysprea la ciència alhora que veiem actituds pseudo-científiques arrogants i dogmàtiques, Rita Levi ens recol·loca. Ens diu que cal ser conscient de la pròpia imperfecció per a poder millorar, avançar i superar-nos i per a poder exercir la facultat creadora, essencial en els humans. La ciència crea coneixement, però hem de ser conscients que no sabem res i que mai acabarem sabent la raó de tot plegat. La ciència és molt més propera a la filosofia del que pensem. Com deia el mateix Albert Einstein, totes les teories científiques són caduques i acabaran sent superades per altres teories futures. El paradoxal és que, en aquest camí pels paisatges de la imperfecció i de la ignorància, anem creant espurnes de coneixement que ens acaben donant eines tecnològiques que ens poden fer viure millor. Si teniu temps, llegiu aquest estudi. En ell, els autors demostren que les persones que menys coneixen un tema solen ser les més arrogants i les més segures de les seves conviccions…

Rita Levi Montalcini ha estat senadora vitalícia a Itàlia des de 2001. Sempre va estar compromesa amb una visió laica, ètica i solidària de la ciència. Tenia una sòlida confiança en el futur i en les capacitats innovadores dels humans. Defensava la igualtat entre les persones i entre homes i dones. La seva Fundació (que va crear l’any 1994) treballava per l’educació de les dones joves al tercer món (fonamentalment a l’Àfrica).

Per cert, quants parlamentaris que siguin reconeguts científics tenim nosaltres?

Viviment o armament?

dimecres, 27/06/2012

TerraDesdeLluna.jpg No és el mateix sentir-nos poderosos i amos del nostre territori, que veure’ns des de la lluna i adonar-nos que sóm insignificants en mig de la buidor de l’espai. Buckminster Fuller insistia en remarcar que som passatgers de la nau espacial “Terra”. És una imatge que ens baixa els fums, ens fa veure el poc que som, i ens suggereix que hem de cuidar la nostra nau i que és bo que estem ben avinguts, per al nostre bé, com els astronautes a les seves naus.

En Buckminster Fuller va ser un dissenyador visionari. Va dissenyar cotxes i cases futuristes, va estendre el concepte de cúpula geodèsica (va dissenyar la de l’exposició universal de Montreal l’any 1967), va proposar una projecció icosaèdrica per als mapes del mon, i va insistir en el concepte de “dissenyador global”. El dissenyador global, segons Bucky Fuller, ha d’usar les troballes de la ciència i de la tecnologia, tot transformant-les en eines per a la felicitat humana a nivell mundial i sostenible. Pot sonar a utòpic, però les utopies ens calen, no?

Bucky Fuller va també inventar el terme “viviment” (livingry en anglès) en contraposició a armament, o “weaponry”. Deia que cal reconvertir les actuals capacitats tecnològiques de l’home, traspassant-les des de l’armament cap al viviment, cap un viviment avançat que reverteixi en tota la humanitat. El mon s’ens ha globalitzat a nivell econòmic. No sembla lògic que comencem a pensar en globalitzar-lo a nivell científic i tecnològic?. Aquí, la societat civil hi té molta feina pendent i molt a dir.

Vicenç Navarro, al seu recent llibre “Hay alternativas” que ha escrit amb Juan Torres i Alberto Garzón, ens diu que cada dia, al mon, es gasten 4000 milions de dòlars en armes mentre moren 35000 persones de fam (pàgina 170). Us recomano que llegiu les 115 propostes que fa (pàgines 204 a 225). Viviment és saber resoldre per exemple el problema de la fam al mon, quan sabem que tenim prou aliments i quan sabem que tenim els mitjans tecnològics per fer-los arribar a tots els llocs on en manquen.

Tenim un informe d’Intermón Oxfam, titulat “Detalls mortals de necessitat”, que mostra fins a quin punt 26 estats s’han burlat dels embargaments d’armes, impostos tant per les Nacions Unides com per organismes regionals o multilaterals. L’ONU ha convocat una reunió per aquest mes de juliol a Nova York per redactar un nou Tractat de Comerç d’Armes internacional. És una gran oportunitat perquè els diplomàtics arribin a un acord. Des d’Oxfam es fa una crida per posar fi a dècades de comerç irresponsable d’armes. Aquí en teniu els detalls.

Godfrey H. Hardy, al seu llibre “Apologia d’un matemàtic”, ens donava una visió pessimista de la ciència i de la tecnologia. Deia que “Es diu que una ciència és útil si el seu desenvolupament tendeix a accentuar les desigualtats existents en la distribució de la riquesa, o si promou d’una manera més directa la destrucció de la vida humana”. Malauradament, té una mica de raó. La ciència i la tècnica son neutres, però l’us que en fem es basa en principis ètics més aviat dubtosos. Gastem molt més en armament que en viviment, i l’increment constant de les desigualtats es basa en part en els nous avenços tecnològics. Tots plegats tenim la responsabilitat de canviar les coses i de fer un ús responsable i ètic dels nous desenvolupaments. Tots plegats hauríem d’aconseguir que l’afirmació de Hardy arribés a ser falsa.

Acabo amb una noticia positiva. Científics de Israel, Iran, Jordania i Turquia estan treballant conjuntament en el projecte SESAME. El projecte comporta la construcció d’un sincrotró, a Jordania, per generar radiacions necessàries per a la recerca farmacèutica i bioquímica a la regió. Els quatre països han fet ja una inversió conjunta de 20 milions de dòlars. Partícules per a la pau i la salud. No tot és tant negre com ho pintava en Hardy.

Apostem pel viviment?