Entrades amb l'etiqueta ‘ordre’

La paradoxa de la informació

divendres, 8/09/2017

La informació no té una definició única. La gran enciclopèdia catalana diu que informació és una “notícia o notícies que hom tracta de saber, que hom rep”, però que també és el “contingut d’una o més dades, tot fent abstracció de la representació concreta que adopta”. Coses que volem saber o que acabem sabent, i que podem extreure de les dades que rebem. La Wikipèdia, d’altra banda, la defineix com “tot allò que un ser humà és capaç de percebre, incloent-hi les comunicacions escrites i orals, les imatges, l’art o la música”, i com “el fet de processar, manipular i organitzar dades d’una forma que produeixin coneixement i esvaeixin el desordre”.

La informació és multifacètica. És el que percebem, el que incrementa el nostre coneixement. També, en paraules de Claude Shannon, informació és allò que redueix la incertesa. La frase “avui a la nit serà fosc” no és informativa perquè és quelcom que tots sabem. Però si dic “aquesta nit no vindré a sopar” estic concretant, disminueixo la incertesa, i per tant informo (vegeu la nota al final). Ara bé, a més d’aquest aspecte cultural i comunicatiu, la informació s’ha de transmetre, i aquí és on apareixen les dades, l’ordre i el substrat que la suporta. Les plantes informen amb les seves olors, les formigues amb els rastres i els ocells amb els seus cants. Els sons dels dofins o dels rossinyols, perfectament codificats, ordenats i seqüenciats, són útils als seus companys encara que nosaltres no els entenguem. Per això, podem dir que la informació requereix un determinat ordre en un cert substrat, a més d’un codi que li doni sentit i ens permeti llegir-ne el significat. Podem llegir un article a la pantalla de l’ordinador només quan el seu conjunt de més d’un milió de píxels s’ordena i ens mostra les lletres del text en negre sobre blanc, i tot seguit el podem recordar gràcies a l’ordre químic de les neurones del nostre cervell. Quan una persona parla en una llengua que desconeixem o escriu signes que no entenem, observem l’ordre sonor o gràfic del que fa, però no podem captar la semàntica dels seus missatges.

Què ens diu, la imatge de dalt? A primera vista, són 15 ametlles disposades en un ordre estrany damunt una pedra, formant set columnes amb 4, 3, 2, 1, 1, 2 i 2 fruits secs. Imagineu ara que tenim una quadrícula imaginària amb 4 files i 8 columnes, de manera que la primera columna és a l’esquerra i no té cap ametlla. L’ordre es fa més explícit, i ens presenta quatre files de 8 caselles, algunes plenes i altres buides. Ara ja veiem, en aquest substrat d’ametlles, una taula ordenada; però encara ens falta el descodificador. Però només cal que ens diguin que les hem disposat en files seguint el codi ASCII dels ordinadors, i ja podrem llegir el missatge: les quatre files codifiquen les quatre lletres de la paraula “Bits”.

En informàtica, tota la informació es codifica i representa amb seqüències de bits. Cada lletra dels texts que escrivim als missatges i correus electrònics i cada lletra dels articles i llibres que llegim i que trobem a la web, es guarda en un “byte“, que són 8 bits. Els sons, els missatges de veu, les fotos, la nostra agenda, els vídeos i tot el que tenim als ordinadors tenen el mateix aspecte: una llarga tirallonga de bits “1” i “0”. Els ordinadors funcionen gràcies a que apliquen el descodificador adequat a cada tipus d’informació, perquè si per exemple utilitzessin el codi ASCII per interpretar vídeos, no veuríem res. D’altra banda, els bits són també una eina de mesura: si codifiquem la informació de manera òptima i eliminant totes les possibles redundàncies, la quantitat d’informació es pot mesurar pel nombre de bits que ocupa. Però aquesta mesura acaba sent diferent pels humans i pels ordinadors, cosa que té conseqüències pràctiques molt concretes, per exemple quan l’ordinador o el mòbil ens demana que escollim i entrem una nova paraula clau (un nou “password“): tenim una falsa percepció d’allò que és indesxifrable (vegeu un cop més la nota al final).

Per bé o per mal, som al segle de la informació. En Gérard Berry comenta que el segle XIX va ser el segle de la matèria, de la química i de la síntesi dels metalls i altres elements. El segle XX, en canvi, va ser el segle de l’energia, a més de la matèria: l’electricitat, el petroli, l’energia nuclear i fins i tot l’inici de les renovables. El segle passat va veure el naixement de la informàtica, però no ha estat fins el segle XXI que hem vist un creixement quasi explosiu de la quantitat informació que corre pel món. Recordo que, l’any 1992, el disc dur del meu ordinador era de 20 MB (un “MegaByte” és un milió de bytes, equivalent a 8 milions de bits). Ara, qualsevol targeta “MicroSD” de mòbil té 16 o 32 GB, més de mil vegades més que el que jo podia guardar fa tan sols 25 anys. No parem de generar, guardar i “compartir” informació.

La paradoxa del moment actual, però, ens l’explica molt bé en Renee Morad. Internet fa que la informació sigui més accessible que mai. Però molts dubten (dubtem) de la veracitat del que hi troben. Aquesta desconfiança (sobretot en fonts “llunyanes”, tal vegada esbiaixades i poc contrastades) alimenta una demanda de nova informació que és cada vegada més gran. En altres paraules: hi ha massa informació; però, en no saber quina és certa i quina és falsa i del tot il·lusòria, nosaltres en generem més. Com que moltes persones fan el mateix, es manté el creixement continu de la quantitat d’informació. Cada cop hi ha més informació que és menys fiable en mitjana i cada cop es farà més difícil filtrar-la. Incrementem la quantitat mentre reduïm la qualitat. Llegir és fàcil, entendre i comprendre serà cada vegada més difícil.

Per cert, en David Foster Wallace deia que ensenyar a pensar és ensenyar a ser una mica menys arrogant i a contemplar-nos nosaltres mateixos i les nostres certeses amb consciència crítica, perquè un gran percentatge del que tendim a donar per segur s’acaba demostrant que és fals i del tot il·lusòri.

———

NOTA: L’entropia de Shannon és una mesura del desordre que conté un missatge. És clau per a quantificar la informació que conté. En concret, la informació que conté un missatge es pot mesurar com la inversa de seva probabilitat (aquí, per exemple, en podeu veure una explicació senzilla i basada en exemples de predicció meteorològica). Quan ens parlen d’un fenomen rar, la seva probabilitat és baixa i per tant, la mesura de la informació que aporta és alta. En canvi, quan ens diuen una obvietat d’absoluta certesa (com que “la sang és vermella”), la probabilitat és màxima i la informació, nul·la. En tot cas, la novetat d’una certa informació depèn del receptor: la frase “la capital de Finlàndia és Hèlsinki” segurament no aporta cap nova informació a moltes persones mentre que, per algunes altres, pot ser quelcom nou i informatiu.

Com podeu veure en aquesta auca, la dificultat de les paraules clau que utilitzem (i la informació que contenen) és molt diferent pels humans i per les màquines. L’auca compara les paraules clau “Tr0ub4dor&3” i “correcthorsebatterystaple“. La primera es basa en escollir una paraula poc usada (en aquest cas podria ser “troubador” en anglès), posar o no la primera lletra en majúscules, fer un parell de substitucions, i afegir al final un signe de puntuació (“&” en aquest cas) i un dígit numèric. La segona consisteix simplement en concatenar quatre paraules més o menys corrents, “correct horse battery staple“.

L’entropia de la primera opció és de l’ordre de 28 bits, si pensem que el diccionari de paraules poc usades que utilitzem té unes 65 mil paraules (2 a la 16); la resta de bits són deguts a decisions sobre com hem de modificar aquesta paraula i quins són els darrers dos caràcters de la paraula clau. Una màquina que faci mil tests per segon pot provar totes les possibilitats (2 a la 28) en uns tres dies i per tant acabarà descobrint el nostre password. Però als humans se’ns fa molt difícil recordar la paraula inicial i tots els canvis i substitucions. Segur que al cap d’un temps no recordem el que havíem posat.

En canvi, l’entropia de la segona opció és de l’ordre de 44 bits, si pensem que el diccionari de paraules que utilitzem té dues mil paraules (2 a la 11), perquè 11 per 4 és 44. A raó de 1000 tests per segon, una màquina necessitaria 550 anys per provar totes les possibilitats (2 a la 41 segons). En aquest cas tenim una paraula clau que ens és fàcil de recordar si pensem en alguna regla mnemotècnica o en alguna idea que ho lligui tot, però que en canvi les màquines i sistemes automàtics no la podran desxifrar.

Com diu l’auca, després de vint anys d’esforços, hem après a usar paraules clau que els humans no som capaços de recordar, però que les màquines poden desxifrar fàcilment. Un consell: si volem tenir paraules clau que siguin realment privades, millor que pensem en trucs que siguin complicats per les màquines i sistemes automàtics, encara que a nosaltres ens semblin fàcils…

Aquesta estranya paraula: l’entropia

dijous, 10/01/2013

Entropia1.jpg Què us sembla que és, aquesta foto? Si feu clic damunt seu, veureu que es tracta d’un trosset de reixa de ferro forjat. La foto la vaig fer prop del mar, i diuen que el mar no perdona. El vent, la humitat i el salnitre estan destruint-la. L’erosió ens està ensenyant les seves entranyes, les capes de ferro de quan va ser conformada i laminada a la forja. El ferro va desapareixent, es dilueix en partícules humides que l’aire arrossega i que acaben totalment disperses.

Hi ha fenòmens que sempre els observem en la mateixa direcció: el calor passa dels objectes calents als freds, els gasos s’expandeixen fins ocupar tot el volum disponible, el sucre es dissol en l’aigua, l’erosió es menja els materials. I, si tirem unes gotes de vi en un got d’aigua, veurem que també es dissolen fins desaparèixer.

L’any 1865, Rudolf Clausius va descobrir que tots aquests processos espontanis obeeixen una mateixa llei. Va observar que hi ha una magnitud que, ens els processos espontanis, sempre canvia en el mateix sentit. Sempre creix. Això sí: cal que el sistema estigui aïllat i que el procés sigui espontani, sense aportació d’energia. Clausius va batejar aquesta magnitud amb el nom de entropia. Clausius va justificar el terme amb aquestes paraules: “Proposo anomenar S l’entropia d’un objecte, perquè en grec significa transformació. He escollit la paraula entropia també per la seva semblança amb energia“.

És un fet ben estrany, no penseu? Clausius ens diu que hi ha coses que podem veure, i coses que mai veurem. Hi ha fenòmens que son impossibles. Els gots es trenquen però no es recomponen, ells sols. Les reixes es rovellen, però els ferros rovellats mai tornen a quedar com eren abans. I certes màquines tampoc poden existir. Tot i que seria fantàstic, no podem fabricar vaixells que aprofitin l’energia del calor que contenen els oceans, tot deixant una estela d’aigua una mica més freda. Els fenòmens que observem (si son espontanis i no hi ha aportació d’energia) son aquells que fan que l’entropia creixi.

En Arieh Ben-Naim creu que el misteri rau en que pocs cops s’ha explicat bé, això de l’entropia. Però també opina que aquest misteri és inherent al propi terme “entropia”. De fet, Ben-Naim cita Leon Cooper quan aquest va escriure que Clausius “en fer-ho així, enlloc de cercar una paraula més usual del tipus de “calor perdut”, va aconseguir imposar una paraula que significava el mateix per a tothom: no significava res”. La paraula escollida per Clausius ha aconseguit confondre molta gent al llarg dels darrers 150 anys. I això també és degut a que els conceptes d’ordre i desordre no estan ben definits, científicament.

Crec que aquest concepte s’entén millor si pensem en l’entropia com una mesura de la ignorància. Al llarg dels anys, ens ho han anat explicant Ludwig Boltzmann, James Clerk Maxwell i Claude Shannon (vegeu nota al final). Va ser Ludwig Boltzmann qui va veure que tot era molt més simple si pensàvem que el comportament dels gasos, de l’aigua amb sucre o unes gotes de vi o de qualsevol altra substància és degut al moviment constant dels seus trilions d’àtoms i molècules. Sembla impossible, però 18 grams d’aigua contenen més de 600 mil trilions de molècules, totes elles movent-se segons les lleis de la física i de la dinàmica. Es mouen més ràpid si escalfem l’aigua, més lentament si la refredem. No podem pas saber (ni ens interessa) què està fent cada una d’elles en cada moment. Només podem estudiar comportaments conjunts, com fem quan veiem un eixam d’estornells o quan veiem una manifestació a les noticies. Fem estudis macroscòpics, dels gasos, líquids i de totes les substàncies que analitzem. Però imaginem que en un cert moment ens interessa saber l’estat exacte, a nivell microscòpic, d’una determinada substància. Imaginem que volem registrar i seguir l’estat de cada una de les seves molècules individuals. Necessitaríem molta més informació (i molta paciència, per apuntar-la i registrar-la bé). L’interessant de tot plegat és que la informació és fàcil de mesurar, des d’els treballs de Maxwell i Shanonn (vegeu nota al final). Un exemple ens ho aclarirà. Imaginem que construïm una comporta vertical de plàstic que divideix per la meitat la banyera de casa. Omplim la banda esquerra amb aigua freda i la part dreta amb aigua calenta. Tot seguit, aixequem la comporta amb cura, poc a poc. La nostra experiència ens diu que l’aigua es barrejarà lentament, i al cap d’una estona tota l’aigua tindrà la mateixa temperatura. La temperatura ens mesura l’estat macroscòpic: abans teníem aigua calenta i freda, i ara tota l’aigua és a la mateixa temperatura. Però a nivell microscòpic, el procés ha estat ben diferent: les molècules més ràpides, les de l’aigua més calenta, han anat transferint energia a les més lentes. No ho hem vist, però hi ha hagut moltíssimes col·lisions, a més de molècules d’aigua calenta que “emigraven” a la zona freda i també molècules d’aigua freda que marxaven cap la zona calenta. Ha estat un típic fenomen de difusió. La teoria de la informació ens permet mesurar la informació que ens manca per arribar a saber l’estat microscòpic: és la informació que ens caldria afegir a la mesura macroscòpica de la temperatura per tal d’aconseguir conèixer l’estat (posició i velocitat) de cada una de les molècules individuals. És moltíssima informació, però és mesurable (el bo de tot plegat és que podem mesurar la informació que ens manca sense haver d’obtenir-la). I és clar que la informació que ens manca és més gran al final que abans de treure la comporta: si ja sabem que una part de l’aigua és freda i que l’altra és calenta, ens caldrà afegir menys informació per arribar a conèixer amb precisió l’estat microscòpic de totes les molècules. L’entropia és la informació que ens manca o, si voleu, la informació perduda. És una mesura del nostre grau d’ignorància, del que no sabem sobre l’estat microscòpic del sistema que estem estudiant.

Però perquè, en tots els fenòmens espontanis que observem, aquesta entropia o mesura de la informació perduda creix? La resposta és sorprenent i ens arriba des de l’estadística. No sempre creix. El que passa és simplement que l’estat final que veiem és el de màxima probabilitat. Qualsevol sistema que observem passa la major part del temps en aquest estat maximal, perquè el temps relatiu que el passa en cada possible estat macroscòpic és proporcional a la seva probabilitat. Agafeu deu fitxes blanques i deu negres. Podeu pensar que les blanques son les molècules d’aigua calenta i que les negres son d’aigua freda. Ara, tireu-les totes juntes a terra. Us quedarà una distribució aleatòria de blanques i negres. Quina és la probabilitat que, a terra, us quedin totes les blanques a una banda i totes les negres a l’altra? Aneu repetint l’experiment i us convencereu que la probabilitat és petitíssima. Doncs això és el que passa a la banyera, però amb trilions de fitxes (molècules).

L’estadística ens diu que, en tots els fenòmens físics que veiem, hi ha petites fluctuacions del seu macroestat i petites fluctuacions de l’entropia. Son fluctuacions inobservables i incommensurables, que mai podrem mesurar. Les fluctuacions observables i mesurables no son impossibles, però son tan extremadament rares que quasi segur que mai les podrem observar. L’entropia de l’aigua ja barrejada de la banyera ni creix ni és constant. Fluctua segons un petit soroll aleatori. És altament improbable, però la probabilitat que en algun moment la fluctuació arribi a ser observable i que veiem que l’entropia disminueix, no és nul·la. I és clarament més alta que la probabilitat que el sol s’aturi (segons la llegenda bíblica) perquè aquesta darrera sí que és nul·la. El  text de “The new world of Mr. Tompkins” de George Gamow, ens parla de la sort que podríem tenir si un dia veiéssim que el whisky del nostre got es posa a bullir espontàniament. La segona llei de la termodinàmica és un fet estadístic. No és que l’entropia creixi, sinó que és molt més probable que creixi que no pas que disminueixi.

Però a la natura, no tot es dilueix ni es desfà. Si rebem energia, podem construir, reagrupar i ordenar. Ho veiem cada dia a la natura i en els éssers vius. L’energia del sol i els moviments de la terra remouen constantment l’atmosfera i eviten que es converteixi en una bassa d’oli en equilibri. Ens regalen el vent, els núvols i tots els fenòmens meteorològics. I els éssers vius estem constantment ordenant i construint: els arbres sintetitzen compostos orgànics a partir de substàncies diluïdes al terra, les abelles i les formigues construeixen ruscs i nius, les vaques fan llet i els humans fabriquem cotxes i ordinadors. Moltes de les partícules de ferro rovellat erosionat acabaran al terra i seran absorbides, processades i reordenades pels arbres i vegetals. Tots els éssers vius treballen per a reduir l’entropia. És l’essència de la vida.

I cóm pot ser que els éssers vius redueixin l’entropia si hem dit que els fenòmens que observem son aquells en els que l’entropia creix? Els humans podem re-composar els trossos d’un got trencat, o podem evaporar l’aigua del got, recuperar-ne el sucre i refer el terròs inicial. El problema és que necessitarem més energia de la que caldria per tornar estrictament enrere el fenomen. En el mite d’Homer, Penèlope teixeix de dia i desfà la seva feina a les nits. El que ens diu la segona llei de la termodinàmica és que pot recuperar energia en desteixir, però sempre en necessitarà més per tornar a teixir. Un cotxe que aprofiti l’energia de les frenades, mai podrà recuperar tota l’energia de les accelerades. Els éssers vius estem treballant o ordenant tota la vida, però el balanç és negatiu: acabem desordenat més l’univers del que ordenem casa nostra. Per ordenar qualsevol cosa, necessàriament hem de deixar l’univers més desordenat del que estava.

Nota: Boltzmann, junt amb Maxwell i altres, va proposar el que avui coneixem com la teoria cinètica dels gasos. Segons aquesta teoria, les molècules es mouen constantment i el que nosaltres anomenem temperatura no és més que una mesura de la velocitat mitjana de les molècules. La magnitud H de Boltzmann en un sistema que macroscòpicament té una determinada temperatura i un determinat nombre de partícules i que ocupa un determinat volum, es pot demostrar que coincideix amb la magnitud anomenada entropia per Clausius. Només cal canviar el seu signe. El teorema H de Boltzmann diu que en els sistemes aïllats i com a conseqüència de la dinàmica i de les col·lisions moleculars, la magnitud H sempre decreix i arriba a un mínim a l’equilibri. Justament, a l’equilibri, la distribució de velocitats resultant és l’anomenada distribució de Maxwell.

L’entropia és una mesura de la informació que ens falta, de la informació perduda o, si voleu, del nostre grau d’ignorància sobre l’estat microscòpic de totes i de cada una de les partícules. Aquí teniu una bona explicació: “El dimoni de Maxwell és un ésser imaginari que pot obrir o tancar una comporta que uneix dos recipients plens del mateix gas a la mateixa temperatura. La comporta és prou petita per a que en obrir-la només passi una molècula de gas d’un cantó a l’altre. Si en apropar-se una molècula a la comporta el dimoni tingués la informació de si la seva velocitat és superior o inferior a la velocitat quadràtica mitjana de les molècules dels recipients, podria obrir i tancar la comporta selectivament de forma que les molècules ràpides passessin al recipient calent i les lentes al recipient fred. En fer això la calor passaria del recipient fred al calent i l’entropia del conjunt format pels dos recipients disminuiria però com que per poder-ho fer ha de tenir la informació de la velocitat i com que segons el segon principi de la termodinàmica l’entropia de tot sistema tancat (considerant el mecanisme que permet captar la informació) ha d’augmentar, resulta que per aconseguir la informació cal fer augmentar l’entropia exactament en la mateixa quantitat en què es pot fer disminuir en emprar aquesta informació. Plantejant les equacions que en resulten d’aquestes idees s’arriba a la formulació de l’entropia que s’empra en teoria de la informació”

En l’equilibri, hi ha informació mínima o informació perduda màxima, segons Claude Shanonn. Entropia i informació estan íntimament relacionades. Com ja hem dit, l’entropia es pot veure com una mesura de la ignorància. Si sabem que el sistema està en un cert macroestat, la seva entropia mesura el grau d’ignorància de l’estat detallat (microscòpic) en que es troba, tot comptant el nombre de bits que calen per especificar-lo i en el supòsit que tots els microestats son igualment probables.