"Godhet utan vishet och utan
gränser är bara en annan
form av ondska."
(John Paterson)

"Det är synd att 99% av
journalisterna skall fördärva
förtroendet för en hel yrkeskår"
(Okänd)

"Ormar äro älskliga varelser,
om man råkar tillhöra samma
giftgrupp"
(Artur Lundkvist)

"När försiktigheten finns överallt,
finns modet ingenstans."
(den belgiske kardinalen Mercier)

"Den som gifter sig med
tidsandan blir snabbt änka."
(Goethe)

"Civiliserade är de kulturer
och individer som respekterar
andra."
(Hört på Axesskanalen)

"Det tragiska med vanligt
sunt förnuft är att det
inte är så vanligt."
(Albert Einstein)

"Halv kristendom tolereras
men föraktas.
Hel kristendom respekteras
men förföljs."
(Okänd)

Två tillämpningar av Shannons informationsteori

(läs först om Shannons informationsdefinition som en introduktion till nedanstående)

Låt oss nu tillämpa Shannons informationsteori på två intressanta fall. Först lite teori (som kanske ligger något utanför gymnasiekursen, åtminstone för de elever som inte gått natur).

Det är inte ovanligt att händelser är beroende av varandra. Man talar då om villkorlig eller betingad sannolikhet. Sannolikheten för att B skall inträffa, om vi vet att A redan inträffat, betecknas p(B|A). Om B är oberoende av A blir p(B|A)=p(B), vilket är sannolikheten för att B skall inträffa oberoende av A. Är B i stället deterministiskt bestämd av A blir p(B|A)=1. Om A inträffat måste ju i detta fall B inträffa (dvs sannolikheten för B blir ett eller 100 procent). Definitionsmässigt gäller att:

där täljaren i högerledet innebär sannolikheten att både A och B skall inträffa (symbolen mellan A och B — dvs A:et utan tvärstreck — betyder den logiska operationen "och"), medan nämnaren är sannolikheten för att A skall inträffa. Sambandet är ganska lätt att inse, eftersom det helt enkelt säger att om A inträffat så är sannolikheten för att också B skall inträffa lika med sannolikheten för att både A och B inträffar (de gynnsamma fallen) delat med sannolikheten för att A skall inträffa (de möjliga fallen — vi vet ju att A inträffat). Sannolikhet definieras som antalet gynnsamma fall dividerat med antalet möjliga fall. Tar vi nu logaritmen av båda leden och utnyttjar att ld(a/b)=ld(a)-ld(b) — dvs att logaritmen av en kvot är lika med logaritmen av täljaren minus logaritmen av nämnaren — får vi:

Men I(A)= -ld(p(A)) etc enligt Shannons defintion. Dvs mulitplicerar vi ovanstående samband med minus ett får vi ett samband mellan motsvarande shannonsk information:

      

Detta samband säger helt enkelt att informationen i A och B (vänstra ledet) är lika med informationen i A plus den information i B som inte finns i A. Det kan ju tyckas ganska självklart, men det finns en styrka i att ha ett formallt uttryck för detta. Eftersom storheten information aldrig kan vara negativ, följer av (1) att informationen i "A och B" alltid är större än eller lika med informationen i A, dvs

vilket väl återigen kan betraktas som nästan självklart, eftersom (1) säger att A och B tillsammans (logiskt "och") innehåller minst lika mycket information som A ensamt. En annan konsekvens av (1) är att om A och B är oberoende av varandra, dvs p(B|A)=p(B), så blir högerledet i (1) lika med I(A)+I(B), vilket helt enkelt betyder att informationen i "A och B" är lika med informationen i A plus informationen i B.

Och nu till de två fallen:

1. Kan ett konventionellt datorprogram skapa information (här talar vi om shannonsk information, inte verklig information enligt diskussion på annan plats)? Eftersom konventionella program är deterministiska (slutresultatet B är logiskt bestämt av indata A) gäller att p(B|A)=1 — om A inträffat måste B inträffa. Detta leder till att I(B|A)=0, eftersom logaritmen av 1 är noll (gäller oavsett bas i logaritmsystemet). Formel (1) övergår då till:

Ovanstående gäller också vid logisk inferens/slutledning. Att t ex bevisa en sats S utifrån en uppsättning axiom A (som inom geometrin) innebär att man visar att axiomen implicerar denna sats (satsen är en logisk följd av axiomen). Här gäller givetvis att p(S|A)=1, vilket enligt ovan leder till att I(S)=I(A). Ingen sats i ett formellt system, som geometrin, kan således innehålla mer (shannonsk) information än axiomen. Logisk inferens skapar därför inte information. Möjligen kan man säga att den förbättrar kvaliteten på informationen, men denna faktor är irrelevant för shannonsk information (se också min artikel om matematisk logik, avsnittet om Gödels sats).

Slutresultatet innehåller således exakt lika mycket information som indata. Detta är ett exempel på vad Peter Medawar (nobelpristagare i medicin 1960) kallar lagen för konservering av information (vi ser här stora likheter mellan termodynamik och informationsteori — dessa likheter är mycket större än vad som framgår ovan, men vi skall inte gå djupare in på detta).

2. Antag att vi har två kopior av en bok, vilka vi kallar A och B. Även här gäller uppenbarligen att p(B|A)=1, och därmed I(B|A)=0. Sätter vi in detta i (1) får vi samma resultat som i det tidigare fallet, dvs

Två eller flera exemplar av Hamlet innehåller således exakt samma information som ett enda exemplar.

Bland levande organismer finns många exempel på s k kromosomfördubbling. Detta anses vara en av de mekanismer som driver evolutionen framåt. Men precis som att en bok i två kopior innehåller samma informationsmängd som ett exemplar av boken, så ökar inte informationsmängden bara för att man har en dubbel uppsättning av samma kromosom. Ny biologisk information kan därför inte uppstå genom att kromosomer fördubblas, eller fyrdubblas. Du kan läsa mer om detta här.

Tillbaka till avsnittet om Shannons informationsdefinition
Tillbaka till avsnittet om Biokemi och evolution
Tillbaka till avsnittet om De intellektuella psykopaterna

© Krister Renard