"Det är synd att 99 % av
journalisterna skall fördärva
förtroendet för en hel yrkeskår"
(okänd)

"Ormar äro älskliga varelser,
om man råkar tillhöra samma
giftgrupp"
(Artur Lundkvist)

"Ju längre ett samhälle
kommer från sanningen,
desto mer kommer detta
samhälle att hata dem
som säger sanningen"
(George Orwell)

"Den som gifter sig med
tidsandan blir snabbt änka."
(Goethe)

"Civiliserade är de kulturer
och individer som respekterar
andra."
(hört på Axesskanalen)

"Det tragiska med vanligt
sunt förnuft är att det
inte är så vanligt."
(Albert Einstein)

"Halv kristendom tolereras
men föraktas.
Hel kristendom respekteras
men förföljs."
(Okänd)

"För att komma till flodens
källa måste man simma
mot strömmen."
(Stanislaw Jerzy Lec)

"Jag noterar att alla de
människor, som är för
abort, redan är födda."
(Ronald Reagan)

Senast ändrad: 2010 01 21 14:08

Två tillämpningar av Shannons informationsteori

(läs först om Shannons informationsdefinition som en introduktion till nedanstående)

Låt oss nu tillämpa Shannons informationsteori på två intressanta fall. Först lite teori (som kanske ligger något utanför gymnasiekursen, åtminstone för de elever som inte gått natur).

Det är inte ovanligt att händelser är beroende av varandra. Man talar då om villkorlig eller betingad sannolikhet. Sannolikheten för att B skall inträffa, om vi vet att A redan inträffat, betecknas p(B|A). Om B är oberoende av A blir p(B|A)=p(B), vilket är sannolikheten för att B skall inträffa oberoende av A. Är B i stället deterministiskt bestämd av A blir p(B|A)=1. Om A inträffat måste ju i detta fall B inträffa (dvs sannolikheten för B blir ett eller 100 procent). Definitionsmässigt gäller att:

shtillp1.jpg

där täljaren i högerledet innebär sannolikheten att både A och B skall inträffa (symbolen mellan A och B — dvs A:et utan tvärstreck — betyder den logiska operationen "och"), medan nämnaren är sannolikheten för att A skall inträffa. Sambandet är ganska lätt att inse, eftersom det helt enkelt säger att om A inträffat så är sannolikheten för att också B skall inträffa lika med sannolikheten för att både A och B inträffar (de gynnsamma fallen) delat med sannolikheten för att A skall inträffa (de möjliga fallen — vi vet ju att A inträffat). Sannolikhet definieras som antalet gynnsamma fall dividerat med antalet möjliga fall. Tar vi nu logaritmen av båda leden och utnyttjar att ld(a/b)=ld(a)-ld(b) — dvs att logaritmen av en kvot är lika med logaritmen av täljaren minus logaritmen av nämnaren — får vi:

shtillp2.jpg

Men I(A)= -ld(p(A)) etc enligt Shannons defintion. Dvs mulitplicerar vi ovanstående samband med minus ett får vi ett samband mellan motsvarande shannonsk information:

       shtillp3.jpg

Detta samband säger helt enkelt att informationen i A och B (vänstra ledet) är lika med informationen i A plus den information i B som inte finns i A. Det kan ju tyckas ganska självklart, men det finns en styrka i att ha ett formallt uttryck för detta. Eftersom storheten information aldrig kan vara negativ, följer av (1) att informationen i "A och B" alltid är större än eller lika med informationen i A, dvs

shtillp4.jpg

vilket väl återigen kan betraktas som nästan självklart, eftersom (1) säger att A och B tillsammans (logiskt "och") innehåller minst lika mycket information som A ensamt. En annan konsekvens av (1) är att om A och B är oberoende av varandra, dvs p(B|A)=p(B), så blir högerledet i (1) lika med I(A)+I(B), vilket helt enkelt betyder att informationen i "A och B" är lika med informationen i A plus informationen i B.

Och nu till de två fallen:

1. Kan ett konventionellt datorprogram skapa information (här talar vi om shannonsk information, inte verklig information enligt diskussion på annan plats)? Eftersom konventionella program är deterministiska (slutresultatet B är logiskt bestämt av indata A) gäller att p(B|A)=1 — om A inträffat måste B inträffa. Detta leder till att I(B|A)=0, eftersom logaritmen av 1 är noll (gäller oavsett bas i logaritmsystemet). Formel (1) övergår då till:

shtillp5.jpg

Slutresultatet innehåller således exakt lika mycket information som indata. Detta är ett exempel på vad Peter Medawar (nobelpristagare i medicin 1960) kallar lagen för konservering av information (vi ser här stora likheter mellan termodynamik och informationsteori — dessa likheter är mycket större än vad som framgår ovan, men vi skall inte gå djupare in på detta).

2. Antag att vi har två kopior av en bok, vilka vi kallar A och B. Även här gäller uppenbarligen att p(B|A)=1, och därmed I(B|A)=0. Sätter vi in detta i (1) får vi samma resultat som i det tidigare fallet, dvs

shtillp5.jpg

Två eller flera exemplar av Hamlet innehåller således exakt samma information som ett enda exemplar.

Bland levande organismer finns många exempel på s k kromosomfördubbling. Detta anses vara en av de mekanismer som driver evolutionen framåt. Men precis som att en bok i två kopior innehåller samma informationsmängd som ett exemplar av boken, så ökar inte informationsmängden bara för att man har en dubbel uppsättning av samma kromosom. Ny biologisk information kan därför inte uppstå genom att kromosomer fördubblas, eller fyrdubblas. Du kan läsa mer om detta här.

Tillbaka till avsnittet om Shannons informationsdefinition
Tillbaka till avsnittet om Biokemi och evolution
Tillbaka till avsnittet om De intellektuella psykopaterna

© Krister Renard