"Godhet utan vishet och utan
gränser är bara en annan
form av ondska."
(John Paterson)

"Det är synd att 99% av
journalisterna skall fördärva
förtroendet för en hel yrkeskår"
(Okänd)

"Ormar äro älskliga varelser,
om man råkar tillhöra samma
giftgrupp"
(Artur Lundkvist)

"När försiktigheten finns överallt,
finns modet ingenstans."
(den belgiske kardinalen Mercier)

"Den som gifter sig med
tidsandan blir snabbt änka."
(Goethe)

"Civiliserade är de kulturer
och individer som respekterar
andra."
(Hört på Axesskanalen)

"Det tragiska med vanligt
sunt förnuft är att det
inte är så vanligt."
(Albert Einstein)

"Halv kristendom tolereras
men föraktas.
Hel kristendom respekteras
men förföljs."
(Okänd)

Shannons informationsdefinition

Shannon definierade begreppet information (han använde ordet ”informationsentropi”, eftersom han var väl medveten om att det han definierade inte var samma sak som vardagsspråkets ”information” — tyvärr har man tappat denna distinktion idag, vilket leder till stor förvirring).

Låt oss beteckna informationen i en teckensträng med I. Informationen i teckensträngen k beteckningar vi då I_k etc. Shannon ställde upp tre krav på informationsbegreppet (läsaren bör vara något bekant med logaritmbegreppet och med grundläggande sannolikhetslära — matte C på gymnasiet bör räcka som förkunskap — för att till fullo förstå framställningen nedan):

1. Information skall vara additiv, dvs

I_TOT =I₁ + I₂ +I₃ +... + I_n

Varje term i högra ledet avser informationen i en teckensträng (av totalt n stycken strängar — en sträng kan bestå av ett eller flera tecken), medan vänstra ledet är den sammanlagda informationen i dessa n strängar. Den sammanlagda informationen i n teckensträngar skall man således få genom att addera de n strängarnas information.

2. Ju mindre sannolikheten för en teckensträng är, desto mer information innehåller den. Antag att sannolikheten för teckensträngen k är p_k. För informationen i denna sträng — I_k, — måste då gälla att I_k är en växande funktion av 1/p_k (ju mindre nämnare desto större blir uttrycket)

3. I det enklaste fallet, där vi bara har två alternativ med samma sannolikhet, tilldelas systemet informationsinnehållet 1 bit (binary digit = binär enhet). 1 bit är således enheten för information. Vi kan t ex tänka oss en teckensträng bestånde av ett enda tecken (t ex en siffra eller en bokstav) och att vi bara har två olika tecken att välja mellan (t ex 0 och 1), och att dessa har samma sannolikhet (dvs p = 0,5 — sannolikheten för att vi skall ha en nolla är således 50 procent och för att vi har en etta 50 procent).

Sannolikheter är multiplikativa. Sannolikheten för att både j och k inträffar är t ex p_j · p_k. Definierar vi nu information så att I_k=1/p_k etc, leder detta till att informationen i strängarna j och k blir I_j · I_k, vilket inte satisfierar 1. Shannon valde att utnyttja egenskaperna hos logaritmer för att 1 skulle uppfyllas. En grundläggande egenskap hos logaritmer är nämligen att

log(x·y) = log x + log y

dvs logaritmen av en produkt är lika med summan av faktorernas logaritmer. Shannon definierade därför informationen i teckensträngen k på följande sätt:

I_k =log(1/p_k)

Denna defintion uppfyller både 1 och 2 ovan. Att 2 uppfylls följer av logaritmfunktionens egenskaper (den är strängt växande). Att även 1 satisfieras framgår av följande; vi betraktar informationen i strängarna i och k och får:

Detta kan sedan enkelt utvidgas till fler än 2 teckensträngar.

Det enda som nu återstår är att se till att också villkor 3 är uppfyllt. Sätt p=0,5. Villkor 3 ger (b nedan kallas basen för logaritmsystemet — att vi inte satt ut b tidigare beror på att resonemanget hittills varit oberoende av vilken bas vi använt):

Detta ger att b = 2 (tvålogaritmen av två är nämligen lika med ett). Vi måste således använda 2-logaritmer för att villkor 3 skall vara uppfyllt. Tvålogaritmer kallas ibland för duala logaritmer och betecknas ld (ungefär som att naturliga logaritmer, med e som bas, betecknas ln och tiologaritmer, med tio som bas, betecknas lg eller log).

Enligt en ytterligare logaritmlag gäller att log(1/a)=-log(a), dvs ld(1/p) = -ld(p). Vi kan nu sammanfatta vår definition av information på följande sätt:

Antag t ex att sannolikheten för en teckensträng är 1/256. Informationsinnehållet i denna sträng blir då -ld(1/256) = 8. Denna sträng innehåller således 8 bitar (vilket kallas 1 byte). En teckensträng med den extremt lilla sannolikheten 10^-50 innehåller -ld(10^-50)≈166 bitar eller ca 21 byte. Inte speciellt mycket om man jämför med informationen på en modern hårddisk. Det framgår av detta att även ganska små informationsmängder svarar mot extremt små sannolikheter. Något som visar på svårigheten att skapa korrekta ord och meningar med slumpens hjälp. Tar vi en ganska omfattande bok på 1 Mbyte, dvs 8 Mbit (= 8000000 bitar), och räknar baklänges, får vi att sannolikheten för denna teckensträng blir ca 1/10^2400000 (räknar man baklänges får man 2^8000000≈10^2400000), dvs ett delat med en etta följd av 2,4 miljoner nollor (eller som decimalbråk 0,00000...0001 — sammanlagt ca 2,4 miljoner nollor efter decimalkommat), ett så ofattbart litet tal att det egentligen är meningslöst att ens försöka begripa hur litet det är. Slumpens förmåga att skapa komplexa strukturer tycks vara synnerligen begränsad.

Den intresserade läsaren, som kanske vill testa ovanstående och inte har duala logaritmer på sin räknare, kan använda följande uttryck

Ibland är man intresserad av att kunna uttrycka genomsnittliga informationsinehållet per tecken i ett visst språk (verkligt eller artificiellt). Antalet bitar i tecknet x_k, vilket brukar betecknas I(x_k) — uttalas ”i av x_k” — är enligt ovan -ld(p(x_k)), där p(x_k) är sannolikheten att tecknet x_k skall förekomma i en godtycklig teckensträng. Antag nu att det aktuella språket innehåller N olika tecken. Genomsnittliga informationsinnehållet (betecknas H och kallas informationskällans entropi) får man nu genom att ta det välkända, s k viktade medelvärdet av de i språket ingående tecknens informationsinnehåll uttryckt i bitar, dvs

För engelska språket gäller att H=4,04577 bitar/tecken och för tyska att H=4,11295 bitar/tecken (se tabellen nedan). Informationsinnehållet i en teckensträng bestående av n tecken blir då (ju längre sträng desto bättre stämmer det, eftersom H utgör ett medelvärde):

I_TOT = nH

King James Bible (KJV) innehåller t ex 4349616 tecken (även mellanslag räknas som tecken), dvs det totala informationsinnehållet i King James blir;

I_TOT =4349616·4,04577=17,6 miljoner bitar ≈ 2,2 Mbyte

Det framgår här hur svårt det är att entydigt definiera informationsinnehållet i en teckensträng. Det resultat man kommer fram till beror på vilket perspektiv man anlägger. Rent formellt, om man bara tänker på hårddiskutrymme utan komprimering, innehåller King James Bible (KJV) 4349616 tecken, dvs ca 4,3 Mb (=megabyte) — varje tecken representeras i en dator av 1 byte = 8 bitar (a=01100001, b=01100010, etc). Översatt till bitar blir detta 4349616x8=34796928 bitar, vilket är ungefär 34,8 megabit (inte megabyte således). Byte är ju den normala enheten i datorsammanhang, medan bitar är den normala enheten inom informationsteorin. Det vi har gjort nu är att titta på hur stort utrymme på t ex en hårddisk som KJV upptar utan kompression. Genom olika kompressionsmetoder (t ex sit, zip eller rar) kan man komprimera KJV till 40 % eller mindre av originalet. När jag testade med en textfil på 96 kb, blev den 36 kb i zip, lika med 37 % av originalet, och 28 kb i sit (Stuffit för Macintosh), lika med 29 %, dvs något bättre komprimering i det senare fallet. Vid 40 % komprimering skulle KJV behöva ett hårddiskutrymme på drygt 1,7 Mb (megabyte). Å andra sidan, enligt den informationsteoretiska kalkylen ovan, innehåller KJV 2,2 Mb (megabyte) information (enligt Shannons definition av information). Observera! De två olika beräkningar, som vi nu gjort, av informationsinnehållet i KJV har ingenting med varandra att göra, eftersom de bygger på två helt olika perspektiv på begreppet information.

Att definiera verklig information är, som framgår av mina sidor om livets uppkomst, inte helt lätt. Ingen av de två beräkningsmetoderna ovan ger ett mått på det verkliga informationsinnehållet i KJV. Det har gjorts många försök att definiera vad vi menar med verklig information. — läsaren hänvisas till mina sidor om information för närmare diskussion av detta. En av de punkter jag tar upp där, är att för verklig information existerar ingen kortare representation än informationen själv. Bilder, texter kan komprimeras, men detta handlar bara om olika sätt att representera informationen. Informationen i sig kan inte komprimeras, utan att man förlorar något. Lite grand illustreras detta av överslagsberäkningarna ovan. Rar är t ex ett ganska nytt kompressionsformat, vilket är något effektivare än både zip och sit. Varje ny kompressionsalgoritm gör att vi vinner lite grand i komprimering, men de förbättringar som görs numera blir ofta marginella, eftersom de metoder vi redan har är ganska optimala redan som de är.

Här hittar du "Två tillämpningar av Shannons informationsteori"

Tillbaka till avsnittet om Shannons informationsbegrepp
Tillbaka till avsnittet "Kan verklig information skapas genom slump?"
Tillbaka till avsnittet "Intelligent design — vad är det?"

---

Tabellen nedan visar sannolikheterna för de olika tecken som finns i tyska och engelska språket. "-" betyder ordmellanrum, dvs mellanslag, och är som synes det vanligaste tecknet i de två språken. Tabellen bygger på statistik och har tagits fram genom att man mätt de olika tecknens frekvenser i ett stort antal texter av olika typer.

   (Källa; Energie-optimal durch information av Werner Gitt, Hänssler 1986, sid 56)

© Krister Renard