ingen videnskabsmand har et forhold mellem indflydelse og berømmelse større end Claude Shannon, skaberen af informationsteori. Shannon, der døde i 2001 i en alder af 84, får sin skyld i en fantastisk ny biografi, a Mind at Play: hvordan Claude Shannon opfandt informationsalderen, af Jimmy Soni og Rob Goodman. De har lige sendt en stor videnskabelig amerikansk kolonne om Shannons kone Betty, som de kalder et “usungt matematisk geni.”Jeg profilerede Claude i Scientific American i 1990 efter at have besøgt Shannons i 1989. Nedenfor er en redigeret version af denne profil, efterfulgt af redigerede uddrag fra vores samtale. Se yderligere læsning for links til Shannons poetiske mesterværk, “en rubrik på Rubik Cubics,” og andre indlæg relateret til informationsteori. – John Horgan

Claude Shannon kunne ikke sidde stille. Vi sad i stuen i hans hjem nord for Boston, en bygning kaldet Entropy House, og jeg forsøgte at få ham til at huske, hvordan han kom op med informationsteori. Shannon, der er en drenget 73, med et genert grin og snedækket hår, var træt af at dvæle ved sin fortid. Han ville vise mig sine gadgets.

Over de milde protester fra sin kone, Betty, sprang han fra sin stol og forsvandt ind i et andet rum. Da jeg indhentede ham, han viste mig stolt sine syv skakspilmaskiner, bensindrevet pogo-stick, hundrede-bladet kniv, to-siddende unicykel og utallige andre vidundere.

Nogle af hans personlige kreationer-såsom en mekanisk mus, der navigerer i en labyrint, en jonglering. Felter model og en computer, der beregner i romertal — var støvede og i forfald. Men Shannon virkede lige så glad for sit legetøj som en 10-årig julemorgen.

er det den mand, der på Bell Labs i 1948 skrev “en matematisk teori om kommunikation”, Magna Carta i den digitale tidsalder? Hvis arbejde Robert Lucky, administrerende direktør for forskning ved at & T Bell Laboratories, har kaldt den største “i annalerne for teknologisk tanke?”

Ja. Opfinderen af informationsteori opfandt også en raketdrevet Frisbee og en teori om jonglering, og han huskes stadig på Bell Labs for at jonglere, mens han kørte på en unicykel gennem hallerne. “Jeg har altid forfulgt mine interesser uden særlig hensyntagen til økonomisk værdi eller værdi for verden,” sagde Shannon muntert. “Jeg har brugt meget tid på helt ubrugelige ting.”

Shannons glæde i matematiske abstraktioner og gadgetry opstod under hans barndom i Michigan, hvor han blev født i 1916. Han spillede med radio kits og erector sæt og nød at løse matematiske gåder. “Jeg var altid interesseret, selv som dreng, i kryptografi og ting af den slags,” sagde Shannon. En af hans yndlingshistorier var” The Gold Bug”, et Edgar Allan Poe-mysterium om et mystisk krypteret kort.

som en bachelor på University of Michigan, Shannon hovedfag i matematik og elektroteknik. I sin MIT-speciale viste han, hvordan en algebra opfundet af den britiske matematiker George Boole—der beskæftiger sig med sådanne begreber som “hvis der sker noget, men ikke noget, så resultater”—kunne repræsentere funktionen af afbrydere og relæer i elektroniske kredsløb.

papirets implikationer var dybe: kredsløbsdesign kunne testes matematisk, før de blev bygget snarere end gennem kedelig prøve og fejl. Ingeniører designer nu rutinemæssigt computerudstyr, telefonnet og andre komplekse systemer ved hjælp af boolsk algebra. (“Jeg har altid elsket det ord, boolsk,” sagde Shannon.)

efter at have fået sin doktorgrad ved MIT, gik Shannon til Bell Laboratories i 1941. Under Anden Verdenskrig hjalp han med at udvikle krypteringssystemer, som inspirerede hans teori om kommunikation. Ligesom koder beskytter information mod nysgerrige øjne, indså han, så de kan beskytte det mod statiske og andre former for interferens. Koderne kunne også bruges til at pakke information mere effektivt.

“min første tænkning om ,” sagde Shannon, “var, hvordan du bedst forbedrer informationsoverførslen over en støjende kanal. Dette var et specifikt problem, hvor du tænker på et telegrafsystem eller et telefonsystem. Men når du kommer til at tænke over det, du begynder at generalisere i dit hoved om alle disse bredere applikationer.”

midtpunktet i hans papir fra 1948 var hans definition af information. Sidestepping spørgsmål om mening (som hans teori “ikke kan og ikke var beregnet til at adressere”) viste han, at information er en målbar vare. Groft sagt er en meddelelses information proportional med dens usandsynlighed-eller dens evne til at overraske en observatør.Shannon relaterede også information til entropi, som i termodynamik betegner et systems tilfældighed eller “shuffledness”, som nogle fysikere udtrykte det. Shannon definerede den grundlæggende informationsenhed-som en Bell Labs-kollega kaldte en binær enhed eller”bit” – som en meddelelse, der repræsenterer en af to stater. Man kunne kode masser af information i få bits, ligesom i det gamle spil “tyve spørgsmål” kunne man hurtigt nul ind på det rigtige svar gennem behændig spørgsmålstegn.

Shannon viste, at en given kommunikationskanal har en maksimal kapacitet til pålidelig transmission af information. Faktisk viste han, at selv om man kan nærme sig dette maksimum gennem smart kodning, kan man aldrig helt nå det. Maksimumet er blevet kendt som Shannon-grænsen.Shannons papir fra 1948 fastslog, hvordan man beregner Shannon—grænsen-men ikke hvordan man nærmer sig den. Shannon og andre tog denne udfordring op senere. Det første skridt var at fjerne redundans fra meddelelsen. Ligesom en lakonisk Romeo kan få sit budskab igennem med en simpel” i lv u”, komprimerer en god kode først information til sin mest effektive form. En såkaldt fejlkorrektionskode tilføjer lige nok redundans til at sikre, at den afskårne meddelelse ikke skjules af støj.

Shannons ideer var for forudseende til at have en øjeblikkelig indflydelse. Først i begyndelsen af 1970 ‘ erne gjorde højhastighedsintegrerede kredsløb og andre fremskridt det muligt for ingeniører at udnytte informationsteorien fuldt ud. I dag hjælper Shannons indsigt med at forme stort set alle teknologier, der gemmer, behandler eller transmitterer information i digital form.

ligesom kvantemekanik og relativitet har informationsteori betaget publikum ud over det, som det var beregnet til. Forskere inden for Fysik, lingvistik, psykologi, økonomi, biologi, endda musik og kunst forsøgte at anvende informationsteori i deres discipliner. I 1958 offentliggjorde et teknisk tidsskrift en redaktionel, “informationsteori, fotosyntese og Religion”, der beklagede denne tendens.

anvendelse af informationsteori til biologiske systemer er ikke så langt hentet, ifølge Shannon. “Nervesystemet er et komplekst kommunikationssystem, og det behandler information på komplicerede måder,” sagde han. Da han blev spurgt, om han troede, at maskiner kunne “tænke,” svarede han: “du satser. Jeg er en maskine, og du er en maskine, og vi tænker begge, ikke?”

i 1950 skrev han en artikel til Scientific American om skakspilmaskiner, og han forbliver fascineret af området kunstig intelligens. Computere er stadig “ikke op til det menneskelige niveau endnu” med hensyn til rå informationsbehandling. Simpelthen at replikere menneskets vision i en maskine forbliver en formidabel opgave. Men ” det er bestemt plausibelt for mig, at maskiner om få årtier vil være uden for mennesker.”

i de senere år har Shannons store besættelse været jonglering. Han har bygget flere jongleringsmaskiner og udtænkt en teori om jonglering: hvis B er lig med antallet af bolde, h antallet af hænder, d den tid, hver bold bruger i en hånd, F flyvetiden for hver bold og E tiden hver hånd er tom, så B/H = (D + F)/(D + E). (Desværre kunne teorien ikke hjælpe Shannon med at jonglere mere end fire bolde på en gang.)

efter at have forladt Bell Labs i 1956 for MIT, offentliggjorde Shannon lidt om informationsteori. Nogle tidligere Bell-kolleger foreslog, at han var træt af det felt, han skabte. Shannon benægtede denne påstand. Han var blevet interesseret i andre emner, som kunstig intelligens, sagde han. Han fortsatte med at arbejde på informationsteori, men han betragtede de fleste af hans resultater uværdige til offentliggørelse. “De fleste store matematikere har gjort deres fineste arbejde, da de var unge,” observerede han.for årtier siden stoppede Shannon med at deltage i informationsteorimøder. Kolleger sagde, at han led af alvorlig sceneskræk. Men i 1985 optrådte han uventet på en konference i Brighton, England, og mødets arrangører overtalte ham til at tale ved en middagsbanket. Han talte i et par minutter. Derefter, af frygt for, at han kedede sit publikum, han trak tre bolde ud af lommerne og begyndte at jonglere. Publikum jublede og stillede op til autografer. En ingeniør mindede om, ” det var som om han var dukket op på en fysik konference.”

uddrag fra SHANNON samtale, 2. NOVEMBER 1989.

Horgan: da du begyndte at arbejde på informationsteori, havde du et specifikt mål i tankerne?

Shannon: min første tanke om det var: hvordan videresender du bedst transmissioner i en støjende kanal, sådan noget. Den slags et specifikt problem, hvor du tænker på dem i et telegrafsystem eller telefonsystem. Men når jeg begynder at tænke over det, du begynder at generalisere i dit hoved alle de bredere applikationer. Så næsten hele tiden tænkte jeg også på dem. Jeg vil ofte sætte tingene i form af en meget forenklet kanal. Ja eller nej eller sådan noget. Så jeg havde alle disse følelser af generalitet meget tidligt.

Horgan: jeg læste, at John Von Neumann foreslog, at du skulle bruge ordet “entropi” som et mål for information, fordi ingen forstår entropi, og så du kan vinde argumenter om din teori.

Shannon: det lyder som den slags bemærkning, jeg måske har lavet som en vittighed… groft sagt er mængden af information, hvor meget kaos der er i systemet. Men matematikken kommer ud rigtigt, så at sige. Mængden af information målt ved entropi bestemmer, hvor meget kapacitet der skal efterlades i kanalen.

Horgan: blev du overrasket, da folk forsøgte at bruge informationsteori til at analysere nervesystemet?

Shannon: Det er ikke så mærkeligt, hvis du gør det sådan, at nervesystemet er et komplekst kommunikationssystem, der behandler information på komplicerede måder… Mest det, jeg skrev om, var at kommunikere fra et punkt til et andet, men jeg brugte også meget tid på at omdanne information fra en form til en anden, kombinere information på komplicerede måder, som hjernen gør, og computere gør nu. Så alle disse ting er en slags generalisering af informationsteori, hvor du taler om at arbejde for at ændre dens form på en eller anden måde og kombinere med andre i modsætning til at få den fra et sted til et andet. Så ja alle de ting, jeg ser som en slags udvidelse af informationsteori. Måske skulle det ikke kaldes informationsteorien. Måske skal det kaldes” transformation af information ” eller sådan noget.Horgan: Scientific American havde et særligt nummer om kommunikation i 1972. John Pierce sagde i den indledende artikel, at dit arbejde kunne udvides til at omfatte mening .

Shannon: betydning er en ret hård ting at få fat i… i matematik og fysik og videnskab og så videre har ting en mening om, hvordan de er relateret til omverdenen. Men normalt beskæftiger de sig med meget målbare mængder, mens det meste af vores samtale mellem mennesker ikke er så målbar. Det er en meget bred ting, der bringer alle slags følelser i dit hoved, når du hører ordene. Så jeg tror ikke, det er så let at omfatte det i en matematisk form.

Horgan: folk har fortalt mig, at i slutningen af 1950 ‘ erne blev du træt af informationsteori.

Shannon: det er ikke, at jeg var træt af det. Det er, at jeg arbejdede på en anden ting… Jeg legede rundt med maskiner til at lave beregninger. Det har været mere af min interesse end selve informationsteorien. Den intelligente maskine ide.

Horgan: er du bekymret for, at maskiner overtager nogle af vores funktioner?

Shannon: Maskinerne kan muligvis løse mange problemer, vi har spekuleret på, og reducere vores meniale arbejdsproblem… hvis du taler om, at maskinerne overtager, er jeg ikke rigtig bekymret for det. Så længe vi bygger dem, tager de ikke over.

Horgan: har du nogensinde følt noget pres på dig hos Bell Labs for at arbejde på noget mere praktisk?

Shannon: Nej. Jeg har altid forfulgt mine interesser uden megen hensyntagen til økonomisk værdi eller værdi for verden. Jeg har været mere interesseret i, om et problem er spændende, end hvad det vil gøre. … Jeg har brugt meget tid på helt ubrugelige ting.

yderligere læsning:

kan integreret informationsteori forklare bevidsthed?

hvorfor information ikke kan være grundlaget for virkeligheden

poetisk mesterværk af Claude Shannon, far til informationsteori

Bayes sætning: Hvad er Big Deal?