geen enkele wetenschapper heeft een impact-to-fame ratio groter dan Claude Elwood Shannon, de bedenker van de informatietheorie. Shannon, die stierf in 2001 op de leeftijd van 84, krijgt zijn due in een geweldige nieuwe biografie, a Mind at Play: How Claude Shannon Invented the Information Age, door Jimmy Soni en Rob Goodman. Ze postten net een grote wetenschappelijke Amerikaanse column over Shannons vrouw Betty, die ze een “unsung wiskundig genie noemen.”Ik profileerde Claude in Scientific American in 1990 na een bezoek aan de Shannons in 1989. Hieronder is een bewerkte versie van dat profiel, gevolgd door bewerkte fragmenten uit ons interview. Zie verder lezen voor links naar Shannons poëtische meesterwerk, “A Rubric on Rubik Cubics,” en andere berichten met betrekking tot informatietheorie. – John Horgan Claude Shannon kon niet stilzitten. We zaten in de woonkamer van zijn huis ten noorden van Boston, een gebouw genaamd Entropy House, en ik probeerde hem te laten herinneren hoe hij met informatietheorie kwam. Shannon, die een jongensachtige 73, met een verlegen grijns en besneeuwd haar, was moe van het stilzitten op zijn verleden. Hij wilde me zijn gadgets laten zien.na de milde protesten van zijn vrouw, Betty, sprong hij uit zijn stoel en verdween in een andere kamer. Toen ik hem inhaalde, toonde hij me trots zijn zeven schaakspelmachines, benzine-aangedreven pogo-stick, honderd-bladed jackknife, tweezittende eenwieler en talloze andere wonderen.
sommige van zijn persoonlijke creaties-zoals een mechanische muis die door een doolhof navigeert, een jongleren W. C. Fields mannequin en een computer die berekent in Romeinse cijfers — waren stoffig en in verval. Maar Shannon leek net zo blij met zijn speelgoed als een 10-jarige op kerstochtend.is dit de man die in 1948 bij Bell Labs “A Mathematical Theory of Communication,” the Magna Carta of the digital age schreef? Wiens werk Robert Lucky, executive director of research bij AT &T Bell Laboratories, heeft de grootste “in the annals of technological thought?”
Ja. De uitvinder van de informatietheorie ook uitgevonden een raket-aangedreven Frisbee en een theorie van jongleren, en hij wordt nog steeds herinnerd bij Bell Labs voor jongleren tijdens het rijden een eenwieler door de hallen. “Ik heb altijd mijn belangen nagestreefd zonder veel aandacht voor financiële waarde of waarde voor de wereld,” Shannon zei Vrolijk. “Ik heb veel tijd besteed aan totaal nutteloze dingen.Shannons plezier in wiskundige abstracties en gadgets ontstond tijdens zijn jeugd in Michigan, waar hij werd geboren in 1916. Hij speelde met radio kits en erector sets en genoot van het oplossen van wiskundige puzzels. “Ik was altijd geïnteresseerd, zelfs als een jongen, in cryptografie en dingen van dat soort,” Shannon zei. Een van zijn favoriete verhalen was “the Gold Bug”, een Edgar Allan Poe mysterie over een mysterieuze gecodeerde kaart.als bachelor aan de Universiteit van Michigan studeerde Shannon wiskunde en elektrotechniek. In zijn mit master ‘ s thesis toonde hij hoe een algebra uitgevonden door de Britse wiskundige George Boole—die zich bezighoudt met concepten als “als X of Y gebeurt, maar niet Z, Dan Q resultaten”—de werking van schakelaars en relais in elektronische circuits kon vertegenwoordigen.
de implicaties van het artikel waren diepgaand: Circuitontwerpen konden wiskundig worden getest voordat ze werden gebouwd in plaats van door vervelende trial and error. Ingenieurs ontwerpen nu routinematig computerhardware en-software, telefoonnetwerken en andere complexe systemen met behulp van Booleaanse algebra. (“Ik heb altijd van dat woord gehouden, Boolean,” zei Shannon.na zijn doctoraat aan het MIT ging Shannon in 1941 naar Bell Laboratories. Tijdens de Tweede Wereldoorlog hielp hij bij het ontwikkelen van encryptie-systemen, die zijn theorie van communicatie inspireerden. Net zoals codes informatie beschermen tegen nieuwsgierige ogen, realiseerde hij zich, zodat ze het kunnen beschermen tegen statische en andere vormen van interferentie. De codes kunnen ook worden gebruikt om informatie efficiënter te verpakken.
“mijn eerste gedachte over ,” zei Shannon, ” was hoe je de informatieoverdracht het beste kunt verbeteren via een luidruchtig kanaal. Dit was een specifiek probleem, waarbij je denkt aan een telegraafsysteem of een telefoonsysteem. Maar als je daarover nadenkt, begin je in je hoofd te generaliseren over al deze bredere toepassingen.het middelpunt van zijn artikel uit 1948 was zijn definitie van informatie. Naast vragen over Betekenis (die zijn theorie “niet kan en niet bedoeld was om aan te pakken”), toonde hij aan dat informatie een meetbare grondstof is. Grofweg gesproken is de informatie van een boodschap evenredig met de onwaarschijnlijkheid–of het vermogen om een waarnemer te verrassen.
Shannon relateerde ook informatie aan entropie, wat in de thermodynamica de willekeur van een systeem aangeeft, of “schuifeligheid”, zoals sommige natuurkundigen het noemen. Shannon definieerde de basiseenheid van informatie–die een collega van Bell Labs een binaire eenheid of “bit”noemde–als een boodschap die een van de twee staten vertegenwoordigt. Men zou veel informatie in een paar bits kunnen coderen, net zoals in het oude spel “twintig vragen” men al snel het juiste antwoord kon vinden door behendige vragen te stellen.
Shannon toonde aan dat elk communicatiekanaal een maximale capaciteit heeft voor het betrouwbaar overbrengen van informatie. Eigenlijk toonde hij aan dat hoewel men dit maximum kan benaderen door slimme codering, men het nooit helemaal kan bereiken. Het maximum is bekend geworden als de Shannon limiet.
Shannons paper uit 1948 stelde vast hoe de Shannon—limiet te berekenen-maar niet hoe deze te benaderen. Shannon en anderen Namen die uitdaging later aan. De eerste stap was het elimineren van redundantie uit de boodschap. Net zoals een laconische Romeo zijn boodschap kan overbrengen met een simpele “i lv u”, comprimeert een goede code eerst de informatie tot zijn meest efficiënte vorm. Een zogenaamde foutcorrectiecode voegt net genoeg redundantie toe om ervoor te zorgen dat het uitgeklede bericht niet wordt verduisterd door ruis.Shannons ideeën waren te vooruitstrevend om een onmiddellijke impact te hebben. Pas in het begin van de jaren zeventig maakten snelle geïntegreerde schakelingen en andere ontwikkelingen het mogelijk dat ingenieurs de informatietheorie volledig konden benutten. Vandaag Shannon ‘ s inzichten helpen vormgeven vrijwel alle technologieën die informatie op te slaan, te verwerken, of te verzenden in digitale vorm.
net als kwantummechanica en relativiteitstheorie heeft de informatietheorie een groter publiek gefascineerd dan het publiek waarvoor ze bedoeld was. Onderzoekers in de natuurkunde, taalkunde, psychologie, economie, biologie, zelfs muziek en kunst probeerden informatietheorie toe te passen in hun disciplines. In 1958 publiceerde een technisch tijdschrift een redactioneel artikel, “Information Theory, Photosynthese, and Religion”, waarin deze trend werd betreurd.
het toepassen van informatietheorie op biologische systemen is volgens Shannon niet zo vergezocht. “Het zenuwstelsel is een complex communicatiesysteem, en het verwerkt informatie op ingewikkelde manieren,” zei hij. Toen hem werd gevraagd of hij dacht dat machines konden “denken”, antwoordde hij: “reken maar. Ik ben een machine en jij bent een machine, en we denken allebei, nietwaar?in 1950 schreef hij een artikel voor Scientific American over schaakspelmachines, en hij blijft gefascineerd door het gebied van kunstmatige intelligentie. Computers zijn nog steeds “nog niet op het menselijke niveau” in termen van ruwe informatieverwerking. Het repliceren van menselijk zicht in een machine blijft een formidabele taak. Maar ” het is zeker plausibel voor mij dat over een paar decennia machines voorbij de mens zullen zijn.Shannons grote obsessie was de laatste jaren het jongleren. Hij heeft verschillende jongleren machines gebouwd en bedacht een theorie van jongleren: als B gelijk is aan het aantal ballen, H het aantal handen, D de tijd dat elke bal doorbrengt in een hand, F de tijd van de vlucht van elke bal, en E de tijd dat elke hand leeg is, dan B/H = (D + F)/(D + E). (Helaas, kon de theorie Shannon niet helpen jongleren meer dan vier ballen tegelijk.na het verlaten van Bell Labs in 1956 voor MIT, publiceerde Shannon little on information theory. Sommige voormalige collega ‘ s van Bell suggereerden dat hij moe was van het veld dat hij creëerde. Shannon ontkende die claim. Hij was geïnteresseerd geraakt in andere onderwerpen, zoals kunstmatige intelligentie, zei hij. Hij bleef werken aan de informatietheorie, maar vond de meeste van zijn resultaten onwaardig. “De meeste grote wiskundigen hebben hun beste werk gedaan toen ze jong waren,” merkte hij op.
decennia geleden stopte Shannon met het bijwonen van informatie-theorie bijeenkomsten. Collega ‘ s zeiden dat hij ernstige plankenkoorts had. Maar in 1985 maakte hij een onverwachte verschijning op een conferentie in Brighton, Engeland, en de organisatoren van de vergadering overtuigde hem om te spreken op een diner banket. Hij praatte een paar minuten. Toen, uit angst dat hij was saai zijn publiek, trok hij drie ballen uit zijn zakken en begon jongleren. Het publiek juichte en stond in de rij voor handtekeningen. Een ingenieur herinnerde zich: “het was alsof Newton op een natuurkundeconferentie was komen opdagen.”
fragmenten uit SHANNON INTERVIEW, NOVEMBER 2, 1989.
Horgan: toen u begon te werken aan informatietheorie, had u toen een specifiek doel voor ogen?
Shannon: mijn eerste gedachte was: Hoe kan je transmissies het beste doorsturen in een luidruchtig kanaal, zoiets. Dat is een specifiek probleem, waarbij je ze in een Telegraaf-of telefoonsysteem ziet. Maar als ik daarover begin na te denken, begin je in je hoofd alle bredere toepassingen te generaliseren. Dus bijna de hele tijd dacht ik ook aan hen. Ik zou de dingen vaak in termen van een zeer vereenvoudigde kanaal verwoorden. Ja of nee of zoiets. Ik had al heel vroeg al die gevoelens van algemeenheid.
Horgan: Ik las dat John Von Neumann suggereerde dat je het woord “entropie” zou moeten gebruiken als een maat voor informatie omdat niemand entropie begrijpt en zodat je argumenten over je theorie kunt winnen.
Shannon: het klinkt als het soort opmerking dat ik zou kunnen hebben gemaakt als een grap… grof gezegd, de hoeveelheid informatie is hoeveel chaos er is in het systeem. Maar de wiskunde komt er goed uit, zogezegd. De hoeveelheid informatie gemeten door entropie bepaalt hoeveel capaciteit te verlaten in het kanaal.
Horgan: was u verrast toen mensen informatietheorie probeerden te gebruiken om het zenuwstelsel te analyseren?
Shannon: Dat is niet zo vreemd als je beweert dat het zenuwstelsel een complex communicatiesysteem is, dat informatie op ingewikkelde manieren verwerkt… waar ik vooral over schreef was communiceren van het ene punt naar het andere, maar ik besteedde ook veel tijd aan het transformeren van informatie van de ene vorm naar de andere, het combineren van informatie op ingewikkelde manieren, wat de hersenen en de computers nu doen. Dus al deze dingen zijn een soort van veralgemening van informatietheorie, waar je het hebt over werken om zijn vorm op de een of andere manier te veranderen en te combineren met anderen, in tegenstelling tot het krijgen van de ene plaats naar de andere. Dus ja, al die dingen zie ik als een soort verbreding van de informatietheorie. Misschien moet het niet de informatietheorie worden genoemd. Misschien moet het “transformatie van informatie” worden genoemd of zoiets.Horgan: Scientific American had een speciaal nummer over communicatie in 1972. John Pierce zei in het inleidende artikel dat je werk kan worden uitgebreid met betekenis .
Shannon: betekenis is een vrij moeilijk ding om grip op te krijgen… in de wiskunde, natuurkunde en wetenschap en ga zo maar door, dingen hebben een Betekenis, over hoe ze zijn gerelateerd aan de buitenwereld. Maar meestal hebben ze te maken met zeer meetbare hoeveelheden, terwijl de meeste gesprekken tussen mensen niet zo meetbaar zijn. Het is een heel breed ding dat allerlei emoties in je hoofd oproept als je de woorden hoort. Dus, ik denk niet dat het allemaal zo gemakkelijk is om dat in een wiskundige vorm te vatten.
Horgan: mensen hebben me verteld dat tegen de late jaren 1950, je moe werd van de informatietheorie.
Shannon: het is niet dat ik er moe van was. Het is dat ik aan iets anders werkte… Ik speelde met machines om berekeningen te maken. Dat is meer van mijn belang dan de informatietheorie zelf. Het idee van de intelligente machine.
Horgan: maakt u zich zorgen dat machines sommige van onze functies overnemen?
Shannon: De machines kunnen misschien veel problemen oplossen waar we ons over hebben afgevraagd en ons slaafse arbeidsprobleem verminderen… als je het hebt over de machines die het overnemen, daar maak ik me niet echt zorgen over. Zolang we ze bouwen, nemen ze het niet over.
Horgan: heeft u bij Bell Labs ooit enige druk op u gevoeld om aan iets praktischer te werken?
Shannon: No. Ik heb altijd mijn belangen nagestreefd zonder veel aandacht voor financiële waarde of waarde voor de wereld. Ik ben meer geïnteresseerd in of een probleem spannend is dan wat het zal doen. Ik heb veel tijd besteed aan totaal nutteloze dingen.
verder lezen:
kan geïntegreerde informatietheorie bewustzijn verklaren?
Waarom informatie niet de basis van de werkelijkheid kan zijn
poëtisch meesterwerk van Claude Shannon, vader van de informatietheorie
Bayes ‘ stelling: Wat is het probleem?