Ingen forsker har en innvirkning-til-berømmelse ratio større Enn Claude Elwood Shannon, skaperen av informasjonsteori. Shannon, som døde i 2001 i en alder av 84 år, får sin grunn i en fantastisk ny biografi, A Mind at Play: How Claude Shannon Invented The Information Age, Av Jimmy Soni og Rob Goodman. De har nettopp lagt ut en stor Scientific American spalte Om Shannon kone Betty, som de kaller en » unsung matematisk geni.»Jeg profilerte Claude I Scientific American i 1990 etter å ha besøkt Shannons i 1989. Nedenfor er en redigert versjon av denne profilen, etterfulgt av redigerte utdrag fra vårt intervju. Se Videre Lesing for lenker Til Shannons poetiske mesterverk ,» A Rubric on Rubik Cubics», og andre innlegg relatert til informasjonsteori. – John Horgan
Claude Shannon kunne ikke sitte stille. Vi satt i stuen i hjemmet hans nord for Boston, Et byggverk kalt Entropi House, og jeg prøvde å få ham til å huske hvordan han kom opp med informasjonsteori. Shannon, som er en gutteaktig 73, med en sjenert glise og snørik hår, var lei av å dvele ved sin fortid. Han ønsket å vise meg sine gadgets.Over de milde protestene til sin kone, Betty, hoppet Han fra stolen og forsvant inn i et annet rom. Da jeg fanget opp med ham, viste han stolt meg sine syv sjakkspillmaskiner, bensindrevet pogo-pinne, hundrebladet jackknife, to-sittende enhjuling og utallige andre underverk.
Noen av hans personlige kreasjoner-som en mekanisk mus som navigerer i en labyrint, En Sjonglerer W. C. Felt utstillingsdukke og en datamaskin som beregner I Romertall – var støvete og i forfall. Men Shannon virket så fornøyd med sine leker som en 10-åring På Julaften morgen.er Dette mannen som Ved Bell Labs i 1948 skrev «En Matematisk Teori Om Kommunikasjon», Magna Carta i den digitale tidsalderen? Hvis arbeid Robert Lucky, direktør for forskning ved at & T Bell Laboratories, har kalt den største » i annals of technological thought?»
Ja. Oppfinneren av informasjonsteori også oppfunnet en rakett-drevet Frisbee og en teori om sjonglering, og han er fortsatt husket På Bell Labs for sjonglering mens riding en enhjuling gjennom hallene. «Jeg har alltid fulgt mine interesser uten mye hensyn til økonomisk verdi eller verdi for verden,» Sa Shannon muntert. «Jeg har brukt mye tid på helt ubrukelige ting.»
Shannons glede i matematiske abstraksjoner og gadgetry dukket opp under sin barndom I Michigan, hvor han ble født i 1916. Han spilte med radiosett og erector sett og likte å løse matematiske oppgaver. «Jeg var alltid interessert, selv som en gutt, i kryptografi og ting av den typen,» Sa Shannon. En av hans favoritthistorier var» The Gold Bug», Et Edgar Allan Poe mysterium om et mystisk kryptert kart.Som en bachelor ved University Of Michigan tok Shannon hovedfag i matematikk og elektroteknikk. I sin mit masteroppgave viste han hvordan en algebra oppfunnet Av Britisk matematiker George Boole-som omhandler slike begreper som » Hvis X eller Y skjer, men Ikke Z, Så Q resultater—- kunne representere arbeidet til brytere og releer i elektroniske kretser.implikasjonene av papiret var dype: Kretsdesign kunne testes matematisk før de ble bygget i stedet for gjennom kjedelig prøving og feiling. Ingeniører designer nå rutinemessig maskinvare og programvare, telefonnettverk og andre komplekse systemer ved Hjelp Av Boolsk algebra. («Jeg har alltid elsket det ordet, Boolsk,» Sa Shannon.)
Etter å ha fått sin doktorgrad VED MIT, Shannon gikk Til Bell Laboratories i 1941. Under Andre Verdenskrig bidro han til å utvikle krypteringssystemer, som inspirerte hans teori om kommunikasjon. Akkurat som koder beskytter informasjon fra nysgjerrige øyne, skjønte han, slik at de kan beskytte den mot statiske og andre former for forstyrrelser. Kodene kan også brukes til å pakke informasjon mer effektivt.»Min første tanke,» Sa Shannon, » var hvordan du best kan forbedre informasjonsoverføring over en støyende kanal. Dette var et bestemt problem, hvor du tenker på et telegrafsystem eller et telefonsystem. Men når du kommer til å tenke på det, begynner du å generalisere i hodet ditt om alle disse bredere applikasjonene.»
midtpunktet i hans 1948-papir var hans definisjon av informasjon. Sidestepping spørsmål om mening (som hans teori «ikke kan og ikke var ment å adressere»), viste han at informasjon er en målbar vare. Grovt sett er en meldingsinformasjon proporsjonal med dens usannsynlighet-eller dens evne til å overraske en observatør.
Shannon relaterte også informasjon til entropi, som i termodynamikk betegner et systems tilfeldighet, eller «shuffledness», som noen fysikere sier det. Shannon definerte den grunnleggende informasjonsenheten-som En Bell Labs-kollega kalt en binær enhet eller » bit » – som en melding som representerer en av to stater. Man kan kode mye informasjon i få biter, akkurat som i det gamle spillet «Tjue Spørsmål» man kunne raskt null på det riktige svaret gjennom netthendt avhør.
Shannon viste at enhver kommunikasjonskanal har en maksimal kapasitet for pålitelig overføring av informasjon. Faktisk viste han at selv om man kan nærme seg dette maksimumet gjennom smart koding, kan man aldri helt nå det. Maksimum har kommet for å bli kjent Som Shannon-grensen.
Shannons 1948-papir etablerte hvordan man beregner Shannon-grensen—men ikke hvordan man nærmer seg den. Shannon og andre tok opp den utfordringen senere. Det første trinnet var å eliminere redundans fra meldingen. Akkurat som en lakonisk Romeo kan få sin melding over med bare «i lv u», komprimerer en god kode først informasjon til sin mest effektive form. En såkalt feilkorrigeringskode legger til akkurat nok redundans for å sikre at den nedstrippede meldingen ikke skjules av støy.
Shannons ideer var for forutseende til å ha en umiddelbar innvirkning. Ikke før tidlig på 1970-tallet gjorde høyhastighets integrerte kretser og andre fremskritt tillate ingeniører å utnytte informasjonsteori fullt ut. I Dag Bidrar Shannons innsikt til å forme nesten alle teknologier som lagrer, behandler eller overfører informasjon i digital form.som kvantemekanikk og relativitet har informasjonsteori fengslet publikum utover det som det var ment for. Forskere innen fysikk, lingvistikk, psykologi, økonomi, biologi, til og med musikk og kunst søkte å anvende informasjonsteori i sine fagområder. I 1958 publiserte et teknisk tidsskrift en redaksjonell, «Informasjonsteori, Fotosyntese og Religion», som beklaget denne trenden.
Bruk av informasjonsteori til biologiske systemer er ikke så langt hentet, Ifølge Shannon. «Nervesystemet er et komplekst kommunikasjonssystem, og det behandler informasjon på kompliserte måter,» sa han. Da han ble spurt om han trodde maskiner kunne «tenke», svarte han: «Du satser. Jeg er en maskin, og du er en maskin, og vi begge tror, ikke sant?»
i 1950 skrev han en artikkel for Scientific American om sjakkspillmaskiner, og han er fortsatt fascinert av feltet kunstig intelligens. Datamaskiner er fortsatt «ikke opp til det menneskelige nivået ennå» når det gjelder rå informasjonsbehandling. Bare replikering av menneskesyn i en maskin forblir en formidabel oppgave. Men » det er sikkert plausibelt for meg at om noen tiår vil maskiner være utenfor mennesker.»
De siste årene Har Shannons store besettelse vært sjonglering. Han har bygget flere sjongleringsmaskiner og utviklet en teori om sjonglering: Hvis B er lik antall baller, h antall hender, D tiden hver ball bruker i en hånd, F tiden for hver ball, Og E tiden hver hånd er tom, så B / H = (D + F)/(D + E). (Dessverre kunne teorien ikke hjelpe Shannon sjonglere mer enn fire baller samtidig.)
Etter å ha forlatt Bell Labs i 1956 for MIT, publiserte Shannon lite på informasjonsteori. Noen Tidligere Bell-kolleger foreslo at han var lei av feltet han opprettet. Shannon benektet denne påstanden. Han hadde blitt interessert i andre emner, som kunstig intelligens, sa han. Han fortsatte å jobbe med informasjonsteori, men han anså de fleste av hans resultater uverdige for publisering. «De fleste store matematikere har gjort sitt beste arbeid da de var unge,» observerte han.
For Flere Tiår siden sluttet Shannon å delta på informasjonsteori-møter. Kolleger sa at han led av alvorlig sceneskrekk. Men i 1985 gjorde han et uventet utseende på en konferanse i Brighton, England, og møtets arrangører overtalte ham til å snakke på en middagsbankett. Han snakket i noen minutter. Deretter, fryktet han var kjedelig sitt publikum, han trakk tre baller ut av lommene og begynte sjonglering. Publikum jublet og stilte opp for autografer. En ingeniør husket, » Det var Som Om Newton hadde dukket opp på en fysikkkonferanse .»
UTDRAG FRA SHANNON INTERVJU, NOVEMBER 2, 1989.
Horgan: Da du begynte å jobbe med informasjonsteori, hadde du et bestemt mål i tankene?
Shannon: Min første tenkning om det var: Hvordan kan du best videresende sendinger i en støyende kanal, noe sånt. Den slags et bestemt problem, hvor du tenker på dem i et telegrafsystem eller telefonsystem. Men når jeg begynner å tenke på det, begynner du å generalisere i hodet alle de bredere applikasjonene. Så nesten hele tiden tenkte jeg på dem også. Jeg vil ofte frase ting i form av en veldig forenklet kanal. Ja eller nei eller noe sånt. Så jeg hadde alle disse følelsene av generalitet veldig tidlig.Horgan: Jeg leste At John Von Neumann foreslo at du bør bruke ordet «entropi» som et mål på informasjon fordi at ingen forstår entropi og slik at Du kan vinne argumenter om din teori.Shannon: Det høres ut som den typen bemerkning jeg kanskje har gjort som en vits… Grovt sett er mengden informasjon hvor mye kaos er der i systemet. Men matematikken kommer ut riktig, så å si. Mengden informasjon målt ved entropi bestemmer hvor mye kapasitet som skal gå i kanalen.Horgan: ble du overrasket da folk prøvde å bruke informasjonsteori for å analysere nervesystemet?
Shannon: Det er ikke så rart hvis du gjør det slik at nervesystemet er et komplekst kommunikasjonssystem, som behandler informasjon på kompliserte måter… For Det meste det jeg skrev om, var å kommunisere fra ett punkt til et annet, men jeg brukte også mye tid på å transformere informasjon fra en form til en annen, kombinere informasjon på kompliserte måter, som hjernen gjør og datamaskinene gjør nå. Så alle disse tingene er en slags generalisering av informasjonsteori, hvor du snakker om å jobbe for å endre sin form på en eller annen måte og kombinere med andre, i motsetning til å få det fra ett sted til et annet. Så, ja alle de tingene jeg ser som en slags utvidelse av informasjonsteori. Kanskje det ikke burde kalles informasjonsteori. Kanskje det burde kalles «transformasjon av informasjon» eller noe sånt.Horgan: Scientific American hadde et spesielt problem på kommunikasjon i 1972. John Pierce sa i den innledende artikkelen at arbeidet ditt kunne utvides til å inkludere mening .Shannon: Mening er en ganske vanskelig ting å få tak i… i matematikk og fysikk og vitenskap og så videre har ting en mening, om hvordan de er relatert til omverdenen. Men vanligvis håndterer de svært målbare mengder, mens de fleste av våre samtaler mellom mennesker ikke er så målbare. Det er en veldig bred ting som bringer opp alle slags følelser i hodet ditt når du hører ordene. Så, jeg tror ikke det er så lett å omfatte det i en matematisk form.Horgan: Folk har fortalt meg at ved slutten av 1950-tallet ble du lei av informasjonsteori.
Shannon: Det er ikke at jeg var lei av det. Det er at jeg jobbet med en annen ting… Jeg lekte med maskiner for å gjøre beregninger. Det har vært mer av min interesse enn informasjonsteori selv. Den intelligente maskin ideen.
Horgan: er du bekymret for at maskiner vil ta over noen av våre funksjoner?
Shannon: Maskinene kan kanskje løse mange problemer vi har lurt på og redusere vårt menialarbeidsproblem … hvis du snakker om maskinene som tar over, er jeg ikke veldig bekymret for det. Jeg tror at så lenge vi bygger dem, vil de ikke ta over.
Horgan: har Du noen gang følt noe press på Deg, På Bell Labs, for å jobbe med noe mer praktisk?
Shannon: Nei. Jeg har alltid fulgt mine interesser uten mye hensyn til økonomisk verdi eller verdi for verden. Jeg har vært mer interessert i om et problem er spennende enn hva det vil gjøre. Jeg har brukt mye tid på helt ubrukelige ting.
Videre Lesing:
Kan Integrert Informasjonsteori Forklare Bevissthet?
Hvorfor informasjon ikke kan være grunnlaget for virkeligheten
Poetisk mesterverk Av Claude Shannon, far til informasjonsteori
Bayes Teorem: Hva Er Big Deal?