kenelläkään tieteilijällä ei ole suurempaa vaikutus-to-fame-suhdetta kuin tietoteorian luojalla Claude Elwood Shannonilla. Vuonna 2001 84-vuotiaana kuollut Shannon saa ansionsa mukaan uudessa elämäkerrassaan a Mind at Play: How Claude Shannon Invented the Information Age, jonka ovat kirjoittaneet Jimmy Soni ja Rob Goodman. He julkaisivat juuri Scientific American-kolumnin Shannonin vaimosta Bettystä, jota he kutsuvat ”unohdetuksi matemaattiseksi neroksi.”Profiloin Clauden Scientific American-lehdessä vuonna 1990 käytyäni shannoneilla vuonna 1989. Alla on muokattu versio kyseisestä profiilista, jota seuraa editoidut otteet haastattelustamme. Katso lisätietoja linkeistä Shannonin runolliseen mestariteokseen ”a Rubric on Rubik Cubics” ja muihin informaatioteoriaan liittyviin viesteihin. John Horgan

Claude Shannon ei malttanut istua paikallaan. Istuimme hänen kotinsa olohuoneessa Bostonin pohjoispuolella, Entropy House-nimisessä rakennuksessa, ja yritin saada hänet muistelemaan, miten hän keksi informaatioteorian. Poikamainen, 73-vuotias Shannon, jolla oli ujo virne ja luminen tukka, oli kyllästynyt vatvomaan menneisyyttään. Hän halusi näyttää vempaimiaan.

vaimonsa Bettyn lievien vastalauseiden vuoksi hän hyppäsi tuoliltaan ja katosi toiseen huoneeseen. Kun sain hänet kiinni, hän näytti minulle ylpeänä seitsemää shakkikonettaan, bensiinikäyttöistä pogo-keppiä, satateräistä jackknifeä, kaksipaikkaista yksipyöräistä ja lukemattomia muita ihmeitä.

joitakin hänen henkilökohtaisia luomuksiaan–kuten mekaaninen hiiri, joka navigoi sokkelossa, jonglööri W. C. Fields mallinukke ja tietokone, joka laskee roomalaisin numeroin-olivat pölyisiä ja huonossa kunnossa. Shannon vaikutti kuitenkin yhtä ihastuneelta leluihinsa kuin 10-vuotias jouluaamuna.

onko tämä se mies, joka Bell Labsissa vuonna 1948 kirjoitti ”A Mathematical Theory of Communication”, digiajan Magna Carta? Kenen työtä Robert Lucky, AT&T Bell Laboratories, on kutsunut suurimmaksi”the annals of technological thought?”

Kyllä. Informaatioteorian keksijä keksi myös rakettikäyttöisen Frisbeen ja jongleerausteorian, ja hänet muistetaan Bell Labsissa yhä jongleerauksesta ajaessaan yksipyöräisellä hallien läpi. ”Olen aina ajanut etujani välittämättä paljoakaan taloudellisesta arvosta tai arvosta maailmalle”, Shannon sanoi iloisesti. ”Olen käyttänyt paljon aikaa täysin hyödyttömiin asioihin.”

Shannonin ihastus matemaattisiin abstraktioihin ja vempaimiin syntyi hänen lapsuudessaan Michiganissa, jossa hän syntyi vuonna 1916. Hän soitti radio sarjat ja erector asetetaan ja nautti ratkaista matemaattisia arvoituksia. ”Olin aina, jo pikkupoikana, kiinnostunut kryptografiasta ja sen sellaisesta”, Shannon sanoi. Yksi hänen suosikkitarinoistaan oli” The Gold Bug”, Edgar Allan Poen mysteeri salaperäisestä salatusta kartasta.

opiskellessaan Michiganin yliopistossa Shannonin pääaineina olivat matematiikka ja sähkötekniikka. Hänen mit Pro gradu, hän osoitti, miten Algebra keksi brittiläinen matemaatikko George Boole—joka käsittelee sellaisia käsitteitä kuin ”jos X tai Y tapahtuu, mutta ei Z, sitten Q tulokset” – voisi edustaa toimintaa kytkimet ja releet elektronisissa piireissä.

paperin seuraukset olivat syvällisiä: Piirimalleja voitiin testata matemaattisesti ennen niiden rakentamista eikä pitkäveteisen yrityksen ja erehdyksen kautta. Insinöörit suunnittelevat nykyään rutiininomaisesti tietokonelaitteistoja ja-ohjelmistoja, puhelinverkostoja ja muita monimutkaisia järjestelmiä Boolen algebran avulla. (”Olen aina rakastanut sitä sanaa, Boolean”, Shannon sanoi.)

väiteltyään tohtoriksi MIT: ssä Shannon meni Bell Laboratorysiin vuonna 1941. Toisen maailmansodan aikana hän oli mukana kehittämässä salausjärjestelmiä, mikä innoitti hänen kommunikaatioteoriaansa. Aivan kuten koodit suojaavat tietoa uteliailta katseilta, hän tajusi, jotta ne voivat suojata sitä staattiselta ja muunlaiselta häiriöltä. Koodeilla voitaisiin myös paketoida tietoa tehokkaammin.

”ensimmäinen ajatukseni oli, miten tiedonvälitystä voidaan parhaiten parantaa meluisalla kanavalla”, Shannon sanoi. Tämä oli erityinen ongelma, jossa ajatellaan lennätinjärjestelmää tai puhelinjärjestelmää. Mutta kun asiaa alkaa miettiä, alkaa päässään yleistää kaikki nämä laajemmat Sovellukset.”

hänen vuoden 1948 tutkielmansa keskipisteenä oli hänen tiedon määritelmänsä. Sivuuttaen merkitykseen liittyviä kysymyksiä (joita hänen teoriansa ”ei voi eikä ollut tarkoitus käsitellä”) hän osoitti, että tieto on mitattavissa oleva hyödyke. Karkeasti ottaen viestin informaatio on verrannollinen sen epätodennäköisyyteen-tai kykyyn yllättää tarkkailija.

Shannon liitti tietoa myös entropiaan, joka termodynamiikassa merkitsee systeemin satunnaisuutta eli ”sekoittumista”, kuten jotkut fyysikot asian ilmaisivat. Shannon määritteli tiedon perusyksikön-jonka Bell Labs-kollega kutsui binääriseksi yksiköksi tai ”bittiksi” – viestiksi, joka edustaa jompaakumpaa kahdesta tilasta. Yksi voisi koodata paljon tietoa muutaman bittiä, aivan kuten vanha peli ”kaksikymmentä kysymystä” voisi nopeasti nolla oikea vastaus kautta näppärä kysymyksiä.

Shannon osoitti, että jokaisella viestintäkanavalla on maksimikapasiteetti tiedon luotettavasti välittämiseen. Itse asiassa, hän osoitti, että vaikka yksi voi lähestyä tätä maksimi kautta fiksu koodaus, ei voi koskaan aivan saavuttaa sitä. Maksimi on tullut tunnetuksi Shannonin rajana.

Shannonin vuoden 1948 tutkielmassa määriteltiin, miten Shannonin raja lasketaan—mutta ei miten sitä lähestyttäisiin. Shannon ja muut tarttuivat haasteeseen myöhemmin. Ensimmäinen askel oli irtisanomisten poistaminen viestistä. Aivan kuten lakoninen Romeo saa viestinsä perille pelkällä ”i lv u”: lla, hyvä koodi pakkaa tiedon ensin tehokkaimpaan muotoonsa. Niin sanottu virheenkorjauskoodi lisää juuri sen verran redundanssia, että riisuttu viesti ei jää hälyn varjoon.

Shannonin ajatukset olivat liian ennakkokäsitteisiä, jotta niillä olisi välitöntä vaikutusta. Vasta 1970-luvun alussa nopeat integroidut piirit ja muut edistysaskeleet antoivat insinööreille mahdollisuuden hyödyntää täysin informaatioteoriaa. Nykyään Shannonin oivallukset auttavat muokkaamaan lähes kaikkia teknologioita, jotka tallentavat, käsittelevät tai välittävät tietoa digitaalisessa muodossa.

kuten kvanttimekaniikka ja suhteellisuusteoria, informaatioteoria on vanginnut yleisöjä enemmän kuin se, jolle se oli tarkoitettu. Fysiikan, kielitieteen, psykologian, taloustieteen, biologian, jopa musiikin ja taiteiden tutkijat pyrkivät soveltamaan tieteenaloillaan informaatioteoriaa. Vuonna 1958 eräs tekninen aikakauslehti julkaisi pääkirjoituksen ”Information Theory, Photosynthesis, and Religion”, jossa pahoiteltiin tätä suuntausta.

informaatioteorian soveltaminen biologisiin järjestelmiin ei ole Shannonin mukaan kovin kaukaa haettua. ”Hermosto on monimutkainen viestintäjärjestelmä, ja se käsittelee tietoa monimutkaisilla tavoilla”, hän sanoi. Kun häneltä kysyttiin, luuliko hän koneiden voivan ”ajatella”, hän vastasi: ”varmasti. Me molemmat ajattelemme.”

vuonna 1950 hän kirjoitti Scientific American-lehteen artikkelin shakin pelikoneista, ja tekoälyn kenttä kiehtoo häntä edelleen. Tietokoneet eivät edelleenkään ole” vielä ihmisen tasolla ” raa ’ an tiedon käsittelyn suhteen. Ihmisen näkökyvyn kopioiminen koneessa on edelleen valtava tehtävä. Mutta ” minusta on varmasti uskottavaa, että muutaman vuosikymmenen kuluttua koneet ovat ihmisten ulottumattomissa.”

viime vuosina Shannonin suurta pakkomiellettä on palloteltu. Hän on rakentanut useita jongleerauskoneita ja laatinut jongleerausteorian: jos B on yhtä kuin pallojen lukumäärä, H käsien lukumäärä, D aika, jonka kukin pallo viettää kädessä, F kunkin pallon lentoaika ja E aika, joka käsi on tyhjä, niin B/H = (D + F)/(D + E). (Valitettavasti teoria ei voinut auttaa Shannonia pallottelemaan enemmän kuin neljä palloa kerralla.)

lähdettyään Bell Labsista vuonna 1956 MIT: hen Shannon julkaisi vähän informaatioteoriaa. Jotkut entiset Bellin kollegat antoivat ymmärtää, että hän kyllästyi luomaansa kenttään. Shannon kiisti väitteen. Hän oli omien sanojensa mukaan kiinnostunut muistakin aiheista, kuten tekoälystä. Hän jatkoi työskentelyä informaatioteorian parissa, mutta piti suurinta osaa tuloksistaan julkaisemisen arvottomina. ”Useimmat suuret matemaatikot ovat tehneet hienointa työtään nuorina”, hän totesi.

vuosikymmeniä sitten Shannon lakkasi käymästä informaatioteoriatapaamisissa. Kollegoiden mukaan hän kärsi pahasta ramppikuumeesta. Mutta vuonna 1985 hän esiintyi yllättäen konferenssissa Brightonissa, Englannissa, ja kokouksen järjestäjät suostuttelivat hänet puhumaan illallisella. Hän puhui muutaman minuutin. Sitten hän pelkäsi tylsistyttävänsä yleisönsä, veti taskuistaan kolme palloa ja alkoi jongleerata. Yleisö hurrasi ja jonotti nimikirjoituksia. Eräs insinööri muisteli: ”oli kuin Newton olisi ilmaantunut fysiikan konferenssiin.”

otteita Shannonin haastattelusta 2.marraskuuta 1989.

Horgan: kun aloit työstää informaatioteoriaa, oliko sinulla jokin tietty päämäärä mielessä?

Shannon: ensimmäinen ajatukseni oli: miten voit parhaiten eteenpäin lähetykset meluisalla kanavalla, jotain sellaista. Sellainen erityisongelma, jossa niitä ajatellaan lennätinjärjestelmässä tai puhelinjärjestelmässä. Mutta kun alan ajatella sitä, alat yleistää päässäsi kaikkia laajempia sovelluksia. Joten melkein koko ajan ajattelin myös heitä. Muotoilen asiat usein hyvin pelkistetysti. Kyllä tai ei tai jotain sellaista. Yleispätevyyden tunteet heräsivät jo varhain.

Horgan: luin, että John Von Neumann ehdotti, että pitäisi käyttää sanaa ”entropia” tiedon mittana, koska kukaan ei ymmärrä entropiaa ja näin voit voittaa argumentteja teoriastasi.

Shannon: kuulostaa sellaiselta huomautukselta, jonka olisin saattanut tehdä vitsinä… karkeasti sanottuna tiedon määrä on se, kuinka paljon kaaosta järjestelmässä on. Mutta matematiikka tulee niin sanotusti oikein. Entropian mittaama informaatiomäärä määrää, kuinka paljon kanavaan jää kapasiteettia.

Horgan: Yllätyitkö, kun ihmiset yrittivät informaatioteorian avulla analysoida hermostoa?

Shannon: Se ei ole niin outoa, jos sanotaan, että hermosto on monimutkainen viestintäjärjestelmä, joka käsittelee tietoa monimutkaisilla tavoilla… enimmäkseen se, mistä kirjoitin, kommunikoi pisteestä toiseen, mutta käytin myös paljon aikaa muuntaakseni informaatiota muodosta toiseen, yhdistäen informaatiota monimutkaisilla tavoilla, kuten aivot ja tietokoneet tekevät nyt. Kaikki nämä asiat ovat siis tietoteorian yleistyksiä, jossa puhutaan siitä, että pyritään muuttamaan sen muotoa tavalla tai toisella ja yhdistymään muiden kanssa, vastakohtana sen saamiselle paikasta toiseen. Niin, kyllä kaikki nämä asiat näen eräänlaisena informaatioteorian laajentumisena. Ehkä sitä ei pitäisi kutsua informaatioteoriaksi. Ehkä sitä pitäisi kutsua ”tiedon muuttamiseksi” tai jotain sellaista.

Horgan: Scientific Americanilla oli viestinnän erikoisnumero vuonna 1972. John Pierce sanoi johdantoartikkelissa, että työsi voisi laajentaa sisältämään merkityksen .

Shannon: merkitys on melko vaikea asia saada otetta… matematiikassa ja fysiikassa ja luonnontieteissä ja niin edelleen, asioilla on merkitystä, siitä miten ne liittyvät ulkomaailmaan. Mutta yleensä ne käsittelevät hyvin mitattavissa olevia määriä, kun taas suurin osa ihmisten välisestä keskustelustamme ei ole niin mitattavissa. Se on hyvin laaja asia, joka herättää kaikenlaisia tunteita päässä, kun kuulee sanat. Joten, en usko, että se on kaikki niin helppo sisällyttää että matemaattisessa muodossa.

Horgan: ihmiset ovat kertoneet, että 1950-luvun lopulla kyllästyttiin informaatioteoriaan.

Shannon: se ei ole sitä, että olisin kyllästynyt siihen. Se, että työstin eri asiaa… Leikin koneilla tehdäkseni laskelmia. Se on kiinnostanut minua enemmän kuin informaatioteoria. Älykoneen idea.

Horgan: pelkäätkö, että koneet valtaavat osan toiminnoistamme?

Shannon: Koneet voivat ehkä ratkaista paljon ongelmia olemme ihmetelleet ja vähentää meidän halpa työvoiman ongelma … Jos puhut koneiden haltuunottoon, en ole todella huolissaan siitä. Niin kauan kuin me rakennamme ne, ne eivät ota valtaa.

Horgan: Tunsitko Bell Labsissa koskaan painetta työstää jotain käytännöllisempää?

Shannon: ei. Olen aina ajanut etujani välittämättä rahallisesta arvosta tai arvosta maailmalle. Minua on kiinnostanut enemmän se, onko jokin ongelma jännittävä kuin se, mitä siitä seuraa. Olen käyttänyt paljon aikaa hyödyttömiin asioihin.

lisätietoja:

Voiko integroitu Informaatioteoria selittää tietoisuuden?

miksi tieto ei voi olla todellisuuden perusta

informaatioteorian isän Claude Shannonin runollinen mestariteos

Bayesin lause: What ’ s the Big Deal?