egyetlen tudósnak sincs nagyobb hatása a hírnévre, mint Claude Elwood Shannon, az információelmélet alkotója. Shannon, aki 2001-ben, 84 éves korában halt meg, egy fantasztikus új életrajz, egy elme a játékban: hogyan találta fel Claude Shannon az információs korszakot, Jimmy Soni és Rob Goodman. Most tettek közzé egy nagy tudományos amerikai oszlopot Shannon feleségéről, Betty-ről, akit “unsung mathematical genius” – nek hívnak.”1990-ben Profiloztam Claude-ot a Scientific American-ben, miután 1989-ben meglátogattam a Shannonokat. Az alábbiakban egy szerkesztett változata, hogy a profil, majd szerkesztett kivonatok interjúnk. Lásd a további olvasatot Shannon költői remekművéhez, a Rubik Cubicshoz kapcsolódó Rubikhoz, valamint az információelmélethez kapcsolódó egyéb hozzászólásokhoz. – John Horgan

Claude Shannon nem tudott nyugodtan ülni. A Bostontól északra lévő otthonának nappalijában ültünk, egy Entropy House nevű épületben, és próbáltam rávenni, hogy emlékezzen rá, hogyan találta ki az információelméletet. Shannon, aki egy fiús 73, egy félénk vigyor, havas haj, fáradt volt a lakás a múlt. Meg akarta mutatni a szerkentyűit.

felesége, Betty enyhe tiltakozása miatt leugrott a székéről, és eltűnt egy másik szobába. Amikor utolértem, büszkén mutatta meg hét sakkozógépét, benzinmotoros pogo-botját, száz pengéjű jackknife-jét, kétüléses egykerekűjét és számtalan más csodát.

néhány személyes alkotása-például egy mechanikus egér, amely egy labirintusban navigál, egy zsonglőr W. C. Fields manöken és a számítógép, amely kiszámítja a római számok-voltak poros és elhanyagoltság. De Shannon ugyanolyan örült a játékainak, mint egy 10 éves karácsony reggelén.

Ez az az ember, aki a Bell Labs-ban 1948-ban írta “a kommunikáció matematikai elméletét”, a digitális kor Magna Carta-ját? Kinek a munkája Robert Lucky, az AT&T Bell Laboratories kutatási igazgatója a legnagyobbnak nevezte a technológiai gondolkodás évkönyveit?”

Igen. Az információelmélet feltalálója egy rakétaüzemű Frizbit és egy zsonglőr-elméletet is feltalált, és még mindig emlékeznek rá a Bell Labs-ban zsonglőrködésre, miközben egykerekűvel lovagol a csarnokokon. “Mindig is törekedtem az érdekeimre anélkül, hogy nagy figyelmet fordítottam volna a világ pénzügyi értékére vagy értékére” – mondta Shannon vidáman. “Sok időt töltöttem teljesen haszontalan dolgokra.”

Shannon öröme a matematikai absztrakciókban és a gadgetriában a Michigani gyermekkorában alakult ki, ahol 1916-ban született. Rádiókészletekkel és erektorkészletekkel játszott, és élvezte a matematikai rejtvények megoldását. “Gyerekkoromban is mindig érdekelt a kriptográfia és az ehhez hasonló dolgok” – mondta Shannon. Az egyik kedvenc története a “The Gold Bug”, egy Edgar Allan Poe rejtély egy titokzatos titkosított térképről.

a Michigani Egyetem hallgatójaként, matematikából és villamosmérnökből diplomázott. Az MIT mester szakdolgozatában megmutatta, hogy egy George Boole brit matematikus által feltalált algebra-amely olyan fogalmakkal foglalkozik—mint “ha X vagy Y történik, de nem Z, akkor Q eredmények” – reprezentálhatja a kapcsolók és relék működését az elektronikus áramkörökben.

a tanulmány következményei mélyek voltak: az áramköri terveket matematikailag tesztelni lehetett, mielőtt felépítették őket, nem pedig unalmas próbaverzió és hiba miatt. A mérnökök ma már rutinszerűen, logikai algebra segítségével számítógépes hardvereket és szoftvereket, telefonhálózatokat és más komplex rendszereket terveznek. (“Mindig is szerettem ezt a szót, Boolean” – mondta Shannon.)

miután doktori fokozatot szerzett az MIT-n, Shannon 1941-ben a Bell Laboratories-ba ment. A második világháború alatt segített titkosítási rendszerek fejlesztésében, ami inspirálta a kommunikáció elméletét. Ahogy a kódok védik az információkat a kíváncsiskodó szemektől, rájött, így megvédhetik a statikus és egyéb interferenciáktól. A kódokat az információk hatékonyabb csomagolására is fel lehet használni.

” Az első gondolkodásom-mondta Shannon-az volt, hogy hogyan javíthatja legjobban az információátvitelt egy zajos csatornán. Ez egy speciális probléma volt, ahol távírórendszerre vagy telefonrendszerre gondol. De amikor erre gondolsz, elkezdesz általánosítani a fejedben ezekről a szélesebb alkalmazásokról.”

1948-as tanulmányának középpontja az információ meghatározása volt. Kitérve a jelentéssel kapcsolatos kérdésekre (amelyeket az elmélete “nem tud és nem szándékozik kezelni”), bebizonyította, hogy az információ mérhető árucikk. Nagyjából elmondható, hogy egy üzenet információja arányos a valószínűtlenségével-vagy azzal, hogy képes meglepni egy megfigyelőt.

Shannon az entrópiával kapcsolatos információkat is összekapcsolta, amelyek a termodinamikában a rendszer véletlenszerűségét vagy “keveredését” jelölik, ahogy néhány fizikus megfogalmazta. Shannon meghatározta az információ alapvető egységét-amelyet egy Bell Labs kolléga bináris egységnek vagy “bitnek”nevezett -, mint két állam egyikét képviselő üzenetet. Az ember sok információt kódolhat néhány bitben, csakúgy, mint a régi “húsz kérdés” játékban, gyorsan nullázhatja a helyes választ a ügyes kihallgatáson keresztül.

Shannon azt mutatta, hogy minden adott kommunikációs csatorna maximális kapacitással rendelkezik az információk megbízható továbbítására. Valójában megmutatta, hogy bár ezt a maximumot okos kódolással lehet megközelíteni,soha nem lehet elérni. A maximumot Shannon limit néven ismerték.

Shannon 1948-as tanulmánya meghatározta a Shannon-határ kiszámításának módját – de nem azt, hogyan kell megközelíteni. Shannon és mások később felvették ezt a kihívást. Az első lépés az volt, hogy megszüntesse a redundanciát az üzenetből. Csakúgy, mint egy lakonikus Rómeó is kap az üzenetet az egész puszta “I lv u,” egy jó kód először tömöríti információt a leghatékonyabb formája. Az úgynevezett hibajavító kód csak annyi redundanciát ad hozzá, hogy a lecsupaszított üzenetet ne takarja el a zaj.

Shannon elképzelései túl előrelátóak voltak ahhoz, hogy azonnali hatást fejtsenek ki. Az 1970-es évek elejéig nem tettek nagy sebességű integrált áramköröket és más fejlesztések lehetővé tették a mérnökök számára, hogy teljes mértékben kihasználják az információelméletet. Manapság a Shannon betekintése gyakorlatilag minden olyan technológiát alakít ki, amely digitális formában tárolja, feldolgozza vagy továbbítja az információkat.

a kvantummechanikához és a relativitáshoz hasonlóan az információelmélet is magával ragadta a közönséget azon túl, amelyre szánták. A fizika, a nyelvészet, a pszichológia, a közgazdaságtan, a biológia, sőt a zene és a művészetek kutatói arra törekedtek, hogy tudományágaikban alkalmazzák az információelméletet. 1958-ban egy szakfolyóirat megjelentette az “információelmélet, fotoszintézis és vallás” című vezércikkét.

az információelmélet alkalmazása a biológiai rendszerekre nem olyan messze van, Shannon szerint. “Az idegrendszer összetett kommunikációs rendszer, bonyolult módon dolgozza fel az információkat” – mondta. Arra a kérdésre, hogy gondolta-e, hogy a gépek “gondolkodhatnak”, azt válaszolta: “fogadsz. Én egy gép vagyok, te meg egy gép, és mindketten azt gondoljuk, nem igaz?”

1950-ben írt egy cikket a Scientific American számára a sakkjátszógépekről, és továbbra is lenyűgözte a mesterséges intelligencia területe. A számítógépek még mindig” nem felelnek meg az emberi szintnek ” a nyers információfeldolgozás szempontjából. Az emberi látás egyszerű reprodukálása egy gépben továbbra is félelmetes feladat. De ” számomra minden bizonnyal elfogadható, hogy néhány évtized alatt a gépek túl lesznek az embereken.”

az elmúlt években Shannon nagy megszállottsága zsonglőrködött. Ő épített több zsonglőr gépek és kidolgozott egy elmélet zsonglőr: ha B megegyezik a golyók száma, H a kezek száma, D az idő minden labda tölti a kezében, F a repülési idő minden labdát, és E az idő minden kéz üres, akkor B/H = (D + F)/(D + E). (Sajnos, az elmélet nem tudott segíteni Shannon zsonglőrködik több mint négy golyó egyszerre.)

miután 1956-ban elhagyta a Bell Labs-t az MIT számára, Shannon keveset tett közzé az információelméletről. Néhány korábbi Bell kolléga azt javasolta, hogy belefáradt az általa létrehozott mezőbe. Shannon tagadta ezt az állítást. Más témák iránt érdeklődött, mint például a mesterséges intelligencia, ő mondta. Folytatta az információelmélet kidolgozását, de eredményeinek nagy részét méltatlannak tartotta a közzétételre. “A legtöbb nagyszerű matematikus fiatal korában végezte el a legjobb munkáját” – jegyezte meg.

évtizedekkel ezelőtt Shannon abbahagyta az információelméleti találkozókon való részvételt. A kollégák azt mondták, hogy súlyos lámpaláztól szenvedett. De 1985-ben váratlanul megjelent egy konferencián Brighton-ban, Angliában, és a találkozó szervezői rábeszélték, hogy beszéljen egy vacsoravacsorán. Pár percig beszélt. Aztán, attól tartva, hogy untatja a közönséget, három golyót húzott ki a zsebéből, és zsonglőrködni kezdett. A közönség szurkolt és sorakozott fel autogramokért. Az egyik mérnök emlékeztetett: “olyan volt, mintha Newton megjelent volna egy fizikai konferencián.”

részletek a SHANNON interjúból, 1989. NOVEMBER 2.

Horgan: amikor elkezdtél dolgozni az információelméleten, volt egy konkrét célod?

Shannon: az első gondolatom az volt: Hogyan lehet a legjobban továbbítani az adásokat egy zajos csatornán, valami ilyesmi. Ez a fajta konkrét probléma, ahol úgy gondolja, őket egy távíró rendszer vagy telefonrendszer. De amikor erre gondolok, elkezdesz általánosítani a fejedben az összes szélesebb alkalmazást. Tehát szinte egész idő alatt, én is rájuk gondoltam. Én gyakran mond dolgokat szempontjából egy nagyon egyszerűsített csatorna. Igen vagy nem, vagy ilyesmi. Tehát nagyon korán éreztem ezeket az általános érzéseket.

Horgan: olvastam, hogy John Von Neumann azt javasolta, hogy az “entrópia” szót használja az információ mérésére, mert senki sem érti az entrópiát, így érveket nyerhet az elméletével kapcsolatban.

Shannon: úgy hangzik, mint az a fajta megjegyzés, amit viccként tettem … durván szólva, az információ mennyisége az, hogy mennyi káosz van a rendszerben. De a matematika jól jön ki, hogy úgy mondjam. Az entrópiával mért információ mennyisége határozza meg, hogy mennyi kapacitás van a csatornában.

Horgan: meglepődtél, amikor az emberek megpróbálták használni az információelméletet az idegrendszer elemzésére?

: Ez nem is olyan furcsa, ha az a helyzet, hogy az idegrendszer egy komplex kommunikációs rendszer, mely folyamatok információk bonyolult módon… Főleg, amit írtam volt, a kommunikáció az egyik pontból a másikba, de nem is töltött sok időt az átalakuló információk az egyik formából a másikba, ötvözve információk bonyolult módon is, ami az agy, s a számítógépek most. Tehát mindezek a dolgok egyfajta általánosítása információelmélet, ahol beszélünk dolgozik, hogy változtassa meg a formáját, így vagy úgy, és összekapcsolják másokkal, szemben a szerzés egyik helyről a másikra. Tehát igen, azokat a dolgokat, amelyeket az információelmélet egyfajta szélesítésének látok. Talán nem kéne információs elméletnek nevezni. Talán ezt “információ átalakításának” vagy valami hasonlónak kell nevezni.

Horgan: a Scientific American 1972-ben külön foglalkozott a kommunikációval. John Pierce azt mondta a bevezető cikkben, hogy a munkád kiterjeszthető a jelentésre .

Shannon: a jelentés nagyon nehéz dolog, hogy megragadjuk… a matematikában, a fizikában és a tudományban stb., a dolgoknak van értelme, arról, hogy hogyan kapcsolódnak a külvilághoz. De általában nagyon mérhető mennyiségekkel foglalkoznak, míg az emberek közötti beszélgetésünk nagy része nem olyan mérhető. Ez egy nagyon széles dolog, amely mindenféle érzelmeket hoz fel a fejedben, amikor meghallja a szavakat. Így, nem hiszem, hogy ez olyan könnyű, hogy magában foglalja, hogy a matematikai formában.

Horgan: az emberek azt mondták nekem, hogy az 1950-es évek végére belefáradt az információelméletbe.

Shannon: nem az, hogy belefáradtam. Az, hogy egy másik dolgon dolgoztam… Gépekkel játszottam, hogy számításokat végezzek. Ez inkább az én érdekem, mint maga az információelmélet. Az intelligens gép ötlet.

Horgan: aggódik amiatt, hogy a gépek átveszik néhány funkciónkat?

: Lehet, hogy a gépek képesek lesznek megoldani egy csomó problémát, amit eddig gondoltunk, és csökkenteni a munkaerő-problémát … ha a gépek átvételéről beszélünk, nem igazán aggódom emiatt. Azt hiszem, amíg megépítjük őket, nem veszik át.

Horgan: érzett valaha nyomást rád, a Bell Labs-ban, hogy valami praktikusabbat dolgozzon?

Shannon: No. Mindig is törekedtem az érdekeimre anélkül, hogy nagy figyelmet fordítottam volna a világ pénzügyi értékére vagy értékére. Jobban érdekelt, hogy egy probléma izgalmas-e, mint amit meg fog tenni. … Rengeteg időt töltöttem teljesen haszontalan dolgokra.

további olvasás:

Az integrált információelmélet megmagyarázhatja a tudatot?

miért nem lehet az információ a valóság alapja

Claude Shannon költői remekműve, az információelmélet atyja

Bayes tétele: mi a nagy ügy?