Žádný vědec má vliv-na-fame poměr větší než Claude Elwood Shannon, tvůrce informační teorie. Shannon, který zemřel v roce 2001 ve věku 84 let, dostane jeho splatné v úžasné nové biografii, mysl ve hře: jak Claude Shannon vynalezl informační věk, Jimmy Soni a Rob Goodman. Právě zveřejnili skvělý vědecký Americký sloupek o Shannonově manželce Betty, koho nazývají „neopěvovaným matematickým géniem.“Profiloval jsem Clauda v Scientific American v 1990 po návštěvě Shannons v 1989. Níže je upravená verze tohoto profilu, následované upravenými výňatky z našeho rozhovoru. Odkazy na Shannonovo poetické mistrovské dílo, „Rubrika o Rubikově Kubice,“ a další příspěvky související s teorií informací. – John Horgan

Claude Shannon nemohl sedět. Seděli jsme v obývacím pokoji svého domu severně od Bostonu, stavba nazývá Entropie Domu, a snažil jsem se mu připomenout, jak on přišel s teorii informace. Shannon, kdo je chlapecký 73, s plachým úsměvem a zasněženými vlasy, byl unavený obydlením své minulosti. Chtěl mi ukázat své pomůcky.

přes mírné protesty své ženy Betty vyskočil ze židle a zmizel v jiné místnosti. Když jsem chytil se s ním, on hrdě mi ukázal jeho sedm šachy, hrací automaty, benzín-poháněl pogo-stick, set-bladed nůž, dvoumístný jednokolce a nespočet dalších zázraků.

některé jeho osobní výtvory-například mechanická myš, která naviguje bludištěm, žonglování W. C. Pole manekýn a počítač, který počítá římskými číslicemi – byly zaprášené a v havarijním stavu. Ale Shannon vypadal stejně potěšen svými hračkami jako 10letý na vánoční ráno.

je to muž, který v Bell Labs v roce 1948 napsal“ matematickou teorii komunikace“, Magna Carta digitálního věku? Jehož práce Robert Lucky, výkonný ředitel výzkumu AT&T Bell Laboratories, nazval největší “ v análech technologického myšlení?“

Ano. Vynálezce teorie informace také vynalezl raketový frisbee a teorii žonglování, a on je ještě pamatoval na Bell Labs pro žonglování při jízdě na jednokolce přes haly. „Vždy jsem sledoval své zájmy bez velkého ohledu na finanční hodnotu nebo hodnotu pro svět,“ řekl Shannon vesele. „Strávil jsem spoustu času na naprosto zbytečných věcech.“

shannonovo potěšení z matematických abstrakcí a gadgetů se objevilo během jeho dětství v Michiganu, kde se narodil v roce 1916. Hrál s rozhlasovými soupravami a erektory a rád řešil matematické hádanky. „Vždycky jsem se zajímal, dokonce i jako chlapec, o kryptografii a takové věci,“ řekl Shannon. Jeden z jeho oblíbených příběhů byl „the Gold Bug“, tajemství Edgara Allana Poea o tajemné šifrované mapě.

jako vysokoškolák na University of Michigan se Shannon specializoval na matematiku a elektrotechniku. V jeho MIT diplomovou práci, ukázal, jak algebra vynalezl Britský matematik George Boole—která se zabývá takovými pojmy jako „pokud X nebo Y se stane, ale ne Z, pak Q výsledky,“—by mohla představovat fungování přepínačů a relé v elektronické obvody.

důsledky papíru byly hluboké: Obvod návrhy by mohly být testovány matematicky, než byly postaveny, spíše než přes únavné pokusů a omylů. Inženýři nyní běžně navrhují počítačový hardware a software, telefonní sítě a další složité systémy pomocí booleovské algebry. („Vždycky jsem to slovo miloval, Boolean,“ řekl Shannon.po získání doktorátu na MIT odešel Shannon v roce 1941 do Bellových laboratoří. Během druhé světové války pomáhal vyvíjet šifrovací systémy, které inspirovaly jeho teorii komunikace. Stejně jako kódy chrání informace před zvědavýma očima, uvědomil si, takže je mohou chránit před statickými a jinými formami rušení. Kódy lze také použít k efektivnějšímu zabalení informací.

„moje první myšlenka,“ řekla Shannon, “ bylo to, jak nejlépe zlepšit přenos informací přes hlučný kanál. To byl specifický problém, kdy přemýšlíte o telegrafním systému nebo telefonním systému. Ale když se nad tím zamyslíte, začnete ve své hlavě zobecňovat všechny tyto širší aplikace.“

středobodem jeho práce z roku 1948 byla jeho definice informací. Vyhýbal se otázkám o smyslu (které jeho teorie „nemůže a neměla řešit“), ukázal, že informace jsou měřitelnou komoditou. Zhruba řečeno, informace zprávy jsou úměrné její nepravděpodobnosti-nebo její schopnosti překvapit pozorovatele.

Shannon také souvisel s entropií, která v termodynamice označuje náhodnost systému nebo „zamíchání“, jak to někteří fyzici uvedli. Shannon definoval základní jednotku informací-kterou kolega Bell Labs nazval binární jednotkou nebo „bit“-jako zprávu představující jeden ze dvou stavů. Dalo by se kódovat spoustu informací v několika bitech, stejně jako ve staré hře „dvacet otázek“ by se dalo rychle zaměřit na správnou odpověď prostřednictvím obratného dotazování.

Shannon ukázal, že každý daný komunikační kanál má maximální kapacitu pro spolehlivý přenos informací. Ve skutečnosti ukázal, že ačkoli se k tomuto maximu lze přiblížit chytrým kódováním, nikdy ho nelze dosáhnout. Maximum se stalo známým jako shannonův limit.

Shannon 1948 papíru založena jak vypočítat Shannon limit—ale ne, jak k tomu přistoupit. Shannon a další se této výzvy chopili později. Prvním krokem bylo odstranění redundance ze zprávy. Stejně jako lakonický Romeo může dostat své poselství pouhým „i lv u,“ dobrý kód nejprve komprimuje informace do své nejefektivnější podoby. Takzvaný kód pro opravu chyb přidává jen tolik redundance, aby se zajistilo, že odstraněná zpráva nebude zakryta šumem.

Shannonovy myšlenky byly příliš předvídavé na to, aby měly okamžitý dopad. Teprve na počátku 70. let umožnily vysokorychlostní integrované obvody a další pokroky inženýrům plně využít teorii informací. Dnes Shannonovy postřehy pomáhají formovat prakticky všechny technologie, které ukládají, zpracovávají nebo přenášejí informace v digitální podobě.

stejně jako kvantová mechanika a relativita, teorie informací zaujala publikum nad rámec toho, pro který byla určena. Vědci z fyziky, lingvistiky, psychologie, ekonomie, biologie, dokonce i hudby a umění se snažili aplikovat teorii informace ve svých oborech. V roce 1958 publikoval technický časopis úvodník „informační teorie, fotosyntéza a náboženství“, který tento trend odsuzuje.

aplikace teorie informace na biologické systémy není podle Shannona tak přitažená za vlasy. „Nervový systém je komplexní komunikační systém a zpracovává informace složitým způsobem,“ řekl. Na otázku, zda si myslí, že stroje mohou „myslet“, odpověděl: „To si piš. Já jsem stroj a ty jsi stroj, a oba si myslíme, že ano?“

V roce 1950 napsal článek pro Scientific American, na šachy, hrací automaty, a on zůstává fascinován oblasti umělé inteligence. Počítače stále „ještě nejsou na lidské úrovni“, pokud jde o zpracování surových informací. Pouhé replikace lidského vidění ve stroji zůstává impozantním úkolem. Ale „je pro mě určitě věrohodné, že za několik desetiletí budou stroje mimo lidi.“

V posledních letech Shannonova velká posedlost žongluje. On postavil několik žonglování stroje a vymyslel teorii žonglování: v Případě B se rovná počtu míčků, H je počet rukou, D čas každý míč tráví v ruce, F doba letu každý míč, a E čas, každá ruka je prázdná, pak B/H = (D + F)/(D + E). (Bohužel, teorie nemohla pomoci Shannon žonglovat více než čtyři míče najednou.)

poté, co opustil Bell Labs v roce 1956 pro MIT, Shannon publikoval málo o teorii informací. Někteří bývalí Zvonečtí kolegové navrhli, že je unavený z pole, které vytvořil. Shannon toto tvrzení popřel. Začal se prý zajímat o další témata, třeba o umělou inteligenci. Pokračoval v práci na teorii informací, ale většinu svých výsledků považoval za nehodnou publikace. „Většina skvělých matematiků odvedla svou nejlepší práci, když byli mladí,“ poznamenal.

před desítkami let se Shannon přestal účastnit setkání teorie informací. Podle kolegů trpěl těžkou trémou. V roce 1985 se však nečekaně objevil na konferenci v anglickém Brightonu a organizátoři setkání ho přesvědčili, aby promluvil na večeři. Pár minut mluvil. Pak, v obavě, že nudí své publikum, vytáhl z kapes tři koule a začal žonglovat. Publikum jásalo a seřadilo se na autogramy. Jeden inženýr si vzpomněl: „bylo to, jako by se Newton objevil na fyzikální konferenci.“

výňatky z rozhovoru SHANNON, 2. listopadu 1989.

Horgan: když jste začali pracovat na teorii informací, měli jste na mysli konkrétní cíl?

Shannon: moje první přemýšlení o tom bylo: jak nejlépe předávat přenosy v hlučném kanálu, něco takového. Tento druh specifického problému, kde si o nich myslíte v telegrafním systému nebo telefonním systému. Ale když o tom začnu přemýšlet, začnete v hlavě zobecňovat všechny širší aplikace. Takže skoro celou dobu, přemýšlel jsem o nich také. Často bych frázoval věci z hlediska velmi zjednodušeného kanálu. Ano nebo ne nebo něco takového. Takže jsem měl všechny tyto pocity obecnosti velmi brzy.

Horgan: četl jsem, že John Von Neumann navrhl, abyste použili slovo „entropie“ jako měřítko informace, protože nikdo nerozumí entropii, a tak můžete vyhrát argumenty o své teorii.

Shannon: Zní to jako druh poznámky, kterou jsem mohl udělat jako vtip… hrubě řečeno, množství informací je, kolik Chaosu je v systému. Ale matematika vychází správně, abych tak řekl. Množství informací měřených entropií určuje, kolik kapacity má v kanálu opustit.

Horgan: byli jste překvapeni, když se lidé pokusili použít teorii informací k analýze nervového systému?

Shannon: To není tak divné, pokud uděláte případě, že nervový systém je komplexní komunikační systém, který zpracovává informace ve složitých způsoby… Většinou, co jsem napsal o komunikaci z jednoho bodu do druhého, ale také jsem strávil hodně času v transformace informace z jedné formy na jinou, a kombinuje informace v komplikované způsoby, které mozek dělá a počítače. Takže všechny tyto věci jsou takové zobecnění teorie informace, kde se mluví o práci na změně své formě jedné cestě nebo jiný, a spojit se s ostatními, v kontrastu se dostat z jednoho místa na druhé. Takže ano, všechny ty věci vidím jako jakési rozšíření informační teorie. Možná by se tomu nemělo říkat informační teorie. Možná by se to mělo nazývat „transformace informací“ nebo něco takového.

Horgan: Scientific American měl zvláštní problém o komunikaci v roce 1972. John Pierce v úvodním článku uvedl, že vaše práce by mohla být rozšířena o význam .

Shannon: význam je docela těžké uchopit … v matematice, fyzice a vědě a tak dále, věci mají smysl, o tom, jak jsou spojeny s vnějším světem. Ale obvykle se zabývají velmi měřitelnými veličinami, zatímco většina našich rozhovorů mezi lidmi není tak měřitelná. Je to velmi široká věc, která vyvolává všechny druhy emocí ve vaší hlavě, když slyšíte slova. Takže si nemyslím, že je tak snadné to zahrnout matematickou formou.

Horgan: lidé mi říkali, že koncem 50. let vás teorie informací unavila.

Shannon: není to tak, že bych z toho byl unavený. Je to tím, že jsem pracoval na jiné věci… Hrál jsem si se stroji, abych provedl výpočty. To mě víc zajímalo než samotná teorie informací. Myšlenka inteligentního stroje.

Horgan: obáváte se, že stroje převezmou některé naše funkce?

Shannon: Stroje mohou být schopny vyřešit spoustu problémů, o kterých jsme přemýšleli, a snížit náš podřadný pracovní problém… pokud mluvíte o převzetí strojů, o to se opravdu nebojím. Myslím, že dokud je postavíme, tak je nepřevezmou.

Horgan: cítil jste někdy tlak na vás, v Bell Labs, pracovat na něčem praktičtějším?

Shannon: ne. Vždy jsem sledoval své zájmy bez ohledu na finanční hodnotu nebo hodnotu pro svět. Víc mě zajímalo, jestli je problém vzrušující, než to, co udělá. … Strávil jsem spoustu času naprosto zbytečnými věcmi.

Další čtení:

může integrovaná teorie informace vysvětlit vědomí?

proč informace nemohou být základem reality

poetické mistrovské dílo Clauda Shannona, otce teorie informace

Bayesova věta: co je na tom?