niciun om de știință nu are un raport de impact asupra faimei mai mare decât Claude Elwood Shannon, creatorul teoriei informației. Shannon, care a murit în 2001 la vârsta de 84 de ani, își primește datoria într-o nouă biografie extraordinară, a Mind at Play: How Claude Shannon Invented the Information Age, de Jimmy Soni și Rob Goodman. Tocmai au postat o mare coloană științifică americană despre soția lui Shannon, Betty, pe care o numesc un „geniu matematic necunoscut.”L-am profilat pe Claude în Scientific American în 1990 după ce am vizitat Shannons în 1989. Mai jos este o versiune editată a acelui profil, urmată de fragmente editate din interviul nostru. Vedeți lecturi suplimentare pentru link-uri către capodopera poetică a lui Shannon, „o rubrică despre cuburile Rubik” și alte postări legate de teoria informației. – John Horgan
Claude Shannon nu a putut sta liniștit. Stăteam în sufrageria casei sale la nord de Boston, un edificiu numit entropia House, și încercam să-l fac să-și amintească cum a venit cu teoria informației. Shannon, care este un băiat de 73 de ani, cu un rânjet timid și păr înzăpezit, s-a săturat să locuiască în trecutul său. A vrut să-mi arate gadgeturile lui.
peste protestele ușoare ale soției sale, Betty, a sărit de pe scaun și a dispărut într-o altă cameră. Când l-am prins, el mi-a arătat cu mândrie cele șapte mașini de joc de șah, pogo-stick pe benzină, jackknife cu o sută de lame, monociclu cu două locuri și nenumărate alte minuni.
unele dintre creațiile sale personale-cum ar fi un șoarece mecanic care navighează într-un labirint, un jongler W. C. Fields manechin și un computer care calculează în cifre romane – au fost praf și în stare proastă. Dar Shannon părea la fel de încântat de jucăriile sale ca un copil de 10 ani în dimineața de Crăciun.
este acesta omul care, la Bell Labs în 1948, a scris „o teorie matematică a comunicării”, Magna Carta erei digitale? A cărui lucrare Robert Lucky, director executiv de cercetare la AT & T Bell Laboratories, a numit cea mai mare ” în analele gândirii tehnologice?”
Da. Inventatorul teoriei informației a inventat, de asemenea, un Frisbee alimentat cu rachete și o teorie a jongleriei și este încă amintit la Bell Labs pentru jonglerie în timp ce călărea un monociclu prin săli. „Mi-am urmărit întotdeauna interesele fără a ține cont de valoarea financiară sau de valoarea lumii”, a spus Shannon Vesel. „Am petrecut mult timp pe lucruri total inutile.”
încântarea lui Shannon în abstracții matematice și gadgeturi a apărut în timpul copilăriei sale în Michigan, unde s-a născut în 1916. S-a jucat cu kituri radio și seturi de erectoare și i-a plăcut să rezolve puzzle-uri matematice. „Am fost întotdeauna interesat, chiar și ca băiat, de criptografie și lucruri de acest fel”, a spus Shannon. Una dintre poveștile sale preferate a fost „Bugul de aur”, un mister Edgar Allan Poe despre o hartă criptată misterioasă.ca student la Universitatea din Michigan, Shannon s-a specializat în matematică și inginerie electrică. În teza sa de masterat MIT, el a arătat cum o algebră inventată de matematicianul britanic George Boole—care se ocupă de concepte precum „Dacă X sau Y se întâmplă, dar nu Z, atunci rezultatele Q”—ar putea reprezenta funcționarea comutatoarelor și releelor în circuitele electronice.
implicațiile lucrării au fost profunde: proiectele de circuite puteau fi testate matematic înainte de a fi construite, mai degrabă decât prin încercări și erori obositoare. Inginerii proiectează acum în mod obișnuit hardware și software pentru computer, rețele de telefonie și alte sisteme complexe cu ajutorul algebrei booleene. („Întotdeauna am iubit acest cuvânt, Boolean”, A spus Shannon.după ce și-a luat doctoratul la MIT, Shannon a mers la Bell Laboratories în 1941. În timpul celui de-al Doilea Război Mondial, el a ajutat la dezvoltarea sistemelor de criptare, care i-au inspirat teoria comunicării. La fel cum codurile protejează informațiile de ochii curioși, și-a dat seama, astfel încât să le poată proteja de formele statice și de alte interferențe. Codurile ar putea fi, de asemenea, utilizate pentru a împacheta informațiile mai eficient.
„prima mea gândire”, a spus Shannon, „a fost cum să îmbunătățești cel mai bine transmiterea informațiilor pe un canal zgomotos. Aceasta a fost o problemă specifică, în cazul în care te gândești la un sistem de telegraf sau un sistem telefonic. Dar când ajungi să te gândești la asta, începi să generalizezi în capul tău despre toate aceste aplicații mai largi.”
piesa centrală a lucrării sale din 1948 a fost definiția informației. Ocolind întrebările despre semnificație (pe care teoria sa „nu poate și nu a fost intenționată să le abordeze”), el a demonstrat că informația este o marfă măsurabilă. Aproximativ vorbind, informația unui mesaj este proporțională cu improbabilitatea sa-sau capacitatea sa de a surprinde un observator.
Shannon a relatat, de asemenea, informații despre entropie, care în termodinamică denotă aleatoritatea unui sistem sau „amestecarea”, așa cum au spus unii fizicieni. Shannon a definit unitatea de bază a informațiilor-pe care un coleg de la Bell Labs a numit-o unitate binară sau „bit” – ca un mesaj reprezentând una dintre cele două stări. S-ar putea codifica o mulțime de informații în câțiva biți, la fel ca în vechiul joc „Douăzeci de întrebări”, s-ar putea zero rapid răspunsul corect prin întrebări abile.
Shannon a arătat că orice canal de comunicații dat are o capacitate maximă de transmitere fiabilă a informațiilor. De fapt, el a arătat că, deși se poate aborda acest maxim prin codificare inteligentă, nu se poate ajunge niciodată la el. Maximul a ajuns să fie cunoscut sub numele de limita Shannon.
lucrarea lui Shannon din 1948 a stabilit cum să calculeze limita Shannon—dar nu cum să o abordeze. Shannon și alții au preluat această provocare mai târziu. Primul pas a fost eliminarea redundanței din mesaj. Așa cum un Romeo laconic își poate transmite mesajul cu un simplu „i lv u”, un cod bun comprimă mai întâi informațiile în forma sa cea mai eficientă. Un așa-numit cod de corectare a erorilor adaugă suficientă redundanță pentru a se asigura că mesajul dezbrăcat nu este ascuns de zgomot.
ideile lui Shannon erau prea prevestitoare pentru a avea un impact imediat. Abia la începutul anilor 1970, circuitele integrate de mare viteză și alte progrese au permis inginerilor să exploateze pe deplin teoria informației. Astăzi, informațiile lui Shannon ajută la modelarea practic a tuturor tehnologiilor care stochează, procesează sau transmit informații în formă digitală.la fel ca mecanica cuantică și relativitatea, teoria informației a captivat publicul dincolo de cel pentru care a fost destinat. Cercetătorii din fizică, lingvistică, psihologie, economie, biologie, chiar muzică și Arte au căutat să aplice teoria informației în disciplinele lor. În 1958, un jurnal tehnic a publicat un editorial, „Teoria informației, fotosinteza și religia”, deplângând această tendință.aplicarea teoriei informației la sistemele biologice nu este atât de exagerată, potrivit lui Shannon. „Sistemul nervos este un sistem complex de comunicare și procesează informațiile în moduri complicate”, a spus el. Când a fost întrebat dacă el a crezut mașini ar putea „gândi,” el a răspuns: „pariezi. Eu sunt o mașină și tu ești o mașină, și amândoi gândim, nu-i așa?”
în 1950 a scris un articol pentru Scientific American despre mașinile de șah și rămâne fascinat de domeniul inteligenței artificiale. Computerele nu sunt încă „încă la nivelul uman” în ceea ce privește procesarea informațiilor brute. Simpla replicare a viziunii umane într-o mașină rămâne o sarcină formidabilă. Dar ” este cu siguranță plauzibil pentru mine că în câteva decenii mașinile vor fi dincolo de oameni.”
în ultimii ani, marea obsesie a lui Shannon a fost jonglerie. El a construit mai multe mașini de jonglerie și a conceput o teorie a jongleriei: dacă B este egal cu numărul de bile, H numărul de mâini, D timpul pe care fiecare minge îl petrece într-o mână, F timpul de zbor al fiecărei mingi și E timpul în care fiecare mână este goală, atunci B/H = (D + F)/(D + E). (Din păcate, teoria nu l-a putut ajuta pe Shannon să jongleze mai mult de patru bile simultan.după ce a părăsit Bell Labs în 1956 pentru MIT, Shannon a publicat puțin despre teoria informației. Unii foști colegi Bell au sugerat că s-a săturat de câmpul pe care l-a creat. Shannon a negat această afirmație. El a devenit interesat de alte subiecte, cum ar fi inteligența artificială, a spus el. A continuat să lucreze la teoria informației, dar a considerat majoritatea rezultatelor sale nedemne de publicare. „Majoritatea marilor matematicieni și-au făcut cea mai bună lucrare când erau tineri”, a observat el.
cu zeci de ani în urmă, Shannon a încetat să mai participe la întâlnirile teoriei informației. Colegii au spus că a suferit de frică severă. Dar în 1985 a făcut o apariție neașteptată la o conferință din Brighton, Anglia, iar organizatorii întâlnirii l-au convins să vorbească la un banchet de cină. A vorbit câteva minute. Apoi, temându-se că își plictisește publicul, a scos trei bile din buzunare și a început să jongleze. Publicul a aplaudat și s-a aliniat pentru autografe. Un inginer și-a amintit: „era ca și cum Newton ar fi apărut la o conferință de fizică.”
extrase din interviul SHANNON, 2 noiembrie 1989.
Horgan: când ai început să lucrezi la teoria informației, aveai un scop anume în minte?
Shannon: prima mea gândire despre asta a fost: cum puteți transmite cele mai bune transmisii într-un canal zgomotos, ceva de genul acesta. Acest tip de problemă specifică, în cazul în care vă gândiți la ele într-un sistem de telegraf sau telefon. Dar când încep să mă gândesc la asta, începi să generalizezi în capul tău toate aplicațiile mai largi. Aproape tot timpul m-am gândit și la ei. Aș exprima adesea lucrurile în termeni de canal foarte simplificat. Da sau nu sau ceva de genul asta. Așa că am avut toate aceste sentimente de generalitate foarte devreme.
Horgan: am citit că John Von Neumann a sugerat să folosești cuvântul „entropie” ca măsură a informației pentru că nimeni nu înțelege entropia și astfel poți câștiga argumente despre teoria ta.
Shannon: sună ca un fel de remarcă pe care aș fi făcut-o ca o glumă… grosolan vorbind, cantitatea de informații este cât de mult haos există în sistem. Dar matematica iese bine, ca să zic așa. Cantitatea de informații măsurată prin entropie determină câtă capacitate de a părăsi canalul.
Horgan: ai fost surprins când oamenii au încercat să folosească teoria informației pentru a analiza sistemul nervos?
Shannon: Nu e atât de ciudat dacă afirmăm că sistemul nervos este un sistem complex de comunicare, care procesează informația în moduri complicate… în mare parte ceea ce am scris a fost comunicarea dintr-un punct în altul, dar am petrecut mult timp transformând informația dintr-o formă în alta, combinând informația în moduri complicate, pe care creierul o face și computerele o fac acum. Deci toate aceste lucruri sunt un fel de generalizare a teoriei informației, în care vorbești despre a lucra pentru a-i schimba forma într-un fel sau altul și a se combina cu alții, spre deosebire de a o obține dintr-un loc în altul. Deci, da, toate acele lucruri pe care le văd ca un fel de extindere a teoriei informației. Poate că nu ar trebui să se numească teoria informației. Poate ar trebui să se numească „transformarea informațiilor” sau ceva de genul acesta.
Horgan: Scientific American a avut un număr special despre comunicații în 1972. John Pierce a spus în articolul introductiv că munca ta ar putea fi extinsă pentru a include sensul .
Shannon: sensul Este un lucru destul de greu de înțeles… în matematică și fizică și știință și așa mai departe, lucrurile au un sens, despre modul în care sunt legate de lumea exterioară. Dar de obicei se ocupă de cantități foarte măsurabile, în timp ce majoritatea discuțiilor noastre între oameni nu sunt atât de măsurabile. Este un lucru foarte larg care aduce tot felul de emoții în capul tău atunci când auzi cuvintele. Deci, nu cred că este atât de ușor să cuprinzi asta într-o formă matematică.
Horgan: oamenii mi-au spus că până la sfârșitul anilor 1950, te-ai săturat de teoria informației.
Shannon: nu m-am săturat de asta. Este că am fost de lucru pe un lucru diferit… Mă jucam cu mașinile ca să fac calcule. Asta a fost mai mult de interesul meu decât teoria informației în sine. Ideea de mașină inteligentă.
Horgan: vă faceți griji că mașinile vor prelua unele dintre funcțiile noastre?
Shannon: Mașinile ar putea fi capabile să rezolve o mulțime de probleme despre care ne-am întrebat și să reducă problema noastră de muncă umilă… dacă vorbești despre mașinile care preiau, nu sunt foarte îngrijorat de asta. Cred că atâta timp cât le construim, ei nu vor prelua.
Horgan: ai simțit vreodată vreo presiune asupra ta, la Bell Labs, să lucrezi la ceva mai practic?
Shannon: nu. Întotdeauna mi-am urmărit interesele fără prea multă atenție pentru valoarea financiară sau valoare pentru lume. M-am interesat mai mult dacă o problemă este interesantă decât ce va face. … Am petrecut o mulțime de timp pe lucruri total inutile.
lecturi suplimentare:
poate Teoria informației integrate să explice conștiința?
De ce informația nu poate sta la baza realității
capodopera poetică a lui Claude Shannon, părintele teoriei informației
Teorema lui Bayes: ce mare scofală?