Nessun scienziato ha un rapporto impatto-fama maggiore di Claude Elwood Shannon, il creatore della teoria dell’informazione. Shannon, che è morto nel 2001 all’età di 84 anni, ottiene il suo dovuto in una nuova biografia terrificante, A Mind at Play: How Claude Shannon ha inventato l’era dell’informazione, di Jimmy Soni e Rob Goodman. Hanno appena pubblicato una grande colonna scientifica americana sulla moglie di Shannon Betty, che chiamano un “genio matematico non celebrato.”Ho profilato Claude in Scientific American nel 1990 dopo aver visitato gli Shannons nel 1989. Di seguito è riportata una versione modificata di quel profilo, seguita da estratti modificati dalla nostra intervista. Vedi Ulteriori letture per i link al capolavoro poetico di Shannon, “A Rubric on Rubik Cubics” e altri post relativi alla teoria dell’informazione. – John Horgan

Claude Shannon non poteva stare fermo. Eravamo seduti nel soggiorno della sua casa a nord di Boston, un edificio chiamato Entropy House, e stavo cercando di convincerlo a ricordare come ha inventato la teoria dell’informazione. Shannon, che è un ragazzo 73, con un sorriso timido e capelli nevosi, era stanco di soffermarsi sul suo passato. Voleva mostrarmi i suoi gadget.

Per le lievi proteste di sua moglie, Betty, saltò dalla sedia e scomparve in un’altra stanza. Quando l’ho raggiunto, mi ha mostrato con orgoglio le sue sette macchine da gioco degli scacchi, il pogo-stick a benzina, il coltello a serramanico a cento lame, il monociclo a due posti e innumerevoli altre meraviglie.

Alcune delle sue creazioni personali such come un topo meccanico che naviga in un labirinto, una giocoleria W. C. Manichino Fields e un computer che calcola in numeri romani were erano polverosi e in rovina. Ma Shannon sembrava felice con i suoi giocattoli come un 10-year-old la mattina di Natale.

È questo l’uomo che, ai Bell Labs nel 1948, scrisse “A Mathematical Theory of Communication”, la Magna Carta dell’era digitale? Il cui lavoro Robert Lucky, direttore esecutivo della ricerca presso AT & T Bell Laboratories, ha definito il più grande ” negli annali del pensiero tecnologico?”

Sì. L’inventore della teoria dell’informazione ha anche inventato un frisbee a razzo e una teoria della giocoleria, ed è ancora ricordato ai Bell Labs per la giocoleria mentre cavalca un monociclo attraverso le sale. ” Ho sempre perseguito i miei interessi senza molto riguardo per il valore finanziario o il valore per il mondo”, ha detto allegramente Shannon. “Ho passato molto tempo su cose totalmente inutili.”

La gioia di Shannon nelle astrazioni matematiche e nei gadget emerse durante la sua infanzia nel Michigan, dove nacque nel 1916. Ha giocato con i kit radio e set di erettori e goduto risolvere i puzzle matematici. ” Sono sempre stato interessato, anche da ragazzo, alla crittografia e a cose del genere”, ha detto Shannon. Una delle sue storie preferite era “The Gold Bug”, un mistero di Edgar Allan Poe su una misteriosa mappa crittografata.

Come studente universitario presso l’Università del Michigan, Shannon si è laureato in matematica e ingegneria elettrica. Nella sua tesi di master del MIT, ha mostrato come un’algebra inventata dal matematico britannico George Boole—che si occupa di concetti come “se X o Y accade ma non Z, quindi Q risultati” – potrebbe rappresentare il funzionamento di interruttori e relè nei circuiti elettronici.

Le implicazioni del documento erano profonde: i progetti di circuiti potevano essere testati matematicamente prima di essere costruiti piuttosto che attraverso noiosi tentativi ed errori. Gli ingegneri ora progettano abitualmente hardware e software per computer, reti telefoniche e altri sistemi complessi con l’aiuto dell’algebra booleana. (“Ho sempre amato quella parola, Booleano”, ha detto Shannon.)

Dopo aver ottenuto il dottorato al MIT, Shannon è andato a Bell Laboratories nel 1941. Durante la seconda guerra mondiale, ha contribuito a sviluppare sistemi di crittografia, che ha ispirato la sua teoria della comunicazione. Proprio come i codici proteggono le informazioni da occhi indiscreti, si rese conto, in modo che possano proteggerlo da statica e altre forme di interferenza. I codici potrebbero anche essere utilizzati per impacchettare le informazioni in modo più efficiente.

“Il mio primo pensiero”, ha detto Shannon, “è stato come migliorare al meglio la trasmissione di informazioni su un canale rumoroso. Questo era un problema specifico, in cui stai pensando a un sistema telegrafico o un sistema telefonico. Ma quando si arriva a pensare a questo, si inizia a generalizzare nella tua testa su tutte queste applicazioni più ampie.”

Il fulcro del suo articolo del 1948 era la sua definizione di informazione. Eludendo le domande sul significato (che la sua teoria “non può e non era destinata ad affrontare”), ha dimostrato che l’informazione è una merce misurabile. In parole povere, l’informazione di un messaggio è proporzionale alla sua improbabilità or o alla sua capacità di sorprendere un osservatore.

Shannon ha anche correlato le informazioni all’entropia, che in termodinamica denota la casualità di un sistema, o “mescolanza”, come dicono alcuni fisici. Shannon ha definito l’unità di informazione di base-che un collega dei Bell Labs ha soprannominato un’unità binaria o ” bit ” – come un messaggio che rappresenta uno dei due stati. Si potrebbero codificare molte informazioni in pochi bit, proprio come nel vecchio gioco “Twenty Questions” si potrebbe rapidamente azzerare la risposta corretta attraverso un abile interrogatorio.

Shannon ha dimostrato che ogni canale di comunicazione ha una capacità massima per trasmettere informazioni in modo affidabile. In realtà, ha dimostrato che sebbene si possa avvicinarsi a questo massimo attraverso una codifica intelligente, non si può mai raggiungerlo. Il massimo è diventato noto come limite di Shannon.

Il documento di Shannon del 1948 stabiliva come calcolare il limite di Shannon, ma non come affrontarlo. Shannon e altri hanno preso quella sfida più tardi. Il primo passo è stato eliminare la ridondanza dal messaggio. Proprio come un Romeo laconico può far passare il suo messaggio con un semplice “i lv u”, un buon codice prima comprime le informazioni nella sua forma più efficiente. Un cosiddetto codice di correzione degli errori aggiunge una ridondanza sufficiente per garantire che il messaggio stripped-down non sia oscurato dal rumore.

Le idee di Shannon erano troppo preveggenti per avere un impatto immediato. Non fino ai primi anni 1970 ha fatto circuiti integrati ad alta velocità e altri progressi consentono agli ingegneri di sfruttare appieno la teoria dell’informazione. Oggi le intuizioni di Shannon aiutano a modellare praticamente tutte le tecnologie che memorizzano, elaborano o trasmettono informazioni in forma digitale.

Come la meccanica quantistica e la relatività, la teoria dell’informazione ha affascinato il pubblico oltre a quello per cui era destinata. Ricercatori in fisica, linguistica, psicologia, economia, biologia, persino musica e arti hanno cercato di applicare la teoria dell’informazione nelle loro discipline. Nel 1958, una rivista tecnica pubblicò un editoriale, “Teoria dell’informazione, fotosintesi e religione”, deplorando questa tendenza.

Applicare la teoria dell’informazione ai sistemi biologici non è così inverosimile, secondo Shannon. “Il sistema nervoso è un sistema di comunicazione complesso e elabora le informazioni in modi complicati”, ha affermato. Alla domanda se pensava che le macchine potessero “pensare”, ha risposto: “Scommetti. Io sono una macchina e tu sei una macchina, e pensiamo entrambi, vero?”

Nel 1950 scrisse un articolo per Scientific American sulle macchine da gioco degli scacchi, e rimane affascinato dal campo dell’intelligenza artificiale. I computer non sono ancora “all’altezza del livello umano” in termini di elaborazione delle informazioni grezze. Semplicemente replicare la visione umana in una macchina rimane un compito formidabile. Ma ” è certamente plausibile per me che in pochi decenni le macchine saranno al di là degli umani.”

Negli ultimi anni, la grande ossessione di Shannon è stata la giocoleria. Ha costruito diverse macchine di giocoleria e ideato una teoria di giocoleria: Se B è uguale al numero di palle, H il numero di mani, D il tempo ogni palla trascorre in una mano, F il tempo di volo di ogni palla, ed E il tempo ogni mano è vuota, poi B/H = (D + F) / (D + E). (Purtroppo, la teoria non poteva aiutare Shannon destreggiarsi più di quattro palle in una sola volta.Dopo aver lasciato i Bell Labs nel 1956 per il MIT, Shannon pubblicò poco sulla teoria dell’informazione. Alcuni ex colleghi di Bell hanno suggerito di essere stanco del campo che ha creato. Shannon ha negato tale affermazione. Si era interessato ad altri argomenti, come l’intelligenza artificiale, ha detto. Ha continuato a lavorare sulla teoria dell’informazione, ma ha considerato la maggior parte dei suoi risultati indegni di pubblicazione. ” La maggior parte dei grandi matematici hanno fatto il loro lavoro migliore quando erano giovani, ” ha osservato.

Decenni fa, Shannon ha smesso di partecipare alle riunioni di teoria dell’informazione. I colleghi hanno detto che soffriva di grave paura del palcoscenico. Ma nel 1985 fece un’apparizione inaspettata a una conferenza a Brighton, in Inghilterra, e gli organizzatori della riunione lo convinsero a parlare a un banchetto. Ha parlato per qualche minuto. Poi, temendo che stava annoiando il suo pubblico, tirò fuori tre palle dalle tasche e cominciò a giocoleria. Il pubblico ha applaudito e si è messo in fila per gli autografi. Un ingegnere ha ricordato: “Era come se Newton si fosse presentato a una conferenza di fisica.”

ESTRATTI DALL’INTERVISTA DI SHANNON, 2 NOVEMBRE 1989.

Horgan: Quando hai iniziato a lavorare sulla teoria dell’informazione, avevi in mente un obiettivo specifico?

Shannon: Il mio primo pensiero su di esso è stato: Come si fa meglio trasmissioni in avanti in un canale rumoroso, qualcosa del genere. Quel tipo di problema specifico, in cui li pensi in un sistema telegrafico o telefonico. Ma quando comincio a pensarci, inizi a generalizzare nella tua testa tutte le applicazioni più ampie. Così quasi tutto il tempo, stavo pensando a loro pure. Spesso definirei le cose in termini di un canale molto semplificato. Sì o no o qualcosa del genere. Così ho avuto tutti questi sentimenti di generalità molto presto.

Horgan: Ho letto che John Von Neumann ha suggerito di usare la parola “entropia” come misura di informazione perché nessuno capisce l’entropia e quindi puoi vincere argomenti sulla tua teoria.

Shannon: Suona come il tipo di osservazione che avrei potuto fare per scherzo speaking Crudamente parlando, la quantità di informazioni è quanto caos c’è nel sistema. Ma la matematica viene fuori a destra, per così dire. La quantità di informazioni misurata dall’entropia determina quanta capacità lasciare nel canale.

Horgan: Sei rimasto sorpreso quando la gente ha cercato di usare la teoria dell’informazione per analizzare il sistema nervoso?

Shannon: Non è così strano se affermiamo che il sistema nervoso è un sistema di comunicazione complesso, che elabora le informazioni in modi complicati Mostly Per lo più ciò di cui ho scritto era comunicare da un punto all’altro, ma ho anche speso molto tempo nel trasformare le informazioni da una forma all’altra, combinando le informazioni in modi complicati, cosa che fanno il cervello e i computer ora. Quindi tutte queste cose sono una sorta di generalizzazione della teoria dell’informazione, in cui si sta parlando di lavorare per cambiare la sua forma in un modo o nell’altro e combinarsi con gli altri, in contrasto con ottenerla da un luogo all’altro. Quindi, sì, tutte quelle cose che vedo come una sorta di ampliamento della teoria dell’informazione. Forse non dovrebbe essere chiamata la teoria dell’informazione. Forse dovrebbe essere chiamato “trasformazione delle informazioni” o qualcosa del genere.

Horgan: Scientific American ha avuto un numero speciale sulle comunicazioni nel 1972. John Pierce ha detto nell’articolo introduttivo che il tuo lavoro potrebbe essere esteso per includere significato .

Shannon: Il significato è una cosa piuttosto difficile da capire… In matematica, fisica e scienza e così via, le cose hanno un significato, su come sono correlate al mondo esterno. Ma di solito si occupano di quantità molto misurabili, mentre la maggior parte del nostro discorso tra gli esseri umani non è così misurabile. È una cosa molto ampia che fa emergere tutti i tipi di emozioni nella tua testa quando senti le parole. Quindi, non penso che sia così facile comprenderlo in una forma matematica.

Horgan: La gente mi ha detto che alla fine del 1950, ti sei stancato della teoria dell’informazione.

Shannon: Non è che ero stanco di esso. E ‘ che stavo lavorando su una cosa diversa… Stavo giocando con le macchine per fare calcoli. Questo è stato più di mio interesse che la teoria dell’informazione stessa. L’idea della macchina intelligente.

Horgan: Ti preoccupi che le macchine assumeranno alcune delle nostre funzioni?

Shannon: Le macchine potrebbero essere in grado di risolvere molti problemi che ci siamo chiesti e ridurre il nostro umile problema del lavoro If Se stai parlando delle macchine che prendono il sopravvento, non sono davvero preoccupato per questo. Penso che finché li costruiremo, non prenderanno il sopravvento.

Horgan: Hai mai sentito alcuna pressione su di te, ai Bell Labs, per lavorare su qualcosa di più pratico?

Shannon: No. Ho sempre perseguito i miei interessi senza molto riguardo per il valore finanziario o il valore per il mondo. Sono stato più interessato a sapere se un problema è eccitante di quello che farà. spent Ho passato un sacco di tempo su cose totalmente inutili.

Ulteriori letture:

La teoria dell’informazione integrata può spiegare la coscienza?

Perché l’informazione non può essere la base della realtà

Capolavoro poetico di Claude Shannon, padre della teoria dell’informazione

Teorema di Bayes: qual è il grosso problema?