No scientist has an impact-to-fame ratio greater than Claude Elwood Shannon, the creator of information theory. Shannon, que morreu em 2001, aos 84 anos, recebe seu devido em uma nova biografia fantástica, Uma Mente em jogo: como Claude Shannon inventou a era da informação, por Jimmy Soni e Rob Goodman. Eles publicaram uma grande coluna científica americana sobre a esposa de Shannon, Betty, a quem chamam de “gênio matemático unsung”.”Eu perfilei Claude em Scientific American em 1990 depois de visitar os Shannons em 1989. Abaixo está uma versão editada desse perfil, seguida de trechos editados de nossa entrevista. See Further Reading for links to Shannon’s poetic masterpiece, “a rubrica on Rubik Cubics,” and other posts related to information theory. Claude Shannon não conseguia ficar quieto. Estávamos sentados na sala de estar da casa dele a norte de Boston, um edifício chamado “Casa da entropia”, e eu estava a tentar que ele se lembrasse de como ele inventou a teoria da informação. Shannon, que é um menino de 73 anos, com um sorriso tímido e cabelo nevado, estava cansado de viver em seu passado. Ele queria mostrar-me as suas engenhocas.devido aos protestos suaves da sua esposa, Betty, ele saltou da cadeira e desapareceu para outra sala. Quando o encontrei, ele mostrou-me orgulhosamente as suas sete máquinas de xadrez, pogo-stick movido a gasolina, jackknife de cem lâminas, monociclo de dois lugares e inúmeras outras maravilhas.algumas de suas criações pessoais–como um rato mecânico que navega em um labirinto, um malabarista W. C. Os manequins Fields e um computador que calcula em numeração romana estavam empoeirados e em mau estado de conservação. Mas Shannon parecia tão encantada com seus brinquedos como uma criança de 10 anos na manhã de Natal.é este o homem que, no Bell Labs em 1948, escreveu “a Mathematical Theory of Communication”, a Magna Carta da era digital? Cujo trabalho Robert Lucky, director executivo de investigação na Universidade de&T Bell Laboratories, chamou o maior ” nos anais do pensamento tecnológico?Sim. O inventor da teoria da informação também inventou um disco voador e uma teoria do malabarismo, e ele ainda é lembrado no Bell Labs por fazer malabarismo enquanto montava um monociclo pelos corredores. “Eu sempre Persegui os meus interesses sem grande consideração pelo valor financeiro ou valor para o mundo”, disse Shannon alegremente. “Passei muito tempo em coisas totalmente inúteis.o prazer de Shannon em abstrações matemáticas e gadgetry surgiu durante sua infância em Michigan, onde ele nasceu em 1916. Ele jogou com kits de rádio e conjuntos de eretor e gostava de resolver quebra-cabeças matemáticos. “Eu estava sempre interessado, mesmo quando criança, em criptografia e coisas desse tipo”, disse Shannon. Uma de suas histórias favoritas foi “The Gold Bug”, um mistério de Edgar Allan Poe sobre um misterioso mapa criptografado.
Como uma graduação na Universidade de Michigan, Shannon se formou em matemática e engenharia elétrica. Em sua MIT tese de mestrado, ele mostrou como uma álgebra inventado pelo matemático Britânico George Boole—que lida com conceitos como “se X ou Y acontece, mas não Z, Q resultados”—poderia representar o funcionamento de interruptores e relés em circuitos eletrônicos.
As implicações do artigo foram profundas: os projetos de circuitos poderiam ser testados matematicamente antes de serem construídos ao invés de através de tentativas e erros tediosos. Engenheiros agora rotineiramente projetam hardware e software de computador, redes telefónicas e outros sistemas complexos com a ajuda da álgebra booleana. (“Eu sempre amei essa palavra, Boolean,” Shannon disse.depois de obter seu doutorado no MIT, Shannon foi para Bell Laboratories em 1941. Durante a Segunda Guerra Mundial, ele ajudou a desenvolver sistemas de criptografia, o que inspirou sua teoria da comunicação. Assim como os códigos protegem a informação de olhos curiosos, ele percebeu, para que eles possam protegê-la de interferências estáticas e outras formas de interferência. Os códigos também podem ser utilizados para embalar informações de forma mais eficiente.
“My first thinking about ,” Shannon said, ” was how you best improve information transmission over a noisy channel. Este foi um problema específico, onde você está pensando em um sistema de telégrafo ou um sistema telefônico. Mas quando você começa a pensar sobre isso, você começa a generalizar na sua cabeça sobre todas essas aplicações mais amplas.”
a peça central de seu artigo de 1948 foi sua definição de informação. Questionando-se sobre o significado (que sua teoria “não pode e não se destinava a abordar”), ele demonstrou que a informação é uma mercadoria mensurável. Falando grosso modo, a informação de uma mensagem é proporcional à sua improbabilidade–ou à sua capacidade de surpreender um observador.
Shannon também relatou informações sobre entropia, que na termodinâmica denota aleatoriedade de um sistema, ou “shuffledness”, como alguns físicos o colocaram. Shannon definiu a unidade básica de informação–que um colega do Bell Labs apelidou de unidade binária ou “bit”–como uma mensagem representando um de dois estados. Um poderia codificar muitas informações em poucos bits, assim como no jogo antigo “vinte perguntas” um poderia rapidamente zero na resposta correta através do questionamento deft.
Shannon mostrou que qualquer canal de comunicação tem uma capacidade máxima para transmitir informação de forma fiável. Na verdade, ele mostrou que, embora se possa aproximar este máximo através de um código inteligente, nunca se pode alcançá-lo. O máximo passou a ser conhecido como o limite de Shannon.
Shannon ‘ s 1948 paper established how to calculate the Shannon limit-but not how to approach it. Shannon e outros aceitaram esse desafio mais tarde. O primeiro passo foi eliminar a redundância da mensagem. Assim como um Romeo lacônico pode fazer passar sua mensagem com um mero “I lv u”, um bom Código primeiro comprime a informação para sua forma mais eficiente. Um código de correcção de erros adiciona redundância suficiente para garantir que a mensagem despojada não seja obscurecida pelo ruído.as ideias de Shannon eram demasiado prescientes para ter um impacto imediato. Só no início da década de 1970 que os circuitos integrados de alta velocidade e outros avanços permitiram aos engenheiros explorar plenamente a teoria da informação. Hoje os insights de Shannon ajudam a moldar virtualmente todas as tecnologias que armazenam, processam ou transmitem informações em forma digital.como a mecânica quântica e a relatividade, a teoria da informação tem cativado o público para além daquele a que se destinava. Pesquisadores em física, linguística, Psicologia, economia, biologia, até mesmo música e Artes procuraram aplicar a teoria da informação em suas disciplinas. Em 1958, uma revista técnica publicou um editorial,” teoria da Informação, fotossíntese e religião”, lamentando esta tendência.
aplicar a teoria da informação a sistemas biológicos não é tão rebuscado, de acordo com Shannon. “O sistema nervoso é um sistema de comunicação complexo, e processa informações de formas complicadas”, disse ele. Quando lhe perguntaram se achava que as máquinas podiam “pensar”, ele respondeu: “podes apostar. Eu sou uma máquina e tu és uma máquina, e ambos pensamos, não é?”
em 1950 ele escreveu um artigo para o Scientific American sobre máquinas de xadrez, e ele continua fascinado pelo campo da inteligência artificial. Os computadores ainda” não estão ao nível humano ” em termos de processamento de informação bruta. Simplesmente replicar a visão humana numa máquina continua a ser uma tarefa formidável. Mas ” é certamente plausível para mim que em algumas décadas as máquinas estarão além dos humanos.”
nos últimos anos, a grande obsessão de Shannon tem sido malabarismo. Ele construiu vários malabarismo máquinas e desenvolveram uma teoria de malabarismo: Se B é igual ao número de bolas, H o número de mãos, D o tempo que cada bola passa em uma mão, F o tempo de voo de cada bola, e e o tempo de cada mão está vazia, então B/H = (D + F)/(D + E). (Infelizmente, a teoria não poderia ajudar Shannon a fazer malabarismo com mais de quatro bolas ao mesmo tempo.)
Depois de deixar Bell Labs em 1956 para o MIT, Shannon publicou pouco sobre a teoria da informação. Alguns ex-colegas da Bell sugeriram que ele se cansou do campo que criou. Shannon negou essa reivindicação. Ele se interessou por outros temas, como inteligência artificial, disse ele. Ele continuou trabalhando na teoria da informação, mas considerou a maioria de seus resultados indignos de publicação. “A maioria dos grandes matemáticos fizeram o seu melhor trabalho quando eram jovens”, observou.há décadas, Shannon deixou de participar em reuniões de teoria da informação. Os colegas disseram que ele sofria de medo de estágio severo. Mas em 1985 ele fez uma aparição inesperada em uma conferência em Brighton, Inglaterra, e os organizadores do encontro o persuadiram a falar em um banquete de jantar. Ele falou por alguns minutos. Depois, temendo que estivesse a aborrecer o público, tirou três bolas dos bolsos e começou a fazer malabarismo. O público aplaudiu e alinhou-se para dar autógrafos. Um engenheiro lembrou: “foi como se Newton tivesse aparecido em uma conferência de física.”
EXCERPTS FROM SHANNON INTERVIEW, NOVEMBER 2, 1989.
Horgan: quando você começou a trabalhar na teoria da informação, você tinha um objetivo específico em mente?
Shannon: meu primeiro pensamento sobre isso foi: como você melhor encaminhar transmissões em um canal barulhento, algo assim. Esse tipo de problema específico, onde você pensa neles em um sistema de telégrafo ou sistema telefônico. Mas quando começo a pensar nisso, você começa a generalizar na sua cabeça todas as aplicações mais amplas. Quase todo o tempo, também estava a pensar neles. Eu diria muitas vezes as coisas em termos de um canal muito simplificado. Sim ou não ou algo assim. Então eu tive todos esses sentimentos de generalidade muito cedo.
Horgan: eu li que John Von Neumann sugeriu que você deve usar a palavra “entropia” como uma medida de informação porque ninguém entende entropia e assim você pode ganhar argumentos sobre a sua teoria.
Shannon: soa como o tipo de comentário que eu poderia ter feito como uma piada… cruelmente falando, a quantidade de informação é o quanto Caos existe no sistema. Mas a matemática sai bem, por assim dizer. A quantidade de informação medida pela entropia determina a capacidade de sair do canal.Horgan: você ficou surpreso quando as pessoas tentaram usar a teoria da informação para analisar o sistema nervoso?
Shannon: Isso não é tão estranho se você fizer o caso de que o sistema nervoso é um complexo sistema de comunicação, que processa informações de formas complicadas… Principalmente o que eu escrevi foi sobre a comunicação de um ponto a outro, mas eu também passei muito tempo na transformação de informações de um formulário para outro, combinando informações de formas complicadas, que o cérebro e os computadores agora. Então todas essas coisas são uma espécie de generalização da teoria da informação, onde você está falando sobre trabalhar para mudar sua forma de uma maneira ou de outra e se combinar com outras, em contraste com obtê-la de um lugar para outro. Então, sim, todas essas coisas que vejo como uma espécie de ampliação da teoria da informação. Talvez não devesse ser chamada de teoria da informação. Talvez devesse ser chamado de “transformação da informação” ou algo assim.
Horgan: Scientific American had a special issue on communications in 1972. John Pierce disse no artigo introdutório que seu trabalho poderia ser estendido para incluir significado .Shannon: significado é uma coisa muito difícil de se agarrar … em matemática, física e Ciência e assim por diante, as coisas têm um significado, sobre como elas estão relacionadas com o mundo exterior. Mas normalmente eles lidam com quantidades muito mensuráveis, enquanto que a maioria de nossas conversas entre humanos não é tão mensurável. É uma coisa muito ampla que traz à tona todo o tipo de emoções na tua cabeça quando ouves as palavras. Então, eu não acho que seja assim tão fácil englobar isso em uma forma matemática.
Horgan: as pessoas me disseram que no final da década de 1950, você se cansou da teoria da informação.não é que eu estivesse cansado disso. É que eu estava a trabalhar numa coisa diferente… Estava a brincar com máquinas para fazer cálculos. Isso tem sido mais do meu interesse do que a própria teoria da informação. A ideia da máquina inteligente.
Horgan: preocupa-se que as máquinas assumam algumas das nossas funções?
Shannon: As máquinas podem ser capazes de resolver um monte de problemas que temos pensado e reduzir o nosso problema de trabalho servil… se você está falando sobre as máquinas assumir, eu não estou realmente preocupado com isso. Acho que desde que os construamos, eles não vão assumir.alguma vez sentiu alguma pressão EM Si, No Bell Labs, para trabalhar em algo mais prático?
Shannon: no. Sempre defendi os meus interesses sem grande consideração pelo valor financeiro ou valor para o mundo. Estou mais interessado em saber se um problema é excitante do que o que fará. … Passei muito tempo em coisas totalmente inúteis.pode a teoria da informação integrada explicar a consciência?
Por que a informação não pode ser a base da realidade
obra-prima poética de Claude Shannon, pai da teoria da informação
Teorema de Bayes: Qual é o problema?