Aucun scientifique n’a un rapport impact/notoriété supérieur à Claude Elwood Shannon, le créateur de la théorie de l’information. Shannon, décédé en 2001 à l’âge de 84 ans, obtient son dû dans une nouvelle biographie formidable, A Mind at Play: How Claude Shannon Invented the Information Age, de Jimmy Soni et Rob Goodman. Ils viennent de publier une grande chronique de Scientific American sur la femme de Shannon, Betty, qu’ils appellent un « génie mathématique méconnu. » J’ai profilé Claude dans Scientific American en 1990 après avoir visité les Shannons en 1989. Vous trouverez ci-dessous une version modifiée de ce profil, suivie d’extraits édités de notre interview. Voir plus loin pour des liens vers le chef-d’œuvre poétique de Shannon, « Une rubrique sur les cubiques Rubik”, et d’autres articles liés à la théorie de l’information. – John Horgan

Claude Shannon ne pouvait pas rester immobile. Nous étions assis dans le salon de sa maison au nord de Boston, un édifice appelé Entropy House, et j’essayais de lui faire rappeler comment il a inventé la théorie de l’information. Shannon, qui est un garçon de 73 ans, avec un sourire timide et des cheveux enneigés, en avait assez de s’attarder sur son passé. Il voulait me montrer ses gadgets.

Sous les douces protestations de sa femme, Betty, il sauta de sa chaise et disparut dans une autre pièce. Quand je l’ai rattrapé, il m’a fièrement montré ses sept machines à jouer aux échecs, son bâton de pogo à essence, son couteau à cent lames, son monocycle à deux places et d’innombrables autres merveilles.

Certaines de ses créations personnellessuchcomme une souris mécanique qui navigue dans un labyrinthe, un W.C jonglant. Le mannequin Fields et un ordinateur qui calcule en chiffres romainswere étaient poussiéreux et en mauvais état. Mais Shannon semblait aussi ravi de ses jouets qu’un enfant de 10 ans le matin de Noël.

Est-ce l’homme qui, aux Laboratoires Bell en 1948, a écrit « Une Théorie Mathématique de la Communication », la Magna Carta de l’ère numérique? Quel travail Robert Lucky, directeur exécutif de la recherche chez AT&T Bell Laboratories, a appelé le plus grand « dans les annales de la pensée technologique? »

Oui. L’inventeur de la théorie de l’information a également inventé un frisbee à fusée et une théorie de la jonglerie, et on se souvient encore de lui aux Bell Labs pour avoir jonglé en monocycle dans les couloirs. ”J’ai toujours poursuivi mes intérêts sans trop me soucier de la valeur financière ou de la valeur pour le monde », a déclaré joyeusement Shannon. « J’ai passé beaucoup de temps sur des choses totalement inutiles. »

Le plaisir de Shannon pour les abstractions mathématiques et les gadgets a émergé pendant son enfance dans le Michigan, où il est né en 1916. Il jouait avec des kits radio et des ensembles de montage et aimait résoudre des énigmes mathématiques. ”J’ai toujours été intéressé, même en tant que garçon, par la cryptographie et les choses de ce genre », a déclaré Shannon. L’une de ses histoires préférées était « The Gold Bug”, un mystère d’Edgar Allan Poe sur une mystérieuse carte cryptée.

En tant que premier cycle à l’Université du Michigan, Shannon s’est spécialisée en mathématiques et en génie électrique. Dans son mémoire de maîtrise du MIT, il a montré comment une algèbre inventée par le mathématicien britannique George Boole — qui traite de concepts tels que « si X ou Y se produit mais pas Z, alors Q résultats” — pourrait représenter le fonctionnement des commutateurs et des relais dans les circuits électroniques.

Les implications de l’article étaient profondes: les conceptions de circuits pouvaient être testées mathématiquement avant leur construction plutôt que par des essais et erreurs fastidieux. Les ingénieurs conçoivent désormais régulièrement du matériel et des logiciels informatiques, des réseaux téléphoniques et d’autres systèmes complexes à l’aide de l’algèbre booléenne. (« J’ai toujours aimé ce mot, booléen », a déclaré Shannon.)

Après avoir obtenu son doctorat au MIT, Shannon est allé aux laboratoires Bell en 1941. Pendant la Seconde Guerre mondiale, il a aidé à développer des systèmes de cryptage, qui ont inspiré sa théorie de la communication. Tout comme les codes protègent les informations des regards indiscrets, il s’est rendu compte qu’ils pouvaient les protéger des interférences statiques et autres. Les codes pourraient également être utilisés pour regrouper les informations de manière plus efficace.

« Ma première réflexion”, a déclaré Shannon, « était de savoir comment améliorer au mieux la transmission d’informations sur un canal bruyant. C’était un problème spécifique, où vous pensez à un système télégraphique ou à un système téléphonique. Mais lorsque vous y réfléchissez, vous commencez à généraliser dans votre tête toutes ces applications plus larges. »

La pièce maîtresse de son article de 1948 était sa définition de l’information. Contournant les questions sur le sens (que sa théorie « ne peut pas et n’était pas destinée à aborder”), il a démontré que l’information est une marchandise mesurable. Grosso modo, l’information d’un message est proportionnelle à son improbabilitéor ou à sa capacité à surprendre un observateur.

Shannon a également lié l’information à l’entropie, qui en thermodynamique désigne le caractère aléatoire d’un système, ou « mélange”, comme le disent certains physiciens. Shannon a défini l’unité d’information de base – qu’un collègue de Bell Labs a surnommée une unité binaire ou « bit” – comme un message représentant l’un des deux états. On pouvait encoder beaucoup d’informations en quelques bits, tout comme dans l’ancien jeu « Vingt Questions”, on pouvait rapidement trouver la bonne réponse grâce à un interrogatoire habile.

Shannon a montré que tout canal de communication donné a une capacité maximale de transmission fiable d’informations. En fait, il a montré que bien que l’on puisse approcher ce maximum grâce à un codage intelligent, on ne peut jamais tout à fait l’atteindre. Le maximum est devenu connu sous le nom de limite de Shannon.

L’article de Shannon de 1948 a établi comment calculer la limite de Shannon — mais pas comment l’approcher. Shannon et d’autres ont relevé ce défi plus tard. La première étape consistait à éliminer la redondance du message. Tout comme un Roméo laconique peut faire passer son message avec un simple « je lv u”, un bon code compresse d’abord l’information sous sa forme la plus efficace. Un code dit de correction d’erreur ajoute juste assez de redondance pour s’assurer que le message dépouillé n’est pas masqué par le bruit.

Les idées de Shannon étaient trop prémonitoires pour avoir un impact immédiat. Ce n’est qu’au début des années 1970 que les circuits intégrés à grande vitesse et d’autres avancées ont permis aux ingénieurs d’exploiter pleinement la théorie de l’information. Aujourd’hui, les connaissances de Shannon aident à façonner pratiquement toutes les technologies qui stockent, traitent ou transmettent des informations sous forme numérique.

Comme la mécanique quantique et la relativité, la théorie de l’information a captivé un public au-delà de celui auquel elle était destinée. Des chercheurs en physique, en linguistique, en psychologie, en économie, en biologie, voire en musique et dans les arts ont cherché à appliquer la théorie de l’information dans leurs disciplines. En 1958, une revue technique a publié un éditorial, « Théorie de l’information, Photosynthèse et religion”, déplorant cette tendance.

L’application de la théorie de l’information aux systèmes biologiques n’est pas si farfelue, selon Shannon. « Le système nerveux est un système de communication complexe et il traite l’information de manière compliquée », a-t-il déclaré. Lorsqu’on lui a demandé s’il pensait que les machines pouvaient « penser”, il a répondu: « Vous pariez. Je suis une machine et vous êtes une machine, et nous pensons tous les deux, n’est-ce pas? »

En 1950, il a écrit un article pour Scientific American sur les machines à jouer aux échecs, et il reste fasciné par le domaine de l’intelligence artificielle. Les ordinateurs ne sont toujours « pas encore au niveau humain » en termes de traitement de l’information brute. La simple reproduction de la vision humaine dans une machine reste une tâche redoutable. Mais « il est certainement plausible pour moi que dans quelques décennies les machines seront au-delà des humains. »

Ces dernières années, la grande obsession de Shannon a été de jongler. Il a construit plusieurs machines à jongler et a conçu une théorie de la jonglerie: Si B est égal au nombre de balles, H au nombre de mains, D au temps que chaque balle passe dans une main, F au temps de vol de chaque balle et E au temps où chaque main est vide, alors B /H = (D + F) / (D +E). (Malheureusement, la théorie n’a pas pu aider Shannon à jongler avec plus de quatre balles à la fois.)

Après avoir quitté les laboratoires Bell en 1956 pour le MIT, Shannon a peu publié sur la théorie de l’information. Certains anciens collègues de Bell ont suggéré qu’il en avait assez du champ qu’il avait créé. Shannon a nié cette affirmation. Il s’était intéressé à d’autres sujets, comme l’intelligence artificielle, a-t-il déclaré. Il a continué à travailler sur la théorie de l’information, mais il a jugé la plupart de ses résultats indignes d’être publiés. ”La plupart des grands mathématiciens ont fait leur meilleur travail quand ils étaient jeunes », a-t-il observé.

Il y a des décennies, Shannon a cessé d’assister aux réunions de théorie de l’information. Ses collègues ont déclaré qu’il souffrait d’un trac sévère. Mais en 1985, il fait une apparition inattendue lors d’une conférence à Brighton, en Angleterre, et les organisateurs de la réunion le persuadent de prendre la parole lors d’un banquet. Il a parlé pendant quelques minutes. Puis, craignant d’ennuyer son public, il a sorti trois balles de ses poches et a commencé à jongler. Le public a applaudi et fait la queue pour des autographes. Un ingénieur se souvient :  » C’était comme si Newton s’était présenté à une conférence de physique. »

EXTRAITS DE L’INTERVIEW DE SHANNON, 2 NOVEMBRE 1989.

Horgan : Lorsque vous avez commencé à travailler sur la théorie de l’information, aviez-vous un objectif précis en tête ?

Shannon: Ma première réflexion à ce sujet a été: Comment faites-vous pour transmettre au mieux les transmissions dans un canal bruyant, quelque chose comme ça. Ce genre de problème spécifique, où vous pensez à eux dans un système télégraphique ou téléphonique. Mais quand je commence à y penser, vous commencez à généraliser dans votre tête toutes les applications plus larges. Donc presque tout le temps, je pensais à eux aussi. J’exprimais souvent les choses en termes de canal très simplifié. Oui ou non ou quelque chose comme ça. J’ai donc eu tous ces sentiments de généralité très tôt.

Horgan: J’ai lu que John Von Neumann vous a suggéré d’utiliser le mot « entropie » comme mesure d’information car personne ne comprend l’entropie et vous pouvez donc gagner des arguments sur votre théorie.

Shannon: Cela ressemble au genre de remarque que j’aurais pu faire comme une blague Cr Grossièrement parlant, la quantité d’informations est le chaos dans le système. Mais les mathématiques sortent bien, pour ainsi dire. La quantité d’informations mesurée par l’entropie détermine la capacité de laisser dans le canal.

Horgan: Avez-vous été surpris quand les gens ont essayé d’utiliser la théorie de l’information pour analyser le système nerveux?

Shannon: Ce n’est pas si étrange si vous affirmez que le système nerveux est un système de communication complexe, qui traite l’information de manière compliquée Mostly La plupart du temps, ce dont j’ai parlé était de communiquer d’un point à un autre, mais j’ai également passé beaucoup de temps à transformer l’information d’une forme à une autre, en combinant l’information de manière compliquée, ce que le cerveau et les ordinateurs font maintenant. Donc, toutes ces choses sont une sorte de généralisation de la théorie de l’information, où vous parlez de travailler à changer sa forme d’une manière ou d’une autre et à la combiner avec d’autres, contrairement à la faire passer d’un endroit à un autre. Donc, oui, toutes ces choses que je vois comme une sorte d’élargissement de la théorie de l’information. Peut-être que ça ne devrait pas s’appeler la théorie de l’information. Peut-être que cela devrait s’appeler « transformation de l’information » ou quelque chose comme ça.

Horgan: Scientific American a publié un numéro spécial sur les communications en 1972. John Pierce a déclaré dans l’article d’introduction que votre travail pourrait être étendu pour inclure un sens.

Shannon: Le sens est une chose assez difficile à comprendre In En mathématiques, en physique et en science, etc., les choses ont un sens, sur la façon dont elles sont liées au monde extérieur. Mais généralement, ils traitent de quantités très mesurables, alors que la plupart de nos discussions entre humains ne sont pas si mesurables. C’est une chose très large qui soulève toutes sortes d’émotions dans votre tête lorsque vous entendez les mots. Donc, je ne pense pas qu’il soit si facile d’englober cela sous une forme mathématique.

Horgan : Les gens m’ont dit qu’à la fin des années 1950, vous en aviez assez de la théorie de l’information.

Shannon : Ce n’est pas que j’en étais fatiguée. C’est que je travaillais sur une autre chose… Je jouais avec des machines pour faire des calculs. Cela m’a plus intéressé que la théorie de l’information elle-même. L’idée de la machine intelligente.

Horgan : Craignez-vous que les machines prennent en charge certaines de nos fonctions ?

Shannon: Les machines peuvent être en mesure de résoudre beaucoup de problèmes que nous nous sommes demandés et de réduire notre problème de main-d’œuvre subalterne If Si vous parlez des machines qui prennent le relais, je ne suis pas vraiment inquiet à ce sujet. Tant qu’on les construira, ils ne prendront pas le relais.

Horgan : Avez-vous déjà ressenti de la pression sur vous, chez Bell Labs, pour travailler sur quelque chose de plus pratique ?

Shannon: Non. J’ai toujours poursuivi mes intérêts sans trop me soucier de la valeur financière ou de la valeur pour le monde. Je me suis plus intéressé à savoir si un problème est excitant que ce qu’il fera. I J’ai passé beaucoup de temps sur des choses totalement inutiles.

Pour En Savoir plus :

La Théorie De L’Information Intégrée Peut-Elle Expliquer La Conscience ?

Pourquoi l’information ne peut pas être la base de la réalité

Chef-d’œuvre poétique de Claude Shannon, père de la théorie de l’information

Le théorème de Bayes : Quel est le problème ?