Kein Wissenschaftler hat ein größeres Verhältnis von Einfluss zu Ruhm als Claude Elwood Shannon, der Schöpfer der Informationstheorie. Shannon, der 2001 im Alter von 84 Jahren starb, bekommt seine Schuld in einer großartigen neuen Biographie, A Mind at Play: Wie Claude Shannon das Informationszeitalter erfand, von Jimmy Soni und Rob Goodman. Sie haben gerade eine großartige Scientific American-Kolumne über Shannons Frau Betty gepostet, wen sie ein „unbesungenes mathematisches Genie“ nennen.“ Ich habe Claude 1990 in Scientific American vorgestellt, nachdem ich 1989 die Shannons besucht hatte. Nachfolgend finden Sie eine bearbeitete Version dieses Profils, gefolgt von bearbeiteten Auszügen aus unserem Interview. Links zu Shannons poetischem Meisterwerk „A Rubric on Rubik Cubics“ und anderen Beiträgen zur Informationstheorie finden Sie in der weiteren Lektüre. -John Horgan

Claude Shannon konnte nicht still sitzen. Wir saßen im Wohnzimmer seines Hauses nördlich von Boston, einem Gebäude namens Entropy House, und ich versuchte ihn dazu zu bringen, sich daran zu erinnern, wie er auf die Informationstheorie kam. Shannon, Wer ist ein jungenhafter 73, mit einem schüchternen Grinsen und verschneiten Haaren, war es leid, in seiner Vergangenheit zu verweilen. Er wollte mir seine Gadgets zeigen.

Über die milden Proteste seiner Frau Betty sprang er von seinem Stuhl und verschwand in einem anderen Raum. Als ich ihn einholte, zeigte er mir stolz seine sieben Schachspielmaschinen, den benzinbetriebenen Pogo-Stick, das hundertblättrige Jackknife, das zweisitzige Einrad und unzählige andere Wunder.

Einige seiner persönlichen Kreationen – wie eine mechanische Maus, die durch ein Labyrinth navigiert, ein jonglierender W. C. Eine Schaufensterpuppe und ein Computer, der in römischen Ziffern berechnet – waren staubig und in einem schlechten Zustand. Aber Shannon schien am Weihnachtsmorgen genauso begeistert von seinen Spielsachen zu sein wie ein 10-Jähriger.Ist das der Mann, der 1948 in den Bell Labs „Eine mathematische Theorie der Kommunikation“ schrieb, die Magna Carta des digitalen Zeitalters? Wessen Arbeit Robert Lucky, Executive Director of Research bei&T Bell Laboratories, hat die größte „in den Annalen des technologischen Denkens“ genannt?“

Ja. Der Erfinder der Informationstheorie erfand auch einen raketengetriebenen Frisbee und eine Theorie des Jonglierens, und er ist in den Bell Labs immer noch für das Jonglieren auf einem Einrad durch die Hallen bekannt. „Ich habe meine Interessen immer verfolgt, ohne Rücksicht auf den finanziellen Wert oder den Wert für die Welt“, sagte Shannon fröhlich. „Ich habe viel Zeit mit völlig nutzlosen Dingen verbracht.“Shannons Freude an mathematischen Abstraktionen und Spielereien entstand während seiner Kindheit in Michigan, wo er 1916 geboren wurde. Er spielte mit Radio-Kits und Aufrichter-Sets und genoss das Lösen mathematischer Rätsel. „Ich war schon als Junge immer an Kryptographie und solchen Dingen interessiert“, sagte Shannon. Eine seiner Lieblingsgeschichten war „The Gold Bug“, ein Edgar Allan Poe-Mysterium über eine mysteriöse verschlüsselte Karte.Als Student an der University of Michigan studierte Shannon Mathematik und Elektrotechnik. In seiner MIT-Masterarbeit zeigte er, wie eine vom britischen Mathematiker George Boole erfundene Algebra — die sich mit Konzepten wie „Wenn X oder Y passiert, aber nicht Z, dann ergibt sich Q“ befasst – die Funktionsweise von Schaltern und Relais in elektronischen Schaltungen darstellen könnte.Die Implikationen des Papiers waren tiefgreifend: Schaltungsentwürfe konnten mathematisch getestet werden, bevor sie gebaut wurden, anstatt durch langwieriges Ausprobieren. Ingenieure entwerfen heute routinemäßig Computerhardware und -software, Telefonnetze und andere komplexe Systeme mit Hilfe der Booleschen Algebra. („Ich habe dieses Wort immer geliebt, Boolean“, sagte Shannon.)

Nach seiner Promotion am MIT ging Shannon 1941 zu den Bell Laboratories. Während des Zweiten Weltkriegs half er bei der Entwicklung von Verschlüsselungssystemen, die seine Kommunikationstheorie inspirierten. So wie Codes Informationen vor neugierigen Blicken schützen, erkannte er, dass sie sie vor statischen und anderen Formen von Interferenzen schützen können. Die Codes könnten auch verwendet werden, um Informationen effizienter zu verpacken.

„Mein erster Gedanke“, sagte Shannon, „war, wie man die Informationsübertragung über einen verrauschten Kanal am besten verbessert. Dies war ein spezifisches Problem, bei dem Sie über ein Telegraphensystem oder ein Telefonsystem nachdenken. Aber wenn Sie darüber nachdenken, fangen Sie an, in Ihrem Kopf über all diese breiteren Anwendungen zu verallgemeinern.“

Das Herzstück seiner Arbeit von 1948 war seine Definition von Information. Er wich Fragen nach der Bedeutung aus (die seine Theorie „nicht ansprechen kann und sollte“) und zeigte, dass Informationen eine messbare Ware sind. Grob gesagt ist die Information einer Nachricht proportional zu ihrer Unwahrscheinlichkeit – oder ihrer Fähigkeit, einen Beobachter zu überraschen.Shannon bezog auch Informationen auf die Entropie, die in der Thermodynamik die Zufälligkeit eines Systems oder „Shuffledness“ bezeichnet, wie einige Physiker es ausdrückten. Shannon definierte die grundlegende Informationseinheit – die ein Kollege von Bell Labs eine binäre Einheit oder „Bit“ nannte – als eine Nachricht, die einen von zwei Zuständen darstellt. Man konnte viele Informationen in wenigen Bits kodieren, so wie man im alten Spiel „Zwanzig Fragen“ durch geschicktes Fragen schnell die richtige Antwort finden konnte.

Shannon zeigte, dass jeder Kommunikationskanal eine maximale Kapazität zur zuverlässigen Übertragung von Informationen hat. Tatsächlich zeigte er, dass man dieses Maximum zwar durch cleveres Codieren erreichen kann, aber nie ganz erreichen kann. Das Maximum ist als Shannon-Grenze bekannt geworden.Shannons Papier von 1948 legte fest, wie man die Shannon—Grenze berechnet – aber nicht, wie man sich ihr nähert. Shannon und andere nahmen diese Herausforderung später an. Der erste Schritt bestand darin, Redundanz aus der Nachricht zu entfernen. So wie ein lakonischer Romeo seine Botschaft mit einem bloßen „i lv u“ vermitteln kann, komprimiert ein guter Code zuerst Informationen in seine effizienteste Form. Ein sogenannter Fehlerkorrekturcode fügt gerade genug Redundanz hinzu, um sicherzustellen, dass die abgespeckte Nachricht nicht durch Rauschen verdeckt wird.

Shannons Ideen waren zu vorausschauend, um unmittelbare Auswirkungen zu haben. Erst in den frühen 1970er Jahren ermöglichten es integrierte Hochgeschwindigkeitsschaltungen und andere Fortschritte den Ingenieuren, die Informationstheorie vollständig zu nutzen. Heute prägen Shannons Erkenntnisse praktisch alle Technologien, die Informationen in digitaler Form speichern, verarbeiten oder übertragen.

Wie die Quantenmechanik und die Relativitätstheorie hat die Informationstheorie ein Publikum fasziniert, das über das hinausgeht, für das sie gedacht war. Forscher in Physik, Linguistik, Psychologie, Wirtschaft, Biologie, sogar Musik und Kunst versuchten, die Informationstheorie in ihren Disziplinen anzuwenden. 1958 veröffentlichte eine Fachzeitschrift einen Leitartikel mit dem Titel „Informationstheorie, Photosynthese und Religion“, in dem dieser Trend beklagt wurde.Die Anwendung der Informationstheorie auf biologische Systeme ist laut Shannon nicht so weit hergeholt. „Das Nervensystem ist ein komplexes Kommunikationssystem und verarbeitet Informationen auf komplizierte Weise“, sagte er. Auf die Frage, ob er dachte, Maschinen könnten „denken“, antwortete er: „Sie wetten. Ich bin eine Maschine und du bist eine Maschine, und wir denken beide, nicht wahr?“

1950 schrieb er einen Artikel für Scientific American über Schachspielmaschinen, und er bleibt fasziniert vom Gebiet der künstlichen Intelligenz. Computer sind in Bezug auf die Verarbeitung von Rohinformationen immer noch „noch nicht auf dem Niveau des Menschen“. Das menschliche Sehen einfach in einer Maschine nachzubilden, bleibt eine gewaltige Aufgabe. Aber „Es ist mir durchaus plausibel, dass Maschinen in einigen Jahrzehnten jenseits des Menschen sein werden.“

In den letzten Jahren war Shannons große Obsession das Jonglieren. Er hat mehrere Jongliermaschinen gebaut und eine Theorie des Jonglierens entwickelt: Wenn B gleich der Anzahl der Bälle ist, H die Anzahl der Hände, D die Zeit, die jeder Ball in einer Hand verbringt, F die Flugzeit jedes Balls und E die Zeit, in der jede Hand leer ist, dann ist B / H = (D + F) / (D + E). (Leider konnte die Theorie Shannon nicht helfen, mehr als vier Bälle gleichzeitig zu jonglieren.)

Nachdem Shannon 1956 die Bell Labs für das MIT verlassen hatte, veröffentlichte er wenig über Informationstheorie. Einige ehemalige Bell-Kollegen schlugen vor, dass er das von ihm geschaffene Feld satt habe. Shannon bestritt diese Behauptung. Er habe sich für andere Themen wie künstliche Intelligenz interessiert, sagte er. Er arbeitete weiter an der Informationstheorie, aber er hielt die meisten seiner Ergebnisse für unwürdig. „Die meisten großen Mathematiker haben ihre beste Arbeit geleistet, als sie jung waren“, bemerkte er.

Vor Jahrzehnten hörte Shannon auf, an informationstheoretischen Treffen teilzunehmen. Kollegen sagten, er habe unter starkem Lampenfieber gelitten. Aber 1985 erschien er unerwartet auf einer Konferenz in Brighton, England, und die Organisatoren des Treffens überredeten ihn, bei einem Abendessen zu sprechen. Er redete ein paar Minuten. Dann, aus Angst, er würde sein Publikum langweilen, Er zog drei Bälle aus seinen Taschen und begann zu jonglieren. Das Publikum jubelte und stellte sich für Autogramme auf. Ein Ingenieur erinnerte sich: „Es war, als wäre Newton auf einer Physikkonferenz aufgetaucht.“

AUSZÜGE AUS DEM SHANNON-INTERVIEW VOM 2. NOVEMBER 1989.

Horgan: Als Sie anfingen, sich mit Informationstheorie zu beschäftigen, hatten Sie ein bestimmtes Ziel vor Augen?

Shannon: Mein erster Gedanke war: Wie kann man Übertragungen in einem lauten Kanal am besten weiterleiten, so etwas. Diese Art von einem spezifischen Problem, wo man von ihnen in einem Telegraphensystem oder Telefonsystem denken. Aber wenn ich darüber nachdenke, fangen Sie an, alle breiteren Anwendungen in Ihrem Kopf zu verallgemeinern. Also dachte ich fast die ganze Zeit auch an sie. Ich würde die Dinge oft in Bezug auf einen sehr vereinfachten Kanal formulieren. Ja oder Nein oder so ähnlich. Also hatte ich all diese Gefühle der Allgemeinheit sehr früh.Horgan: Ich habe gelesen, dass John Von Neumann vorgeschlagen hat, das Wort „Entropie“ als Informationsmaß zu verwenden, weil niemand Entropie versteht und man so Argumente über seine Theorie gewinnen kann.

Shannon: Es klingt wie die Art von Bemerkung, die ich als Witz hätte machen können … Grob gesagt, die Menge an Informationen ist, wie viel Chaos im System herrscht. Aber die Mathematik kommt sozusagen richtig heraus. Die durch die Entropie gemessene Informationsmenge bestimmt, wie viel Kapazität im Kanal verbleiben soll.

Horgan: Waren Sie überrascht, als die Leute versuchten, das Nervensystem mithilfe der Informationstheorie zu analysieren?

Shannon: Das ist nicht so seltsam, wenn man bedenkt, dass das Nervensystem ein komplexes Kommunikationssystem ist, das Informationen auf komplizierte Weise verarbeitet … Hauptsächlich habe ich darüber geschrieben, von einem Punkt zum anderen zu kommunizieren, aber ich habe auch viel Zeit damit verbracht, Informationen von einer Form in eine andere zu transformieren und Informationen auf komplizierte Weise zu kombinieren, was das Gehirn und die Computer jetzt tun. All diese Dinge sind also eine Art Verallgemeinerung der Informationstheorie, bei der es darum geht, ihre Form auf die eine oder andere Weise zu ändern und mit anderen zu kombinieren, anstatt sie von einem Ort zum anderen zu bringen. Also, ja, all diese Dinge sehe ich als eine Art Erweiterung der Informationstheorie. Vielleicht sollte es nicht die Informationstheorie genannt werden. Vielleicht sollte es „Transformation von Informationen“ oder so ähnlich genannt werden.Horgan: Scientific American hatte 1972 eine Sonderausgabe über Kommunikation. John Pierce sagte im einleitenden Artikel, dass Ihre Arbeit um Bedeutung erweitert werden könnte .

Shannon: Bedeutung ist ziemlich schwer in den Griff zu bekommen … In Mathematik und Physik und Naturwissenschaften und so weiter haben Dinge eine Bedeutung, wie sie mit der Außenwelt zusammenhängen. Aber normalerweise haben sie es mit sehr messbaren Mengen zu tun, während der größte Teil unseres Gesprächs zwischen Menschen nicht so messbar ist. Es ist eine sehr breite Sache, die alle Arten von Emotionen in Ihrem Kopf hervorruft, wenn Sie die Worte hören. Ich glaube also nicht, dass es so einfach ist, das in einer mathematischen Form zu erfassen.

Horgan: Die Leute haben mir erzählt, dass Sie Ende der 1950er Jahre die Informationstheorie satt hatten.

Shannon: Es ist nicht so, dass ich es satt hätte. Es ist, dass ich an einer anderen Sache gearbeitet habe… Ich habe mit Maschinen herumgespielt, um Berechnungen durchzuführen. Das war mehr von meinem Interesse als die Informationstheorie selbst. Die Intelligent-Machine-Idee.

Horgan: Befürchten Sie, dass Maschinen einige unserer Funktionen übernehmen werden?

Shannon: Die Maschinen könnten in der Lage sein, viele Probleme zu lösen, über die wir uns gewundert haben, und unser niedriges Arbeitsproblem zu reduzieren … Wenn Sie über die Übernahme der Maschinen sprechen, mache ich mir darüber keine Sorgen. Ich denke, solange wir sie bauen, werden sie nicht übernehmen.

Horgan: Haben Sie bei Bell Labs jemals Druck verspürt, an etwas Praktischerem zu arbeiten?

Shannon: Nein. Ich habe meine Interessen immer verfolgt, ohne Rücksicht auf finanziellen Wert oder Wert für die Welt. Ich war mehr daran interessiert, ob ein Problem aufregend ist, als was es tun wird. … Ich habe viel Zeit mit völlig nutzlosen Dingen verbracht.

Weiterführende Literatur:

Kann die integrierte Informationstheorie das Bewusstsein erklären?

Warum Informationen nicht die Grundlage der Realität sein können

Poetisches Meisterwerk von Claude Shannon, Vater der Informationstheorie

Bayes ‚Theorem: Was ist die große Sache?