情報理論の創始者であるClaude Elwood Shannonよりも大きな名声比を持つ科学者はいません。 2001年に84歳で死去したシャノンは、ジミー-ソニとロブ-グッドマンによる素晴らしい新しい伝記”A Mind at Play:How Claude Shannon Invented The Information Age”で彼の期限を迎えている。 彼らはちょうどシャノンの妻ベティについての偉大なサイエンティフィックアメリカンのコラムを投稿しました。”私は1989年にシャノンを訪問した後、1990年にサイエンティフィック-アメリカンでクロードをプロフ 以下は、そのプロフィールの編集版であり、その後に私たちのインタビューからの編集された抜粋が続きます。 Shannonの詩的な傑作、「Rubik Cubicsのルーブリック」、および情報理論に関連する他の投稿へのリンクについては、さらに読むことを参照してください。 -ジョン*ホーガン
クロード*シャノンはまだ座ることができませんでした。 私たちはボストンの北にある彼の家のリビングルームに座っていましたエントロピーハウスと呼ばれる建物で彼がどのように情報理論を思いついたかを思い出してもらおうとしていました シャノンはボーイッシュな73歳で、恥ずかしがり屋の笑顔と雪の髪で、彼の過去に住むのに疲れていました。 彼は私に彼のガジェットを見せたかった。
彼の妻、ベティの穏やかな抗議の上に、彼は彼の椅子から飛び降り、別の部屋に姿を消した。 私が彼に追いついたとき、彼は誇らしげに私に彼の七台のチェスマシン、ガソリン動力のポゴスティック、百刃のジャックナイフ、二人乗りの一輪車と数え切れないほどの他の驚異を示しました。
彼の個人的な作品のいくつか-そのような迷路をナビゲートする機械的なマウス、ジャグリングW.C.など フィールドマネキンとローマ数字で計算するコンピュータは、ほこりや荒廃していました。 しかし、シャノンはクリスマスの朝に10歳のように彼のおもちゃに喜んでいたようでした。これは、1948年にベル研究所で、”コミュニケーションの数学的理論、”デジタル時代のマグナカルタを書いた男ですか？ 誰の仕事ロバートラッキー、ATの研究のエグゼクティブディレクター&Tベル研究所は、技術思想の年代記で最大の”と呼ばれていますか？”
はい。 情報理論の発明者はまた、ロケット動力のフリスビーとジャグリングの理論を発明し、彼はまだホールを通って一輪車に乗っている間ジャグリングのためにベル研究所で記憶されています。 “私はいつも財政的価値や世界への価値をあまり考慮せずに私の利益を追求してきました”とシャノンは陽気に言いました。 “私は全く役に立たないものに多くの時間を費やしてきました。”
数学的抽象化と小道具でシャノンの喜びは、彼が1916年に生まれたミシガン州での彼の子供時代に浮上した。 彼はラジオキットと建設セットで遊んで、数学的なパズルを解くことを楽しんだ。 “私はいつも、少年としても、暗号とその種のものに興味がありました”とShannon氏は言いました。 彼の好きな物語の一つは、神秘的な暗号化された地図についてのエドガー-アラン-ポーの謎である”ゴールドバグ”でした。
ミシガン大学の学部として、シャノンは数学と電気工学を専攻しました。 MITの修士論文では、イギリスの数学者ジョージ・ブールが発明した代数（「XまたはYが発生するがZが発生しない場合、Qの結果」などの概念を扱う）が、電子回路のスイッチとリレーの働きをどのように表すことができるかを示した。
この論文の意味は深遠でした：回路設計は、退屈な試行錯誤ではなく、構築される前に数学的にテストすることができました。 エンジニアは現在、ブール代数の助けを借りて、コンピュータのハードウェアとソフトウェア、電話網、その他の複雑なシステ （”私はいつもその言葉を愛してきました、Boolean、”シャノンは言った。）
MITで博士号を取得した後、シャノンは1941年にベル研究所に行きました。 第二次世界大戦中、彼は通信の彼の理論に影響を与えた暗号化システムの開発を支援しました。 コードが詮索好きな目から情報を保護するのと同じように、彼は実現したので、彼らは干渉の静的および他の形態からそれを保護することができま コードは、情報をより効率的にパッケージ化するためにも使用できます。
“私の最初の考えは、”シャノンは言った、”あなたは最高のノイズの多いチャネル上の情報伝送を改善する方法でした。 これは、電信システムや電話システムについて考えている特定の問題でした。 しかし、あなたがそれについて考えるようになると、あなたはこれらのより広範なアプリケーションすべてについて頭の中で一般化し始めます。”
彼の1948年の論文の中心は、彼の情報の定義でした。 意味についての質問を避けて（彼の理論は”対処することができず、対処することを意図していなかった”）、彼は情報が測定可能な商品であることを実証した。 大雑把に言えば、メッセージの情報は、そのありそうもないこと、または観察者を驚かせる能力に比例します。シャノンはまた、熱力学では、システムのランダム性、または”シャッフル”を意味するエントロピーに関連した情報をいくつかの物理学者が言うように。
シャノンはまた、エントロピーに関連した情報を持っています。 Shannonは、Bell Labsの同僚がバイナリ単位または「ビット」と呼んだ情報の基本単位を、2つの状態のいずれかを表すメッセージとして定義しました。 古いゲーム”Twenty Questions”のように、多くの情報を数ビットでエンコードすることができます。
Shannonは、任意の通信チャネルが情報を確実に送信するための最大容量を有することを示した。 実際、彼は巧妙なコーディングによってこの最大値に近づくことはできますが、決してそれに達することはできないことを示しました。 最大値はシャノン限界として知られるようになった。シャノンの1948年の論文は、シャノン限界を計算する方法を確立しましたが、それに近づく方法は確立しませんでした。 シャノンと他の人は後にその挑戦を引き受けた。 最初のステップは、メッセージから冗長性を排除することでした。 簡潔なロミオが単なる”i lv u”で彼のメッセージを得ることができるのと同じように、良いコードは最初に情報を最も効率的な形式に圧縮します。 いわゆる誤り訂正コードは、除去されたメッセージがノイズによって隠されないようにするのに十分な冗長性を追加します。
シャノンのアイデアは、すぐに影響を与えるにはあまりにも先見性がありました。 1970年代初頭まで、高速集積回路やその他の進歩により、エンジニアは情報理論を完全に活用することができませんでした。 今日、シャノンの洞察は、情報をデジタル形式で保存、処理、または送信する事実上すべての技術を形作るのに役立ちます。量子力学や相対性理論のように、情報理論はそれが意図されていたものを超えて観客を魅了してきました。
物理学、言語学、心理学、経済学、生物学、さらには音楽や芸術の研究者は、彼らの分野で情報理論を適用しようとしました。 1958年、技術ジャーナルはこの傾向を嘆いて、”情報理論、光合成、宗教”という論説を出版した。
シャノンによると、生物学的システムに情報理論を適用することはそれほどこじつけではありません。 「神経系は複雑な通信システムであり、複雑な方法で情報を処理します」と彼は言いました。 彼は機械が”考える”ことができると思ったかどうか尋ねられたとき、彼は答えた：”あなたは賭けます。 私は機械であり、あなたは機械であり、私たちは二人とも考えていますよね？”
1950年に彼はチェスをする機械についてScientific Americanのための記事を書き、彼は人工知能の分野に魅了され続けています。 コンピュータは、生の情報処理の面ではまだ”まだ人間のレベルまでではありません”。 機械の人間の視覚を単に複製することは手ごわい仕事に残る。 しかし、”数十年後には機械が人間を超えていることは確かに私にはもっともらしいです。”
近年では、シャノンの偉大な強迫観念はジャグリングされています。 彼はいくつかのジャグリングマシンを構築し、ジャグリングの理論を考案しました：Bがボールの数に等しい場合、hは手の数、Dは各ボールが手に費やす時間、Fは各ボールの飛行時間、Eは各手が空である時間、B/H=(D+F)/(D+E)。 （残念ながら、理論はシャノンが一度に四つ以上のボールを両立させるのを助けることができませんでした。)
1956年にMitのためにベル研究所を去った後、シャノンは情報理論についてほとんど出版しなかった。 一部の元ベルの同僚は、彼が作成したフィールドの疲れていることを示唆しました。 シャノンはその主張を否定した。 彼は人工知能のような他のトピックに興味を持っていた、と彼は言った。 彼は情報理論に取り組んで続けたが、彼は出版の価値がない彼の結果のほとんどを考慮した。 「ほとんどの偉大な数学者は、若い頃に彼らの最高の仕事をしてきました」と彼は観察しました。数十年前、シャノンは情報理論会議に出席するのをやめました。
同僚は、彼が重度の舞台恐怖に苦しんだと述べました。 しかし、1985年に彼はイギリスのブライトンでの会議で予期せぬ外観を作り、会議の主催者は夕食の宴会で話すように彼を説得しました。 彼は数分間話した。 その後、彼は観客を退屈させていた恐れて、彼は彼のポケットから三つのボールを引き出し、ジャグリングを開始しました。 観客は歓声を上げ、サインを求めて並んだ。 あるエンジニアは、”ニュートンが物理学の会議に現れたかのようだった。”
シャノンのインタビュー、NOVEMBER2、1989からの抜粋。
Horgan：情報理論に取り組み始めたとき、あなたは具体的な目標を念頭に置いていましたか？
Horgan：あなたが情報理論に取り組み始めたとき、あなシャノン：私が最初に考えたのは、騒々しいチャンネルでどのように送信を転送するのが最善かということでした。 あなたが電信システムや電話システムでそれらを考える特定の問題のようなもの。 しかし、私がそれについて考え始めると、あなたはより広範なアプリケーションのすべてをあなたの頭の中で一般化し始めます。 だから、ほとんどすべての時間、私は同様にそれらについて考えていました。 私はしばしば非常に単純化されたチャネルの面で物事をフレーズだろう。 はい、いいえ、またはそのような何か。 だから私は非常に早い段階で一般性のすべてのこれらの感情を持っていました。Horgan：John Von Neumannは、誰もエントロピーを理解していないので、あなたの理論についての議論に勝つことができるので、情報の尺度として「エントロピー」という言葉を使シャノン：それは私が冗談として作ったかもしれない発言のように聞こえる…粗雑に言えば、情報の量は、システム内にどのくらいの混乱があるかです。 しかし、数学は、いわば、右出てきます。 エントロピーによって測定される情報の量は、チャネルにどのくらいの容量を残すかを決定します。Horgan：人々が神経系を分析するために情報理論を使用しようとしたとき、あなたは驚きましたか？
シャノン
シャノン
シャノンp: 神経系が複雑なコミュニケーションシステムであり、情報を複雑に処理するというケースを作ってもそれほど奇妙ではありません…私が書いたことは主にある点から別の点へのコミュニケーションでしたが、私はまた、ある形から別の形への情報の変換に多くの時間を費やし、脳とコンピュータが今行う複雑な方法で情報を組み合わせました。 これらのことはすべて情報理論の一般化のようなものであり、ある場所から別の場所にそれを得るのとは対照的に、その形を何らかの形で変え、他の人と結合するように働くことについて話しています。 だから、はい、私は情報理論の広がりのようなものとして見ているすべてのもの。 多分それは情報理論と呼ばれるべきではありません。 多分それは”情報の変換”またはそのようなものと呼ばれるべきです。
Horgan:Scientific Americanは1972年に通信に関する特別な問題を抱えていました。 ジョン-ピアースは入門記事で、あなたの仕事は意味を含むように拡張することができると述べました。
シャノン：意味は、数学や物理学、科学などでは、物事が外の世界とどのように関連しているかについて、意味を持っています。 しかし、通常、彼らは非常に測定可能な量を扱いますが、人間の間の私たちの話のほとんどはそれほど測定可能ではありません。 それはあなたが言葉を聞いたときにあなたの頭の中で感情のすべての種類をもたらし、非常に広いものです。 だから、私はそれを数学的な形で包含するのはそれほど簡単ではないと思います。Horgan：人々は1950年代後半までに、あなたは情報理論に疲れたと私に言ってきました。シャノン：それは私がそれに疲れていたということではありません。
それは私が別のことに取り組んでいたということです。.. 私は計算を行うためにマシンで遊んでいました。 それは情報理論そのものよりも私の関心の多くでした。 理性的機械考え。Horgan：マシンが私たちの機能の一部を引き継ぐことを心配していますか？シャノン
シャノン
シャノンp: 機械は私達が約疑問に思った多くの問題を解決し、私達の卑劣な労働問題を減らすことができるかもしれない…引き継ぐ機械について話していれば、私はそれについて実際に心配していない。 私たちがそれらを構築する限り、彼らは引き継ぐことはないと思います。
Horgan：ベル研究所で、より実用的なものに取り組むように圧力を感じたことはありましたか？
Horgan：Bell Labsでは、より実用的なものに取り組むように
シャノン：いいえ。 私はいつも財政的価値や世界への価値をあまり考慮せずに私の利益を追求してきました。 私は問題がそれが何をするかよりも刺激的であるかどうかにもっと興味がありました。 …私は全く役に立たないものに多くの時間を費やしてきました。
さらに読む：
統合された情報理論は意識を説明することができますか？
なぜ情報が現実の基礎にならないのか
クロード-シャノン、情報理論の父の詩的な傑作
ベイズの定理：大したことは何ですか？