No 과학자는 영향을 명성 비율보다 크로 Elwood Shannon,창조자의 정보 이론이다. 섀넌에서 죽은 사람,2001 년의 나이에 84,그 때문에 대단한 새로운 전기 마음에서 플레이:는 방법을 클로드 샤논 발명은 정보화 시대,의 지미 Soni Rob Goodman. 그들은 방금 Shannon 의 아내 Betty 에 관한 훌륭한 Scientific American 칼럼을 게시했는데,그들은”알려지지 않은 수학적 천재라고 부릅니다.”저는 1989 년 Shannons 를 방문한 후 1990 년 Scientific American 에서 Claude 를 프로파일 링했습니다. 아래는 그 프로필의 편집 된 버전이며,우리 인터뷰에서 편집 된 발췌문이 뒤 따릅니다. Shannon 의 시적 걸작 인”Rubik Cubics 의 루 브릭”및 정보 이론과 관련된 기타 게시물에 대한 링크는 추가 읽기를 참조하십시오. -John Horgan

Claude Shannon 은 여전히 앉아있을 수 없었습니다. 우리는 앉아있는 거실에서의 자신의 집에서 북쪽으로 보스턴의 건물이라는 엔트로피하우스,하려고 했던 그를 기억하는 그는 어떻게 나왔으로 정보를 이론이다. 수줍은 미소와 눈 덮인 머리를 가진 소년 같은 73 인 섀넌은 과거에 사는 것에 지쳤습니다. 그는 나에게 그의 가제트를 보여주고 싶었다.

그의 아내 베티의 온화한 시위로 그는 의자에서 뛰어 나와 다른 방으로 사라졌습니다. 을 발견했을 때 그와 함께,그는 자랑스럽게 보여주었는 나 자신의 일곱 체스-재생기,가솔린 pogo-지팡이,백 bladed 서브마린,두 개의 뿌리 외발 자전거와 다른 수많은 놀라운 일.

미로를 탐색하는 기계식 마우스,저글링 W.C 와 같은 그의 개인적인 창조물 중 일부. 필드 마네킹과 로마 숫자로 계산 컴퓨터-먼지 및 파손에 있었다. 그러나 섀넌은 크리스마스 아침에 10 살짜리 아이처럼 장난감을 가지고 기뻐하는 것처럼 보였습니다.

1948 년 Bell Labs 에서 디지털 시대의 마그나 카르타(Magna Carta)라는”의사 소통의 수학 이론”을 쓴 사람입니까? 그의 작업 로버트 운사의 연구에서&T Bell 연구소는 최고의”연대기에서의 기술적 생각했는가?”

예. 발명자의 정보이론 또한 발명이 로켓을 강화 플라스틱 원반과 이론의 하고,그는 아직도 기억에서 벨 연구소에 대한 저글링을 타고있는 동안 외발 자전거를 통해서 홀이 있습니다. 섀넌은 유쾌하게 말했다.”나는 항상 재정적 가치 나 세계에 대한 가치에 대해별로 신경 쓰지 않고 내 이익을 추구했다. “나는 완전히 쓸모없는 것들에 많은 시간을 보냈다.”

shannon 의 수학적 추상화와 gadgetry 에 대한 기쁨은 1916 년에 태어난 미시간에서 어린 시절에 나타났습니다. 그는 라디오 키트와 창설자 세트로 연주하고 수학 퍼즐을 푸는 것을 즐겼습니다. 섀넌은”나는 소년 일지라도 암호화와 그런 종류의 것들에 항상 관심이있었습니다. 그의 가장 좋아하는 이야기 중 하나는 신비한 암호화 된지도에 대한 Edgar Allan Poe 미스터리 인”The Gold Bug”였습니다.

미시간 대학의 학부로서 Shannon 은 수학 및 전기 공학을 전공했습니다. 에서 자신의 MIT 석사 논문,그는 대수에 의해 발명이자 조지 Boole—거래와 같은 개념으로”X 의 경우는 Y 발생하지 않 Z,다음 Q 결과”—수 있습을 나타냅 동작 스위치 및 릴레이에서 전자 회로입니다.

의미의 종이 되었 깊은 회로 디자인이 될 수 있는 테스트를 수학적으로 전에 그들은 오히려 이를 통해 지루한 시험과 오류가 있습니다. 엔지니어들이 이제 정기적으로 디자인의 컴퓨터 하드웨어 및 소프트웨어,전화,네트워크와 다른 복잡한 시스템으로의 도움 Boolean 대해 자세히 알아보십시오. (“나는 항상 그 단어 인 부울을 좋아했습니다.”섀넌이 말했다.)

MIT 에서 박사 학위를 취득한 후 Shannon 은 1941 년 Bell Laboratories 에갔습니다. 제 2 차 세계 대전 중 그는 자신의 의사 소통 이론에 영감을 불어 넣은 암호화 시스템을 개발하는 데 도움을주었습니다. 로 코드에서 정보를 보호하기 위해 눈을 캐고,그는 것을 깨달았다,그래서 그들은 쉴드에서 정체되고 다른 형태의 간섭. 코드를 사용하여 정보를보다 효율적으로 패키징 할 수도 있습니다.섀넌은 시끄러운 채널을 통해 정보 전송을 가장 잘 향상시키는 방법이라고 말했습니다. 이것은 전신 시스템이나 전화 시스템에 대해 생각하고있는 특정 문제였습니다. 그러나 당신이 그것에 대해 생각하게되면,당신은이 모든 광범위한 응용에 대해 당신의 머리 속에서 일반화하기 시작합니다.”

그의 1948 년 논문의 중심은 정보에 대한 그의 정의였습니다. 을 피하는 질문들에 대한 의미를(는 그의 이론을”수는 없고 의도되지 않았습니다 주소”),그는 증명하는 정보는 측정 가능한 상품입니다. 대략적으로 말하자면,메시지의 정보는 황당한 것,즉 관찰자를 놀라게 할 수있는 능력에 비례합니다.

Shannon 은 또한 열역학에서 시스템의 무작위성 또는 일부 물리학 자들이 말한 것처럼”셔플 링”을 나타내는 엔트로피와 관련된 정보. Shannon 정의된 기본적인 단위의 정보는 벨 연구소 동료에게 불리는 바이너리 유닛 또는”비트”-로 메시지를 나타내는 다음 두 가지 상태 중 하나입니다. 하코딩 많은 정보에서 몇 가지 비트로에서 기존의 게임”Twenty 질문에”하나 신속하게 제로에 올바른 답을 통해 솜씨 좋은 질문이 있습니다.

Shannon 은 주어진 통신 채널이 정보를 안정적으로 전송할 수있는 최대 용량을 가지고 있음을 보여주었습니다. 실제로 그는 영리한 코딩을 통해이 최대에 접근 할 수는 있지만 결코 도달 할 수 없다는 것을 보여주었습니다. 최대 값은 섀넌 제한으로 알려지게되었습니다.

Shannon 의 1948 년 논문은 Shannon 한계를 계산하는 방법을 확립했지만 그것에 접근하는 방법은 아닙니다. 섀넌과 다른 사람들은 나중에 그 도전을 시작했습니다. 첫 번째 단계는 메시지에서 중복성을 제거하는 것이 었습니다. 간결한 로미오가 단순한”i lv u”로 그의 메시지를 얻을 수있는 것처럼,좋은 코드는 먼저 정보를 가장 효율적인 형태로 압축합니다. 소위 오류 수정 코드는 제거 된 다운 메시지가 노이즈에 의해 가려지지 않도록 충분한 중복성을 추가합니다.

Shannon 의 아이디어는 즉각적인 영향을 미치기에는 너무 선견지명이었습니다. 1970 년대 초반까지는 고속 집적 회로 및 기타 발전으로 엔지니어가 정보 이론을 완전히 활용할 수있게되었습니다. 오늘날 섀넌의 통찰력은 정보를 디지털 형태로 저장,처리 또는 전송하는 거의 모든 기술을 형성하는 데 도움이됩니다.

양자 역학과 상대성 이론과 마찬가지로 정보 이론은 그것이 의도 된 것 이상으로 관객을 사로 잡았습니다. 연구팀은 물리학,언어학,심리학,경제학,생물학,심지어 음악과 예술을 모색하고 적용한 정보를 이론에서 자신의 분야이다. 1958 년 기술 저널은”정보 이론,광합성 및 종교”라는 사설을 발표하여 이러한 추세를 고갈 시켰습니다.

Shannon 에 따르면 생물학적 시스템에 정보 이론을 적용하는 것은 그렇게 멀리 가져온 것이 아닙니다. 그는”신경계는 복잡한 통신 시스템이며 복잡한 방식으로 정보를 처리한다”고 말했다. 기계가”생각할 수있다”고 생각했는지 물었을 때 그는 대답했다:”당신은 내기를했습니다. 나는 기계이고 당신은 기계이고,우리 둘 다 생각하지 않습니까?”

1950 년 그는 기사를 썼에 대한 과학 미국에서 체스-재생 기계,그리고 그는 남에 매료된 분야의 인공 지능. 컴퓨터는 원시 정보 처리 측면에서 여전히”아직 인간 수준까지는 아닙니다”. 단순히 기계에 인간의 비전을 복제하는 것은 강력한 작업으로 남아 있습니다. 그러나”수십 년 안에 기계가 인간을 뛰어 넘을 것이라는 것은 나에게 확실히 그럴듯하다.”

최근 몇 년 동안 Shannon 의 위대한 강박 관념은 저글링을하고 있습니다. 그가 내장된 몇 가지 저글링 기계와 고안의 이론 곡예를 하는 경우:B 의 수와 같은 공 H 숫자의 손 D 시간을 각 볼에 보낸 손 F 의 시간의 비행을 각 공고,전자는 시간이 각각의 손은 그 B/H=(D+F)/(D+E). (불행히도,이론은 섀넌이 한 번에 4 개 이상의 공을 저글링하는 것을 도울 수 없었습니다.)

MIT 를 위해 1956 년 Bell Labs 를 떠난 후 Shannon 은 정보 이론에 대해 거의 발표하지 않았습니다. 일부 전직 벨 동료들은 그가 만든 분야에 지쳤다 고 제안했다. 섀넌은 그 주장을 부인했다. 그는 인공 지능과 같은 다른 주제에 관심을 갖게되었다고 그는 말했다. 그는 정보 이론에 대한 작업을 계속했지만 대부분의 결과를 출판 할 가치가 없다고 생각했습니다. “대부분의 위대한 수학자들은 어렸을 때 가장 훌륭한 일을 해왔다”고 그는 관찰했다.

수십 년 전에 Shannon 은 정보 이론 회의 참석을 중단했습니다. 동료들은 심각한 무대 공포증으로 고통 받았다고 말했다. 하지만 그는 1985 년 예기치 않은 모양 회의에서 브라이턴에,영국,그리고 이 회의의 주최자는 그를 설득에서 말하는 저녁 식사를 보고 이거다 싶었습니다. 그는 몇 분 동안 이야기했다. 그런 다음 청중을 지루하게 두려워하여 주머니에서 3 개의 공을 꺼내 저글링을 시작했습니다. 청중은 환호하고 사인을 위해 줄을 섰다. 한 엔지니어는”마치 뉴턴이 물리학 회의에서 나타났던 것처럼 회상했다.”

1989 년 11 월 2 일 섀넌 인터뷰에서 발췌.

Horgan:정보 이론 작업을 시작했을 때 구체적인 목표를 염두에 두었습니까?

Shannon:내가 첫째로 그것에 대해 생각했다:당신은 어떻게 최고 앞으로 전송에 소 채널입니다. 당신이 전신 시스템이나 전화 시스템에서 그들을 생각하는 특정 문제의 종류. 그러나 내가 그것에 대해 생각하기 시작할 때,당신은 당신의 머리 속에서 더 넓은 응용 프로그램을 모두 일반화하기 시작합니다. 그래서 거의 모든 시간에,나는 그들에 대해서도 생각하고 있었다. 나는 종종 매우 단순화 된 채널의 관점에서 일을 문구 것입니다. 예 또는 아니오 또는 그런 것. 그래서 나는이 모든 일반성에 대한 감정을 아주 일찍 가지고있었습니다.

horgan 는:내가 읽고 John Von Neumann 제안 당신은 단어를 사용한다”엔트로피”의 측정으로는 정보기 때문에 없는 엔트로피를 이해하고 이길 수 있도록 인수에 대한 이론이다.

Shannon:그것은 소리와 같은 종류의 발언은 제가 만들어 농담으로…조잡하게 말하기,정보의 양이 얼마나 많은 혼란은 거기에서 시스템입니다. 그러나 수학은 말하자면,바로 나온다. 엔트로피에 의해 측정 된 정보의 양은 채널에 얼마나 많은 용량을 남겨 둘지를 결정합니다.

Horgan:사람들이 신경계를 분석하기 위해 정보 이론을 사용하려고했을 때 놀랐습니까?

섀넌: 는 그렇지 않은 이상하는 경우에 당신은 경우에는 신경계가 복잡한 통신 시스템,프로세스 정보에서 복잡한 방법으로 대부분 무엇인에 대해 썼었 통신에서 한 점이 다른지만,나는 또한 많은 시간을 변화시키는 정보를 하나의 형태에서 다른 결합한 정보에서 복잡한 방법으로,이는 두뇌와 컴퓨터입니다. 그래서 이 모든 것들을 일종의 일반화의 정보이론,당신은 이야기에 대한 변경하기 위해 노력하고 그 형태 또는 다른 방법 중 하나 결합 다른 사람들과는 달리,점점 그것은 한 장소에서 다른 장소. 그래서,예,그 모든 것들은 내가 정보 이론의 확대의 일종으로 본다. 어쩌면 그것은 정보 이론이라고 불려서는 안됩니다. 어쩌면 그것은”정보의 변형”또는 그와 같은 것으로 불려야 할 것입니다.

Horgan:Scientific American 은 1972 년에 통신에 관한 특별한 문제를 가지고있었습니다. 존 피어스(John Pierce)는 입문 기사에서 당신의 작품이 의미를 포함하도록 확장 될 수 있다고 말했다.

Shannon:의미는 매우 어려운 일을…에서 수학 및 물리학 그리고 과학 그 일을 하는 의미에 대해,그들이 어떻게 관련이 있습니다. 그러나 일반적으로 다루는 그들은 매우 측정 가능 수량는 반면,대부분의 우리의 이야기 사이의 인간은 그렇지 않 측정합니다. 그것은 당신이 그 말을들을 때 당신의 머리 속에 모든 종류의 감정을 불러 일으키는 매우 광범위한 것입니다. 그래서,나는 수학적 형태로 그 모든 것을 포괄하는 것이 쉽다고 생각하지 않습니다.

Horgan:사람들은 1950 년대 후반까지 정보 이론에 지쳤다 고 말했습니다.

섀넌:그것은 내가 그것에 지쳤다는 것이 아닙니다. 그것은 내가 다른 일을 작업 한 것입니다… 나는 계산을하기 위해 기계를 가지고 놀고 있었다. 그것은 정보 이론 그 자체보다 내 관심사였습니다. 지능형 기계 아이디어.

Horgan:기계가 우리의 기능 중 일부를 인수 할 것이라고 걱정합니까?

섀넌: 기계가 우리가 궁금해했던 많은 문제를 해결하고 천한 노동 문제를 줄일 수 있을지도 모릅니다… 나는 우리가 그들을 짓는 한,그들은 인수하지 않을 것이라고 생각합니다.

Horgan:Bell Labs 에서 좀 더 실용적인 것을 연구하라는 압박감을 느낀 적이 있습니까?

섀넌:아니. 나는 항상 세계에 대한 재정적 가치 나 가치를 많이 고려하지 않고 내 이익을 추구했습니다. 나는 문제가 무엇을 할 것인지보다 흥미 진진한지에 더 관심이있었습니다. …나는 완전히 쓸모없는 것들에 많은 시간을 보냈습니다.

추가 읽기:

할 수 있는 통합된 정보를 이론을 설명 의식은?

한 정보를 얻을 수 없습 기초의 현실

시작의 클로드 샤논의 정보이론

베이즈의 정리:큰 문제는 무엇인가?