żaden naukowiec nie ma większego współczynnika wpływu na sławę niż Claude Elwood Shannon, twórca teorii informacji. Shannon, który zmarł w 2001 roku w wieku 84 lat, dostaje swoją należność w wspaniałej nowej biografii, umysł w grze: jak Claude Shannon wynalazł Wiek informacji, Jimmy Soni i Rob Goodman. Właśnie opublikowali wspaniałą naukową kolumnę o żonie Shannona, Betty, którą nazywają ” niedocenianym geniuszem matematycznym.”Profilowałem Claude’ a w Scientific American w 1990 roku po wizycie w Shannons w 1989 roku. Poniżej zredagowana wersja tego profilu, a następnie zredagowane fragmenty naszego wywiadu. Czytaj dalej linki do poetyckiego arcydzieła Shannona, „rubryka o Kubiku Rubika” i innych postów związanych z teorią informacji. – John Horgan

Claude Shannon nie mógł usiedzieć w miejscu. Siedzieliśmy w salonie jego domu na północ od Bostonu, w budynku zwanym Entropy House, i starałem się, żeby przypomniał sobie, jak wymyślił teorię informacji. Shannon, która jest chłopięcą 73, z nieśmiałym uśmiechem i śnieżnymi włosami, był zmęczony rozmyślaniem o swojej przeszłości. Chciał mi pokazać swoje gadżety.

Po łagodnych protestach swojej żony, Betty, skoczył z krzesła i zniknął w innym pokoju. Kiedy go dogoniłem, z dumą pokazał mi swoje siedem maszyn do gry w szachy, napędzany benzyną Pogo-kij, scyzoryk ze stoma ostrzami, dwumiejscowy monocykl i niezliczone inne cuda.

niektóre jego osobiste kreacje. np. mechaniczna mysz poruszająca się po labiryncie, żonglerka W. C. Pola i komputer, który wylicza cyframi rzymskimi, były zakurzone i zniszczone. Ale Shannon wydawał się zachwycony swoimi zabawkami jak 10-latek w świąteczny poranek.

czy to ten człowiek, który w Bell Labs w 1948 roku napisał „matematyczną teorię komunikacji”, magna Cartę ery cyfrowej? Czyje dzieło Robert Lucky, dyrektor wykonawczy ds. badań w AT&T Bell Laboratories, nazwał największym „w annałach myśli technologicznej?”

tak. Wynalazca teorii informacji wynalazł również frisbee napędzane rakietami i teorię żonglerki, a on jest nadal pamiętany w Bell Labs do żonglowania podczas jazdy na monocyklu przez korytarze. „Zawsze realizowałem swoje interesy bez większego szacunku dla wartości finansowej lub wartości dla świata” – powiedziała radośnie Shannon. „Spędziłem dużo czasu nad zupełnie bezużytecznymi rzeczami.”

zachwyt Shannona w matematycznych abstrakcjach i gadżetach pojawił się podczas jego dzieciństwa w Michigan, gdzie urodził się w 1916 roku. Bawił się zestawami radiowymi i zestawami erekcyjnymi, lubił rozwiązywać zagadki matematyczne. „Zawsze byłem zainteresowany, nawet jako chłopiec, w kryptografii i rzeczy tego rodzaju,” Shannon powiedział. Jedną z jego ulubionych historii była „Złoty robak”, tajemnica Edgara Allana Poe o tajemniczej zaszyfrowanej mapie.

jako licencjat na University of Michigan, Shannon studiował matematykę i inżynierię elektryczną. W swojej pracy magisterskiej mit pokazał, jak algebra wynaleziona przez brytyjskiego matematyka George 'a Boole’ a—która zajmuje się takimi pojęciami jak „jeśli dzieje się X lub Y, ale nie Z, To wyniki Q”—może reprezentować działanie przełączników i przekaźników w obwodach elektronicznych.

implikacje artykułu były głębokie: projekty obwodów można było przetestować matematycznie, zanim zostały zbudowane, a nie poprzez żmudne próby i błędy. Obecnie inżynierowie rutynowo projektują sprzęt komputerowy i oprogramowanie, sieci telefoniczne i inne złożone systemy za pomocą algebry Boolowskiej. („Zawsze kochałem to słowo, Boolean”, powiedziała Shannon.)

Po uzyskaniu doktoratu na MIT, Shannon udał się do Bell Laboratories w 1941 roku. W czasie ii Wojny Światowej przyczynił się do rozwoju systemów szyfrowania, które zainspirowały jego teorię komunikacji. Tak jak kody chronią informacje przed wzrokiem ciekawskich, zdał sobie sprawę, że mogą one chronić je przed statycznymi i innymi formami zakłóceń. Kody mogłyby być również wykorzystane do skuteczniejszego pakowania informacji.

„moim pierwszym pomysłem ,” powiedział Shannon, „było to, jak najlepiej poprawić transmisję informacji przez hałaśliwy kanał. To był specyficzny problem, kiedy myślisz o systemie telegraficznym lub telefonicznym. Ale kiedy o tym pomyślicie, zaczniecie uogólniać w głowie o tych wszystkich szerszych zastosowaniach.”

centralnym punktem jego pracy z 1948 roku była jego definicja informacji. Pomijając pytania o sens (których jego teoria „nie może i nie miała na celu rozwiązać”), wykazał, że informacja jest towarem mierzalnym. Z grubsza mówiąc, informacja wiadomości jest proporcjonalna do jej nieprawdopodobności – lub jej zdolności do zaskoczenia obserwatora.

Shannon odnosił również informacje do entropii, która w termodynamice oznacza losowość układu, lub „tasowanie”, jak to ujęli niektórzy fizycy. Shannon zdefiniował podstawową jednostkę informacji-którą kolega z Bell Labs nazwał jednostką binarną lub „bitem” – jako wiadomość reprezentującą jeden z dwóch stanów. Można było zakodować wiele informacji w kilku bitach, tak jak w starej grze „dwadzieścia pytań” można było szybko uzyskać poprawną odpowiedź poprzez zręczne zadawanie pytań.

Shannon pokazał, że każdy dany kanał komunikacyjny ma maksymalną zdolność do niezawodnego przesyłania informacji. Właściwie pokazał, że chociaż można osiągnąć to maksimum dzięki sprytnemu kodowaniu, nigdy nie można go osiągnąć. Maksimum stało się znane jako limit Shannona.

praca Shannona z 1948 r.ustaliła, jak obliczyć granicę Shannona, ale nie jak do niej podejść. Shannon i inni podjęli później to wyzwanie. Pierwszym krokiem było wyeliminowanie redundancji z wiadomości. Tak jak lakoniczny Romeo może przekazać swoją wiadomość za pomocą zwykłego „i lv u”, dobry kod najpierw kompresuje informacje do najbardziej efektywnej formy. Tak zwany kod korekcji błędów dodaje wystarczającą redundancję, aby upewnić się, że pozbawiony wiadomości nie jest zasłonięty przez szumy.

pomysły Shannona były zbyt przewidujące, aby miały natychmiastowy wpływ. Dopiero na początku lat 70. szybkie Układy scalone i inne postępy pozwoliły inżynierom w pełni wykorzystać teorię informacji. Dzisiejsze spostrzeżenia Shannon pomagają kształtować praktycznie wszystkie technologie, które przechowują, przetwarzają lub przekazują informacje w formie cyfrowej.

podobnie jak mechanika kwantowa i teoria względności, teoria informacji urzekła odbiorców poza tą, dla której była przeznaczona. Badacze fizyki, lingwistyki, psychologii, ekonomii, biologii, a nawet muzyki i sztuki starali się zastosować teorię informacji w swoich dyscyplinach. W 1958 Czasopismo Techniczne opublikowało artykuł „Information Theory, Photosynthesis, and Religion”, ubolewając nad tym nurtem.

zastosowanie teorii informacji do systemów biologicznych nie jest tak naciągane, według Shannona. „Układ nerwowy jest złożonym systemem komunikacyjnym i przetwarza informacje w skomplikowany sposób” – powiedział. Zapytany, czy myśli, że maszyny mogą „myśleć”, odpowiedział: „jasne. Ja jestem maszyną, a Ty maszyną, i oboje myślimy, prawda?”

w 1950 roku napisał artykuł dla Scientific American o maszynach do gry w szachy i nadal jest zafascynowany dziedziną sztucznej inteligencji. Komputery nadal „nie są jeszcze na poziomie ludzkim” pod względem przetwarzania surowych informacji. Samo powielanie ludzkiego wzroku w maszynie pozostaje ogromnym zadaniem. Ale ” jest dla mnie z pewnością prawdopodobne, że w ciągu kilku dekad maszyny będą poza ludźmi.”

w ostatnich latach wielką obsesją Shannon była żonglerka. Zbudował kilka maszyn do żonglowania i opracował teorię żonglowania: Jeśli B równa się liczbie piłek, h liczba rąk, d czas każdej piłki spędza w dłoni, F Czas lotu każdej piłki i E czas, w którym każda ręka jest pusta, to B/H = (D + F) / (D + E). (Niestety, teoria nie mogła pomóc Shannon żonglować więcej niż cztery piłki na raz.)

po opuszczeniu Bell Labs w 1956 dla MIT, Shannon opublikował niewiele na temat teorii informacji. Niektórzy byli współpracownicy Bella sugerowali, że ma dość pola, które stworzył. Shannon zaprzeczyła temu twierdzeniu. Zainteresował się innymi tematami, takimi jak sztuczna inteligencja. Kontynuował pracę nad teorią informacji, ale większość jego wyników uważał za niegodne publikacji. „Większość wielkich matematyków wykonała swoją najlepszą pracę, kiedy byli młodzi”, zauważył.

dekady temu Shannon przestała uczęszczać na spotkania informacyjno-teoretyczne. Koledzy powiedzieli, że cierpiał na ciężką tremę. Ale w 1985 roku pojawił się nieoczekiwanie na konferencji w Brighton w Anglii, a organizatorzy spotkania namówili go do zabrania głosu na bankiecie. Mówił przez kilka minut. Potem, obawiając się, że nudzi publiczność, wyciągnął trzy piłki z kieszeni i zaczął żonglować. Publiczność wiwatowała i ustawiała się w kolejce po autografy. Jeden z inżynierów wspominał: „to było tak, jakby Newton pojawił się na konferencji z fizyki.”

fragmenty wywiadu z SHANNON, 2 listopada 1989.

Horgan: kiedy zaczynałeś pracę nad teorią informacji, miałeś na myśli konkretny cel?

najpierw myślałem o tym: jak najlepiej przekazywać transmisje w hałaśliwym kanale, coś w tym stylu. Tego rodzaju specyficzny problem, kiedy myślisz o nich w systemie telegraficznym lub telefonicznym. Ale kiedy zaczynam o tym myśleć, zaczynasz uogólniać w swojej głowie wszystkie szersze zastosowania. Więc prawie cały czas o nich myślałem. Często wyrażam rzeczy w kategoriach Bardzo uproszczonego kanału. Tak, czy nie, czy coś w tym stylu. Tak więc bardzo wcześnie odczułem te wszystkie uczucia ogólności.

Horgan: czytałem, że John Von Neumann zasugerował, abyś użył słowa „Entropia” jako miary informacji, ponieważ nikt nie rozumie entropii i dlatego możesz wygrać argumenty na temat swojej teorii.

To brzmi jak taka uwaga, którą mogłem zrobić jako żart… Mówiąc najprościej, ilość informacji jest tym, jak wiele chaosu jest w systemie. Ale matematyka wychodzi dobrze, że tak powiem. Ilość informacji zmierzona przez entropię określa, jak dużą pojemność pozostawić w kanale.

Horgan: byłeś zaskoczony, kiedy ludzie próbowali wykorzystać teorię informacji do analizy układu nerwowego?

: To nie jest takie dziwne, jeśli twierdzisz, że układ nerwowy jest złożonym systemem komunikacji, który przetwarza informacje w skomplikowany sposób … głównie to, o czym pisałem, to komunikacja z jednego punktu do drugiego, ale spędziłem też dużo czasu na przekształcaniu informacji z jednej formy do drugiej, łączeniu informacji w skomplikowany sposób, co robi mózg i komputery teraz. Wszystkie te rzeczy są rodzajem uogólnienia teorii informacji, gdzie mówimy o pracy nad zmianą jej formy w taki czy inny sposób i połączeniem z innymi, w przeciwieństwie do przenoszenia jej z jednego miejsca do drugiego. Więc tak, wszystkie te rzeczy postrzegam jako rodzaj poszerzenia teorii informacji. Może nie powinno się tego nazywać teorią informacji. Może powinno się to nazywać „transformacją informacji” lub coś w tym rodzaju.

Horgan: Scientific American miał specjalne wydanie na temat komunikacji w 1972. John Pierce powiedział we wstępnym artykule, że Twoja praca może zostać rozszerzona o znaczenie .

znaczenie jest dość trudne do opanowania… w matematyce, fizyce, nauce i tak dalej, rzeczy mają znaczenie, o tym, jak są powiązane ze światem zewnętrznym. Ale zwykle mają do czynienia z wielkościami mierzalnymi, podczas gdy większość naszej rozmowy między ludźmi nie jest tak mierzalna. To bardzo szeroka rzecz, która wywołuje wszelkiego rodzaju emocje w twojej głowie, kiedy słyszysz słowa. Nie wydaje mi się więc, żeby wszystko to było tak łatwe do ujęcia w matematycznej formie.

Horgan: ludzie mówili mi, że pod koniec lat 50.znudziła ci się teoria informacji.

nie chodzi o to, że byłem tym zmęczony. Chodzi o to, że pracowałem nad czymś innym… Bawiłem się maszynami do obliczeń. To bardziej interesowało mnie niż samą teorię informacji. Pomysł na inteligentną maszynę.

Horgan: czy obawiasz się, że maszyny przejmą niektóre z naszych funkcji?

: Maszyny mogą być w stanie rozwiązać wiele problemów, nad którymi się zastanawialiśmy i zmniejszyć nasz problem pracy służącej… jeśli mówisz o maszynach przejmujących, nie martwię się o to. Myślę, że dopóki je zbudujemy, nie przejdą.

Horgan: czy kiedykolwiek czułeś presję na Ciebie, w Bell Labs, aby pracować nad czymś bardziej praktycznym?

Zawsze realizowałem swoje interesy, nie zważając na wartość finansową czy wartość dla świata. Bardziej interesowało mnie, czy problem jest ekscytujący, niż to, co zrobi. … Spędziłem dużo czasu nad zupełnie bezużytecznymi rzeczami.

Czytaj dalej:

czy Zintegrowana teoria informacji może wyjaśnić świadomość?

Dlaczego informacja nie może być podstawą rzeczywistości

poetyckie arcydzieło Claude ’ a Shannona, ojca teorii informacji

twierdzenie Bayesa: o co chodzi?