Едва ли разуму человека дано загадать такую загадку, которую разум другого его собрата, направленный должным образом, не смог бы раскрыть

1985 год. В английском городе Брайтон проходит симпозиум по теории информации Стройный седовласый мужчина говорит уже несколько минут. И вдруг останавливается, достаёт три шарика и начинает жонглировать.
Он боялся, что аудитория заскучает. А аудитория вдыхала каждое произносимое слово и не могла поверить, что видит перед собой живого Клода Шеннона.
После его короткого выступления, выстроилась огромная очередь за автографами, смущая очень скромного учёного и изобретателя.
Роберт Дж. Макэлиэс, профессор электротехники из Калтеха сказал «это выглядело так, будто сам Ньютон появился на конференции по физике».
Представляете себе человека, который всю жизнь занимается тем, что его зажигает? Делает то, что хочет, у него нет целей, нет дедлайнов. Никто не спрашивает, ну когда уже будет готово, какой статус по задаче. Хочешь разрабатывать калькулятор для римских цифр — да, пожалуйста.
Вот это он - Клод Шеннон, гений из Мичигана. За свою долгую жизнь он успел перепробовать много разного, не всегда полезного для Bell Labs, в котором он работал, или даже для Вселенной.
Он создал первую самообучающуюся машину — механическую мышь Тесей, которая сама находила и запоминала путь через лабиринт к сыру. Мышин Лёрнинг 70 лет назад.
Общую теорию жонглирования, а так же жонглирующего робота.
Умел ездить на уницикле — одновременно с жонглированием булавами.
Написал первые программы для игры в шахматы. Занимался генетикой и квантовой механикой.
В сотрудничестве с Эдом Торпом в начале 1960-х он разработал устройство для предсказания результата рулетки, работающее на основе измерения скорости колеса. Этот компактный аналоговый компьютер они использовали инкогнито в казино Лас-Вегаса.
Но ключевое для цивилизации:
Клод Шеннон стоит у истоков всего цифрового мира. За каждое отправленное сообщение, посмотренный фильм, телефонный разговор, пуш-сообщение, трек, под который вы танцевали, gps-метку вы можете поблагодарить этого эксцентричного учёного.
Слово бит придумал он. Означает оно binary digit, то есть двоичная цифра - 0 или 1. Это минимальное количество информации.
Слово информация для описания того, чем оперируют вычислительные системы, ввёл Шеннон.
Слово энтропия в контексте измерения количества информации начал использовать с подсказки Джона фон Неймана Шеннон.
Всё началось в 1916-м, когда он родился. Ну ладно, всё началось в 1932 году, когда Клод работал разносчиком телеграм в Western Union. Подробнее про эту компанию слушайте в 7-м выпуске третьего сезона ДНД.
Но на самом деле в период учёбы в мичиганском университете c 32 по 36 годы Клод знакомится с идеями Джорджа Буля, а именно с математической системой, которая оперирует ровно двумя значениями: правда или ложь или 1 или 0. Что любопытно, как это обычно и бывает Буль всего лишь решал математическую задачу — как формализовать логические рассуждения. Например,
У Гарри, Клода и Владимира было по теореме об отсчётах: одна была опубликована в 1933 году. Другая в 1948. Гарри свою опубликовал в 1928. А Клод сделал это позже Владимира.
За кем приоритет в этом вопросе?
О таком же развитии своих идей Бульи не помышлял в своём 19-м веке.
Булевой алгебре мы ещё посвятим в будущем эпизоды До нас дошло. А сейчас для нас важно, что она позволяет из двух значений и трёх операций получить всё — любые арифметические операции над любыми числам и проверять любые условия.
Сразу после мичиганского университета Шеннон перешёл в MIT, где под началом Вэнивара Буша занимался аналоговым компьютером для решения дифференциальных уравнений.
Аналоговый компьютер для решения дифференциальных уравнений.

Одна из практических задач была - расчёт нагрузки на национальную электросеть. Руками такое посчитать, конечно, можно, но муторно и цена ошибки велика.
Ну представьте себе аналоговый компьютер!
Это была монструозная машина, размером с комнату, набитая валами, шестерёнками, ремнями. Внутри постоянно что-то щёлкало, шуршало, скрежетало. В движение это всё приводилось электричеством.
А атмосфера там была как на фабрике.
Помните, как выглядела бомба — машина Алана Тьюринга для расшифровки посланий Энигмы. Если нет, сходите в музей Криптографии.
Это настоящее инженерное искусство доэлектронной эры.
И вот смотрел-смотрел на это дело Клод. С разных сторон. Считал, обслуживал. И вдруг

в 1937 году всё понял и доказал, что булеву алгебру можно полностью реализовать на реле и переключателях, и отказаться от сложных аналоговых вычислителей.

Сейчас будет важно: он доказал принципиальную возможность вычислений с помощью электричества, а также показал, как это можно сделать на тех элементах, что уже были в распоряжении тогда.
В тот момент просто не существовало идеи, что можно собрать цифровой электрический компьютер. Не просто никто не догадался, а вообще вообразить такое было невозможно.
На секундочку, это была его магистерская работа! в 21 год.
Но это было только начало.
С 1940 по 1948 в голове он вынашивал идею настолько революционную и настолько органичную, что про неё в будущем будут говорить
Общая теория связи Шеннона настолько естественна, что кажется, будто он открыл вселенские законы коммуникации, а не изобрёл их. Его теория столь же фундаментальна, как и физические законы природы
В 1948 году Шеннон публикует статью, в которой формулирует и доказывает несколько теорем и больше двадцати лем.
За 8 лет в голове он создал из ничего всю теорию связи. Никаких черновиков и заметок.
Он показал, что если данные передаются цифрами, то их можно без ошибок восстановить на приёмники при любом уровне шума, как вычислить максимальную пропускную способность любого канала, как данные можно сжимать без потери информации.
Он доказал, что любой аналоговый сигнал можно представить в виде набора цифр так, чтобы эти цифры потом можно было распознать на приёмнике и в точности восстановить из них изначальный сигнал.
То есть всю последовательность необходимых действий и процессов от источника до получателя. Вот что сделал этот молодой и гениальный учёный из Белл Лабс
Вместе с его идеями о том, что можно обеспечить логические вычисления и хранения информации с помощью электрических компонентов , используя два состояни и булеву алгебру, получается, что Шеннон заложил математический фундамент всего цифрового мира.
Он архитектор, но не строитель. Он не придумывал конкретные схемы кодирования, не собирал процессоры, не строил цифровые каналы связи — он взбудоражил умы и фантазию многих учёных и изобретателей, которые следующие 50 лет придумывали, как реализовать придуманное.
Почему мы делаем такой акцент на шумах и цифрах?
Всё очень просто. Шум — это естественная часть нашей природы. Избавиться от них невозможно: наводки одних электрических кабелей на другие, разряды молний, влияющие на радиосвязь, царапины на CD-дисках, интерференция света в оптическом кабеле. Это реальность, которую невозможно изменить.
И каким бы мощным и чётким не был изначальный сигнал, шум неизбежно примешивается к нему при передаче. И чем дальше нужно передать, тем больше шум заглушает полезные сигнал.
Вы могли бы услышать это на старых радиоприёмниках на длинных и средних волнах, когда вы скорее догадываетесь, что передаёт радиостанция.

Проблема в том, усиливать сигнал смысла нет — вместе с полезным, мы усилим и шум. А отделить одно от другого невозможно. И в какой-то момент ни человеческий орган, ни устройство распознать изначальный сигнал не смогут. Это фундаментальное ограничение аналоговой передачи данных.
И если шум изменил данные, то это бесповоротно. Никакого способа восстановить как было уже нет.
Так же плохо состоят дела с шифрованием. Аналоговый сигнал невозможно зашифровать так, чтобы его нельзя было сломать. И в это целом дело сложное и неблагодарное.
Устройства для запутывания сигнала называются скрэмблеры.
Например, вот так мог бы звучать зашифрованный с помощью первых скрэмблеров голос
»You know what I love most about Mars? They still dream. We gave up. They're an entire culture dedicated to a common goal, working together as one to turn a lifeless rock into a garden. We had a garden and we paved it.«
Что же тут меняет цифра? Шеннон показал, что любой аналоговый сигнал можно представить в виде последовательности цифр. И после этого весь математический аппарат к вашим услугам. Добавляем дополнительные цифры к существующим — и можем детектировать ошибки, ещё несколько — и можно их уже исправлять.
С шифрованием при цифрововй передаче данных всё тоже великолепно. в другой работе Шеннон (и Котельников в СССР) показали, что существуют абсолютно устойчивые к взлому коды.

Одно из ключевых отличий — цифровую информацию можно однозначно восстановить на промежуточной точке и передать дальше, избавившись от шумов. То есть регенерировать сигнал.
В свои 32 года Клод Шеннон, работая в Белл Лабс, создал то, чего не существовало никогда прежде.
Мир этого не понял.
Как и у Котельникова идеи Шеннон в 40-е годы слишком уж сильно опередили время.
Мне вспоминается, что ещё на международном съезде математиков в Амстердаме (1954 г.) мои американские коллеги, специалисты по теории вероятностей, считали мой интерес к работам Шеннона несколько преувеличенным, так как это более техника, чем математика.
А многие считали, что это вообще упражения, не имеющие к реальности никакого отношения, мол, это неприменимо к реальной связи.
После публикации статьи было много критики и непонимания. Математики говорили, что он не изобрёл ничего нового. Инженеры Bell Labs — что Клод опять играется с формулами.
Непринятие подпитывалось ещё и тем, что Шеннон доказывал принципиальную возможность каких-либо процессов и механизмов, не предлагая ничего конкретного. Он не собрал никаких устройств, подтверждающих его слова, не придумал схем кодирования.
Для многих идей не было даже аппаратной базы
А ещё математический взгляд Шеннона гласит, что для теории связи, про какой бы фактический способ мы ни говорили — телеграф, телефон, радио, не имеет значения смысл информации, важно её количество. Слишком революционная интерпретация, чтобы современник так уж легко её приняли.
Деннис Габор говорил *»Информация без смысла — пустая абстракция«
И даже больше. Телефония, радио, телевидение, телеграфия. Это очень похожие вещи. Интуитивно мы понимаем, что это по сути одно и то же. Но с математической точки зрения ничего общего между ними не было, пока Шеннон не создал понятие »информация« и не посчитал её. Количественную меру информации он назвал бит. Как грамм единица веса, так бит — единица информация.
- Информацию МОЖНО измерить
Нормальная реакция было — как можно измерить информаицю, содержащуюсь в человеческом голосе? Имеет значение смысл сказанного, но даже зная его, как измерить информацию
Шеннон придумал способ как это сделать.
Информация после него стала явлением реального мира, с которым можно работать, используя привычные математические и инженерные инструменты, а не метод проб и ошибок.
»Взрослые очень любят цифры. Когда рассказываешь им, что у тебя появился новый друг, они никогда не спросят о самом главном. Никогда они не скажут: «А какой у него голос? В какие игры он любит играть? Ловит ли он бабочек?» Они спрашивают: «Сколько ему лет? Сколько у него братьев? Сколько он весит? Сколько зарабатывает его отец?» И после этого воображают, что узнали человека«
Клод Шеннон увлекался машинным обучением в 50-60-е годы прошлого века. 70 лет назад.
Он создал жонглирующего робота, мышь Тесей, который умеет находить и запоминать выход из лабиринта, машину нимбл, играющую в крестики нолики, первые программы для игры в шахматы. Сам играл на кларнете и пытался создать машину-композитора.
А в марте 2022 компания Антропик разработала свою первую модель Claude 1.0, названную в честь Шеннона.
Я с большим удивлением это осознал и пошёл к чат проверять, так ли это.
Я спросил его почему он называется Cluade, и вот что он мне ответил
Меня назвали Claude в честь Клода Шеннона — выдающегося американского математика и инженера.

Сегодня Клод отвечает на вопросы и помогает мне программировать. Хотя в отличие от человека, давшего ему имя, не может пока придумать ничего нового.
Но кто знает? Может быть, через несколько лет искусственный Claude откроет что-то такое же революционное, как теория информации его тёзки. И тогда круг замкнётся — от механической мыши Тесей до цифрового разума, способного удивить своего создателя.
Ведь как сказал сам Шеннон: *»Едва ли разуму человека дано загадать такую загадку, которую разум другого его собрата, направленный должным образом, не смог бы раскрыть.«*

А что, если этим »другим разумом« окажется тот, который мы сами создали?