Хронология развития теории информации

Хронология событий, связанных с теорией информации, сжатием данных, кодами коррекции ошибок и смежных дисциплин:

1872 — Людвиг Больцман представляет свою H-теорему, а вместе с этим формулу Σpi log pi для энтропии одной частицы газа.1878 — Джозайя Уиллард Гиббс, определяет энтропию Гиббса: вероятности в формуле энтропии теперь взяты как вероятности состояния целой системы.1924 — Гарри Найквист рассуждает о квантификации «Интеллекта» и скорости, на которой это может быть передано системой коммуникации.1927 — Джон фон Нейман определяет фон Неймановскую энтропию, расширяя Гиббсовскую энтропию в квантовой механике.1928 — Ральф Хартли представляет формулу Хартли как логарифм числа возможных сообщений, с информацией, передаваемой, когда приёмник (получатель, ресивер) может отличить одну последовательность символов от любой другой (независимо от любого связанного значения).1929 — Лео Силард анализирует демона Максвелла, показывают, как двигатель Szilard может иногда преобразовывать информацию в извлечение полезной работы.1940 — Алан Тьюринг представляет deciban как единицу измерения информации в немецкой машине Энигма с настройками, зашифрованными процессом Banburismus.1944 — теория информации Клода Шеннона в основном завершена.1947 — Ричард Хемминг изобретает Код Хемминга для обнаружения ошибок и их исправления, но не публикует их до 1950 года.1948 — Клод Шеннон публикует Математическую теорию связи1949 — Клод Шеннон публикует Передачу Информации в виде шумов, в которой описаны Теорема отсчётов и Теорема Шеннона — Хартли.1949 — Рассекречена Теория связи в секретных системах Клода Шеннона.1949 — Роберт Фано опубликовал отчет, в котором независимо от Клода Шеннона описан Алгоритм Шеннона — Фано.1949 — опубликовано Неравенство Крафта — Макмиллана.1949 — Марсель Голей вводит коды Голея для исправления ошибок методом упреждения.1950 — Ричард Хемминг публикует коды Хемминга для исправления ошибок методом упреждения.1951 — Соломон Кульбак и Ричард Лейблер вводят понятие расстояния Кульбака-Лейблера.1951 — Дэвид Хаффман изобретает кодирование Хаффмана, метод нахождения оптимальных префиксных кодов для сжатия данных без потерь.1953 — опубликован Sardinas–Patterson algorithm.1954 — Ирвинг С. Рид и Дэвид E. Мюллер вводит коды Рида-Мюллера.1955 — Питер Элиас вводит свёрточные коды.1957 — Юджин Прандж первый обсуждает циклический избыточный код.1959 — Алексис Хоквингем, и самостоятельно в следующем году Радж Чандра Боуз и Двайджендра Камар Рей-Чоудхури, представляют коды Боуза-Чоудхури-Хоквингема (БЧХ-коды).1960 — Ирвинг С. Рид и Густав Соломон вводят коды Рида-Соломона.1962 — Роберт Галлагер предлагает код с малой плотностью проверок на чётность; их не использовали в течение 30 лет из-за технических ограничений.1966 — опубликована статья Дэвида Форнея Concatenated error correction code.1967 — Эндрю Витерби открывает алгоритм Витерби, делающий возможным декодирование свёрточных кодов.1968 — Элвин Берлекэмп изобретает алгоритм Берлекэмпа — Мэсси; его применение к расшифровке БЧХ-кодов и кода Рида-Соломона, указанный Джеймсом Мэсси в последующем году.1968 — Крис Уоллис и Дэвид М. Бутон издают первый из многих докладов о Сообщениях минимальной длины (СМД) — их статистический и индуктивный вывод.1972 — опубликована статья о Justesen code.1973 — Дэвид Слепиан и Джек Волф открывают и доказывают Код Слепиана-Вольфа, кодирующего пределы распределённого источника кодирования.1976 — Готфрид Унгербоэк публикует первую статью о Треллис-модуляции.1976 — Йорма Риссанен разрабатывает и позднее патентует арифметическое кодирование для IBM.1977 — Абрахам Лемпель и Яаков Зив разрабатывают алгоритм сжатия Лемпеля-Зива (LZ77)1982 — Готфрид Унгербоэк публикует более подробное описание Треллис-модуляции, что приводит к увеличению скорости аналогового модема старой обычной телефонной службы от 9.6 кбит/сек до 36 кбит/сек.1989 — Фил Кац создаёт .zip формат, включая формат сжатия DEFLATE (LZ77 + Huffman кодирование); позже это становится наиболее широко используемым алгоритмом сжатия без потерь.1993 — Клод Берроу, Алэйн Главиукс и Punya Thitimajshima вводят понятие Турбо-кодов.1994 — Майкл Барроуз и Дэвид Уилер публикуют теорию преобразования Барроуза-Уилера, которая далее найдет своё применение в bzip2.1995 — Benjamin Schumacher предложил термин Кубит.1998 — предложен Fountain code.2001 — описан алгоритм Statistical Lempel–Ziv.2008 — Erdal Arıkan предложил Полярные коды.

Источник: Википедия

а б в г д е ё ж з и й к л м н о п р с т у ф х ц ч ш щ э ю я