Теория информации

Теория информации — раздел прикладной математики, радиотехники (теория обработки сигналов) и информатики, относящийся к измерению количества информации, её свойств и устанавливающий предельные соотношения для систем передачи данных. Как и любая математическая теория, теория оперирует математическими моделями, а не реальными физическими объектами (источниками и каналами связи). Использует, главным образом, математический аппарат теории вероятностей и математической статистики.

Основные разделы теории информации — кодирование источника (сжимающее кодирование) и канальное (помехоустойчивое) кодирование. Теория информации тесно связана с информационной энтропией, коммуникационными системами, криптографией и другими смежными дисциплинами.

Область находится на пересечении математики, статистики, информатики, физики, нейробиологии, информационной инженерии и электротехники. Теория также нашла применение в других областях, включая статистический вывод, обработку естественного языка, криптографию, нейробиологию, человеческое зрение, эволюцию и функцию молекулярных кодов (биоинформатика), выбор статистической модели, теплофизику, квантовый компьютер, лингвистику, выявление плагиата, распознавание образов и выявление аномалий. Важные подразделы теории информации включают в себя сжатие данных, канальное кодирование, алгоритмическую теорию сложности, алгоритмическую теорию информации, информационно-теоретическую безопасность, реляционный анализ Грея и измерение информации.

Источник: Википедия

Упоминания в литературе

Вообще же во всех этих отношениях действительно принципиальным является не наличие или отсутствие отмеченной выше дискуссионности в понимании взаимосвязи общения и познания, а признание информационной основы коммуникативного процесса. Это обстоятельство, с одной стороны, и разработка самостоятельной теории информации, с другой, явились причиной возникновения так называемой информационной модели коммуникации. Коммуникация в данном случае может быть рассмотрена как процесс, с помощью которого закодированные источником (отправителем) сообщения передаются по каналу связи в назначенный пункт (получателю), где происходит их декодирование. В терминах этой модели общение может рассматриваться как ситуация, в которой два или более человека выступают как отправитель и получатель. Подобные коммуникативные отношения основываются на передаче информации от отправителя к получателю.

А. А. Лазаревич, Становление информационного общества. Коммуникационно-эпистемологические и культурно-цивилизованные основания, 2015

Наиболее плодотворное развитие проблематика проникновения в сущность понятия «информация» получила в рамках теории информации и кибернетики. Теория информации начинается с работ Клода Шеннона, опубликованных в конце 40-х годов XX века. В классической теории информации преимущественно уделялось внимание тем аспектам информации, которые могут быть названы техническими. Из полученных в рамках этой теории результатов наибольшее значение имели те, которые относятся к теории и практике кодирования информации, а также к анализу и синтезу систем передачи информации по техническим каналам связи.

А. А. Молдовян, Информатика: введение в информационную безопасность, 2004

Согласно семантической теории информации, мера семантической информации, воспринимаемой данной системой, определяется степенью изменения содержащейся в системе собственной семантической информации вследствие добавления внешней информации. Иными словами, чтобы система-приемник могла воспринимать внешнюю информацию, необходимо, чтобы она сама обладала некоторым тезаурусом, т. е. запасом собственной (начальной, пороговой) информации. Дальнейшее расширение тезауруса путем восприятия внешней информации определяется не только свойствами последней, но в значительной степени свойствами самого исходного тезауруса, предполагающего определенный оптимальный уровень, который может быть достигнут посредством информационного обмена. После того, как этот уровень достигнут, т. е. наступило информационное насыщение системы, новая информация ею уже не воспринимается[192].

Е. А. Зверева, Правовой режим информации в отношениях с участием субъектов предпринимательской деятельности, 2008

С возникновением такого научного знания, как кибернетика, связаны другие подходы к изучению данного феномена (с применением математических методов анализа). Специалисты в области кибернетики одними из первых попытались выяснить сущностные признаки информации. В кибернетике это понятие стало обозначать величину, обратно пропорциональную степени вероятности события, о котором идет речь в сообщении. Но, чтобы подойти к данному пониманию, в 1928 г. Д. Хартли предложил в качестве анализа информации логарифмическую меру количества информации. Через 20 лет К. Шеннон математически обосновал и определил понятие количества информации как меры уменьшения неопределенности, что, собственно говоря, и стало переводом слова «информация» в разряд научных терминов.[48] Заслуга К. Шеннона заключалась в том, что он разработал статистическую теорию информации. Доклад о своем открытии он сделал в 1948 г.

М. Н. Ким, Теория и практика массовой информации. Учебник для вузов, 2017

В настоящее время выделился ряд научных направлений, решающих основные задачи теории систем: кибернетика, базирующаяся на принципе обратной связи и вскрывающая механизмы целенаправленного и самоконтролируемого поведения; теория информации, вводящая понятие информации как некоторого количества и развивающая принципы передачи информации; теория игр, анализирующая в рамках особого математического аппарата рациональную конкуренцию двух или более противодействующих сил с целью достижения максимального выигрыша и минимального проигрыша; теория решений, анализирующая рациональные выборы внутри организаций на основе рассмотрения данной ситуации и ее возможных исходов; топология, или реляционная математика; факторный анализ, т. е. процедуры изоляции посредством использования математического анализа факторов в многопеременных явлениях в различных областях знания.

Сергей Викторович Загородников, Теория организации. Ответы на экзаменационные билеты, 2009

Хотя квантово-релятивистская физика вызвала наиболее убедительную и радикальную критику механистического мировоззрения, важные решения были приняты благодаря результатам исследований в других областях. Резкими изменениями подобного рода научное мышление обязано развитию кибернетики, теории информации, теории систем и теории логических типов. Одним из главных представителей этого решительного поворота в современной науке стал Грегори Бейтсон14. Он утверждает, что мышление на языке субстанции и дискретных объектов является серьезной ошибкой в логической типологии. В повседневной жизни мы имеем дело не с объектами, а с их сенсорными преобразованиями или с сообщениями о различиях; в смысле теории Коржибского (Korzybski, 1933), мы имеем доступ к картам, а не к территории. Информация, различение, форма и паттерн, составляющие наше знание о мире, являются лишенными размерности сущностями, которые нельзя локализовать в пространстве или во времени. Информация течет в цепях, которые выходят за общепринятые границы индивидуальности и включают все окружающее. Этот способ научного мышления делает абсурдной попытку понять мир в терминах отдельных объектов и сущностей, рассматривать индивида, семью или род как дарвиновские сообщества в борьбе за выживание, проводить различие между умом и телом или идентифицироваться с эго-телесной единицей («Эго, облаченное в кожу» у Алана Уотса). Как и в квантово-релятивистской физике, акцент смещается от субстанции и объекта к форме, паттерну и процессу15.

Станислав Гроф, За пределами мозга. Рождение, смерть и трансценденция в психотерапии, 1985

Вне законов классической и квантовой теорий находится важнейшая теория человеческого бытия – теория информации. Она до сих пор пребывает вне взаимосвязи с взаимодействием между материей и энергией. В ортодоксальной науке под теорией информации понимают процессы обмена сведениями между людьми с помощью различных способов, между человеком и автоматическим устройством, между автоматическими устройствами, обмен сигналами в животном и растительном мире, передача признаков от клетки к клетке, от организма к организму (генетическая информация). Теорию информации рассматривают как теоретическую основу кибернетики. И совсем не связывают с фундаментальными понятиями материи и энергии ни в рамках классической, ни в составе квантовой теории. Автор усматривает в этом главные издержки материалистического подхода в современной науке.

Г. В. Белов, Изменит ли Россию альтернативная наука, 2016

Дальнейшее развитие понятия информации, рассматриваемого в широком смысле в качестве абстракции, относящейся к определенному ряду закономерностей материального мира и его отражения в человеческом сознании, происходило в зависимости от областей научных исследований и классов решаемых задач. Получили признание определения информации, данные выдающимися учеными, стоявшими у истоков становления теории информации, как «связь, в процессе которой устраняется неопределенность» (К. Шеннон)[2], «разнообразие» (У. Р. Эшби)[3], «оригинальность и мера сложности» (А. Моль)[4], «знание» (Ф. Махлуп)[5], «всеобщая методология науки» (Л. Бриллюэн)[6], «обозначение содержания, полученного из внешнего мира, в процессе нашего приспособления к нему и приспособления к нему наших чувств» (Н. Винер)[7].

О. А. Городов, Основы информационного права России, 2003

«Под междисциплинарной матрицей социологического знания подразумевается вся совокупность родственных социологии дисциплин в их взаимосвязи. В содружестве с другими, родственными ей дисциплинами – психологией, социальной психологией, экономикой, антропологией, политическими науками и этнографией – она образует подсистему системы научного знания – социальное знание. Родственные дисциплины заимствуют друг у друга понятия и категории, обмениваются результатами исследований, методами и теоретическими выводами»[3]. Массовая коммуникация как социальный процесс исследуется многими гуманитарными и социальными науками. Большой интерес к исследованию массовой коммуникации проявляется политологией, как наукой, которую интересует поведение больших масс людей и их отношение к процессам достижения и удержания власти в обществе. На формирование социологии массовой коммуникации как одного из направлений социологического знания существенное влияние оказали результаты исследований в области психологии (А. А. Леонтьев, Л. С. Выготский, П. Я. Гальперин), лингвистики (Дж. Р. Серль, Д. Вандервеккен. М. М. Бахтин), теории информации и кибернетики (Н. Винер, К. Шеннон, С. Бир).

Т. В. Науменко, Философия массовой коммуникации, 2013

«Под междисциплинарной матрицей социологического знания подразумевается вся совокупность родственных социологии дисциплин в их взаимосвязи. В содружестве с другими, родственными ей дисциплинами – психологией, социальной психологией, экономикой, антропологией, политическими науками и этнографией – она образует подсистему системы научного знания – социальное знание. Родственные дисциплины заимствуют друг у друга понятия и категории, обмениваются результатами исследований, методами и теоретическими выводами»[3]. Массовая коммуникация как социальный процесс исследуется многими гуманитарными и социальными науками. Большой интерес к исследованию массовой коммуникации проявляется политологией, как наукой, которую интересует поведение больших масс людей и их отношение к процессам достижения и удержания власти в обществе. На формирование социологии массовой коммуникации как одного из направлений социологического знания существенное влияние оказали результаты исследований в области психологии (А.А. Леонтьев, Л.С. Выготский, П.Я. Гальперин), лингвистики (Дж. Р. Серль, Д. Вандервеккен. М.М. Бахтин), теории информации и кибернетики (Н. Винер, К. Шеннон, С. Бир).

Т. В. Науменко, Массовая коммуникация как глобальный процесс, 2015

Как продукт речевой деятельности высказывание является предметом внимания психолингвистики [Леонтьев 1997; Кацнельсон 1984], лингвистами высказывание анализируется как интонационное [Артемов 1976] и структурное [Карпова 1974] образование, как носитель характерных грамматических признаков [Слабковская 1977], как один из типов языкового знака [Маслов 1967]. Исследуются собственно коммуникативные [Остроумов 1973; Шатуновский 1996; Глаголев 1985 и др.] и функциональные [Баранов 1993] признаки высказывания. Содержательная сторона высказывания рассматривается в теории информации [Гиндин 1971; Падучева 1982; Леденев 2001], а также при изучении типов речи [Чесноков 1979].

О. И. Филимонов, Скрепа-фраза в языке, 2013