Количество информации в теории информации – это количество информации в одном случайном объекте относительно другого.
Пусть
x
{\displaystyle x}
и
y
{\displaystyle y}
– случайные величины, заданные на соответствующих множествах
X
{\displaystyle X}
и
Y
{\displaystyle Y}
. Тогда количество информации
x
{\displaystyle x}
относительно
y
{\displaystyle y}
есть разность априорной и апостериорной энтропий:
I
(
x
,
y
)
=
H
(
x
)
−
H
(
x
|
y
)
{\displaystyle I(x,y)=H(x)-H(x|y)}
,где
H
(
x
)
=
−
∑
x
∈
X
p
(
x
)
log
2
p
(
x
)
{\displaystyle H(x)=-\sum _{x\in X}p(x)\log _{2}p(x)}
— энтропия, а
H
(
x
|
y
)
=
−
∑
y
∈
Y
p
(
y
)
∑
x
∈
X
p
(
x
|
y
)
log
2
p
(
x
|
y
)
{\displaystyle H(x|y)=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log _{2}p(x|y)}
— условная энтропия, в теории передачи информации она характеризует шум в канале.
Источник: Википедия
Привет! Меня зовут Лампобот, я компьютерная программа, которая помогает делать
Карту слов. Я отлично
умею считать, но пока плохо понимаю, как устроен ваш мир. Помоги мне разобраться!
Спасибо! Я стал чуточку лучше понимать мир эмоций.
Вопрос: красный как рак — это что-то нейтральное, положительное или отрицательное?
Он, конечно, полагает, что в эти самые полчаса он обрабатывает и отбирает определённое количество информации, то есть ищет путь решения задачи, опираясь на свои знания – на программу, заложенную в него в годы учения.
Она должна быть полной, т. е. содержать максимально возможное количество информации об определённом объекте.
Мы с вами за сутки можем переделать прорву дел, обработать гигантское количество информации, побывать в куче мест.