Измерение количества информации по Шеннону

Энтропия измеряет среднюю неопределённость случайного источника, а не полезность сообщения.

Самоинформация события

Для события с вероятностью $p$ :

$I (x) = - lo g_{2} p (x)$

Редкое событие несёт больше самоинформации. Гарантированное событие с $p = 1$ — ноль бит.

Для дискретной случайной величины $X$ :

$H (X) = - \sum_{i = 1}^{n} p_{i} lo g_{2} p_{i}$

При $p_{i} = 0$ соответствующий член считают равным нулю.

Пример для честной монеты:

$H (X) = - 2 \cdot \frac{1}{2} lo g_{2} \frac{1}{2} = 1 бит$

Для смещённой монеты с вероятностями $0, 9$ и $0, 1$ энтропия меньше одного бита: результат более предсказуем.

Если $N$ исходов равновероятны:

$H = lo g_{2} N$

Это частный случай формулы Шеннона. Максимальная энтропия при фиксированном числе исходов достигается именно на равномерном распределении.

Для независимых величин:

$H (X, Y) = H (X) + H (Y)$

В общем случае:

$H (X, Y) = H (X) + H (Y ∣ X)$

Если переменные зависимы, наблюдение $X$ уже сообщает что-то о $Y$ , поэтому простое сложение завышает неопределённость.

Количество информации о $X$ , полученное из $Y$ , выражает взаимная информация:

$I (X; Y) = H (X) - H (X ∣ Y)$

Она равна нулю для независимых величин и не превышает энтропию каждой из них.

Энтропия не отвечает, важно ли сообщение для бизнеса или управления. Для этого нужен критерий решения — см. Критерии ценности информации и минимума эвристик.