Формула Шеннона (Информационная энтропия)
Данная формула также как и формула Хартли, в информатике применяется для высчитывания общего количество информации при различных вероятностях.
В качестве примера различных не равных вероятностей можно привести выход людей из казармы в военной части. Из казармы могут выйти как и солдат, так и офицер, и даже генерал. Но распределение cолдатов, офицеров и генералов в казарме разное, что очевидно, ведь солдатов будет больше всего, затем по количеству идут офицеры и самый редкий вид будут генералы. Так как вероятности не равны для всех трех видов военных, для того чтобы подсчитать сколько информации займет такое событие и используется формула Шеннона.
Для других же равновероятных событий, таких как подброс монеты (вероятность того что выпадет орёл или решка будет одинаковой — 50 %) используется формула Хартли.
Интересуешься информатикой? Читайте нашу новую лекцию системы счисления
Теперь, давайте рассмотрим применение этой формулы на конкретном примере:
В каком сообщений содержится меньше всего информации (Считайте в битах):
- Василий сьел 6 конфет, из них 2 было барбариски.
- В комьютере 10 папок, нужный файл нашелся в 9 папке.
- Баба Люда сделала 4 пирога с мясом и 4 пирога с капустой. Григорий сьел 2 пирога.
- В Африке 200 дней сухая погода, а 165 дней льют муссоны. африканец охотился 40 дней в году.
В этой задаче обратим внимания что 1,2 и 3 варианты, эти варианты считать легко, так как события равновероятны. И для этого мы будем использовать формулу Хартли I = log2N (рис.1) А вот с 4 пунком где видно, что распределение дней не равномерно(перевес в сторону сухой погоды), что же тогда нам в этом случае делать? Для таких событий и используется формула Шеннона или информационной энтропии: I = — ( p1log2 p1 + p2 log2 p2 + . . . + pN log2 pN), (рис.3)

В которой:
- I — количество информации
- p — вероятность того что это события случиться
Далее чтобы узнать p необходимо поделить количество интересующих нас событий на общее количество возможных вариантов.
Интересующие нас события в нашей задаче это
- Было две барбариски из шести (2/6)
- Была одна папка в которой нашлась нужный файл по отношению к общему количеству (1/10)
- Всего пирогов было восемь из которых сьедено григорием два (2/8)
- и последнее сорок дней охоты по отношению к двести засушливым дням и сорок дней охоты к сто шестидесяти пяти дождливым дням. (40/200) + (40/165)
таким образом получаем что:

Где K — это интересующие нас событие, а N общее количество этих событий, также чтобы проверить себя вероятность того или иного события не может быть больше единицы. (потому что вероятных событий всегда меньше)

Вернемся к нашей задаче и посчитаем сколько информации содержится.
Кстате, при подсчёте логарифма удобно использовать сайт — https://planetcalc.ru/419/#
- Для первого случая — 2/6 = 0,33 = и далее Log2 0,33 = 1.599 бит
- Для второго случая — 1/10 = 0,10 Log2 0,10 = 3.322 бит
- Для третьего — 2/8 = 0,25 = Log2 0,25 = 2 бит
- Для четвертого — 40/200 + 40/165 = 0.2 и 0,24 соответственно, далее считаем по формуле -(0,2 * log2 0,2) +-(0,24 * log2 0.24) = 0.95856 бит
Таким образом ответ для нашей задачи получился 0.95856 бит, что значит 4 пункт.
Вот таким образом и используется формула Шеннона при подсчёте информации. Если у вас есть какие либо вопросы, или что то Вам не понятно можете задать вопросы в комментариях. (отвечаю оперативно)