Формула Шеннона, информационная энтропия

Формула Шеннона (Информационная энтропия)

Данная формула также как и формула Хартли, в информатике  применяется для высчитывания общего количество информации при различных вероятностях.

В качестве примера различных не равных вероятностей можно привести выход людей из казармы в военной части. Из казармы могут выйти как и солдат, так и офицер, и даже генерал. Но распределение cолдатов, офицеров и генералов в казарме разное, что очевидно, ведь солдатов будет больше всего, затем по количеству идут офицеры и самый редкий вид будут генералы. Так как вероятности не равны для всех трех видов военных, для того чтобы подсчитать сколько информации займет такое событие и используется формула Шеннона.

Для других же равновероятных событий, таких как подброс монеты (вероятность того что выпадет орёл или решка будет одинаковой — 50 %) используется формула Хартли. 

Интересуешься информатикой? Читайте нашу новую лекцию системы счисления

Системы счисления, двоичная десятичная система счисления и числа

Теперь, давайте рассмотрим применение этой формулы на конкретном примере:

В каком сообщений содержится меньше всего информации (Считайте в битах):

1. Василий сьел 6 конфет, из них 2 было барбариски. 
2. В комьютере 10 папок, нужный файл нашелся в 9 папке.
3. Баба Люда сделала 4 пирога с мясом и 4 пирога с капустой. Григорий сьел 2 пирога.
4. В Африке 200 дней сухая погода, а 165 дней льют муссоны. африканец охотился 40 дней в году.

В этой задаче обратим внимания что 1,2 и 3 варианты, эти варианты считать легко, так как события равновероятны. И для этого мы будем использовать формулу Хартли  I = log₂N (рис.1) А вот с 4 пунком где видно, что распределение дней не равномерно(перевес в сторону сухой погоды), что же тогда нам в этом случае делать? Для таких событий и используется формула Шеннона или информационной энтропии: I = — ( p₁log₂ p₁ + p₂ log₂ p₂ + . . . + p_N log₂ p_N), (рис.3)

В которой:

• I — количество информации
• p — вероятность того что это события случиться

Далее чтобы узнать p необходимо поделить количество интересующих нас событий на общее количество возможных вариантов. 

Интересующие нас события в нашей задаче это

1. Было две барбариски из шести (2/6)
2. Была одна папка в которой нашлась нужный файл по отношению к общему количеству (1/10)
3. Всего пирогов было восемь из которых сьедено григорием два (2/8)
4. и последнее сорок дней охоты по отношению к двести засушливым дням и сорок дней охоты к сто шестидесяти пяти  дождливым дням. (40/200) + (40/165)

таким образом получаем что:

Где K — это интересующие нас событие, а N общее количество этих событий, также чтобы проверить себя вероятность того или иного события не может быть больше единицы. (потому что вероятных событий всегда меньше)

Вернемся к нашей задаче и посчитаем сколько информации содержится.

Кстате, при подсчёте логарифма удобно использовать сайт  — https://planetcalc.ru/419/#

• Для первого случая — 2/6 = 0,33 = и далее Log₂ 0,33 = 1.599 бит
• Для второго случая — 1/10 = 0,10  Log₂ 0,10 = 3.322 бит
• Для третьего — 2/8 = 0,25 = Log₂ 0,25 = 2 бит
• Для четвертого — 40/200 + 40/165 = 0.2 и 0,24 соответственно, далее считаем по формуле -(0,2 * log₂ 0,2) +-(0,24 * log₂ 0.24) = 0.95856 бит

Таким образом ответ для нашей задачи получился 0.95856 бит, что значит 4 пункт.

Вот таким образом и используется формула Шеннона при подсчёте информации. Если у вас есть какие либо вопросы, или что то Вам не понятно можете задать вопросы в комментариях. (отвечаю оперативно)

---