Формула Шеннона, информационная энтропия

Формула Шеннона (Информационная энтропия)

Данная формула также как и формула Хартли, в информатике  применяется для высчитывания общего количество информации при различных вероятностях.

В качестве примера различных не равных вероятностей можно привести выход людей из казармы в военной части. Из казармы могут выйти как и солдат, так и офицер, и даже генерал. Но распределение cолдатов, офицеров и генералов в казарме разное, что очевидно, ведь солдатов будет больше всего, затем по количеству идут офицеры и самый редкий вид будут генералы. Так как вероятности не равны для всех трех видов военных, для того чтобы подсчитать сколько информации займет такое событие и используется формула Шеннона.

Для других же равновероятных событий, таких как подброс монеты (вероятность того что выпадет орёл или решка будет одинаковой — 50 %) используется формула Хартли. 

Теперь, давайте рассмотрим применение этой формулы на конкретном примере:

В каком сообщений содержится меньше всего информации (Считайте в битах):

  1. Василий сьел 6 конфет, из них 2 было барбариски. 
  2. В комьютере 10 папок, нужный файл нашелся в 9 папке.
  3. Баба Люда сделала 4 пирога с мясом и 4 пирога с капустой. Григорий сьел 2 пирога.
  4. В Африке 200 дней сухая погода, а 165 дней льют муссоны. африканец охотился 40 дней в году.

В этой задаче обратим внимания что 1,2 и 3 варианты, эти варианты считать легко, так как события равновероятны. И для этого мы будем использовать формулу Хартли  I = log2(рис.1) А вот с 4 пунком где видно, что распределение дней не равномерно(перевес в сторону сухой погоды), что же тогда нам в этом случае делать? Для таких событий и используется формула Шеннона или информационной энтропии: I = — ( p1log2 p1 + p2 log2 p2 + . . . + pN log2 pN), (рис.3)

ФОРМУЛА КОЛИЧЕСТВА ИНФОРМАЦИ (ФОРМУЛА ХАРТЛИ, РИС.1 )

В которой:

  • I — количество информации
  • p — вероятность того что это события случиться

Далее чтобы узнать p необходимо поделить количество интересующих нас событий на общее количество возможных вариантов. 

Интересующие нас события в нашей задаче это

  1. Было две барбариски из шести (2/6)
  2. Была одна папка в которой нашлась нужный файл по отношению к общему количеству (1/10)
  3. Всего пирогов было восемь из которых сьедено григорием два (2/8)
  4. и последнее сорок дней охоты по отношению к двести засушливым дням и сорок дней охоты к сто шестидесяти пяти  дождливым дням. (40/200) + (40/165)

таким образом получаем что:

ФОРМУЛА ВЕРОЯТНОСТИ ДЛЯ СОБЫТИЯ.

Где K — это интересующие нас событие, а N общее количество этих событий, также чтобы проверить себя вероятность того или иного события не может быть больше единицы. (потому что вероятных событий всегда меньше)

ФОРМУЛА ШЕННОНА ДЛЯ ПОДСЧЕТА ИНФОРМАЦИИ (РИС.3)

Вернемся к нашей задаче и посчитаем сколько информации содержится.

Кстате, при подсчёте логарифма удобно использовать сайт  — https://planetcalc.ru/419/#

  • Для первого случая — 2/6 = 0,33 = и далее Log2 0,33 = 1.599 бит
  • Для второго случая — 1/10 = 0,10  Log2 0,10 = 3.322 бит
  • Для третьего — 2/8 = 0,25 = Log2 0,25 = 2 бит
  • Для четвертого — 40/200 + 40/165 = 0.2 и 0,24 соотвественно, далее считаем по формуле -(0,2 * log2 0,2) +-(o.24 * log2 0.24) = 0.95856 бит

Таким образом ответ для нашей задачи получился 4.

Вот таким образом и используется формула Шеннона при подсчёте информации. Если у вас есть какие либо вопросы, или что то Вам не понятно можете задать вопросы в комментариях. (отвечаю оперативно)


Пожалуйста оцените качество материала

Помогая проекту BEST-EXAM, вы делаете образование более доступным для каждого человека, внесите и вы свой вклад -
поделитесь этой статьей в социальных сетях!
стрелка вверх best-exam