Количество информации как мера уменьшения неопределённости знания
Уменьшение неопределённости знания.
Подход к информации как к мере уменьшения неопределённости знания позволяет количественно измерять информацию. Пусть у нас имеется монета, которую мы бросаем на ровную поверхность. С равной вероятностью произойдёт одно из двух возможных событий – монета окажется в одном из двух положений: "орёл" или "решка". События равновероятны, если при возрастающем числе опытов число выпадений "орла" и "решки" постепенно сближаются. Перед броском существует неопределённость нашего знания (возможны 2 события), и как упадёт монета – предсказать невозможно. После броска наступает полная определённость, т.к. мы видим, что монета в данный момент находится в определённом положении. Это сообщение приводит к уменьшению неопределённости нашего знания в 2 раза, т.к. из двух возможных равновероятных событий реализовалось одно. В окружающей действительности часто встречаются ситуации, когда может произойти большее, чем 2, число равновероятных событий. Чем больше начальное число возможных равновероятных событий, тем больше начальная неопределённость нашего знания и тем большее количество информации будет содержать сообщение о результатах опыта. Единица измерения количества информации
За единицу количества информации принято такое количество информации, которое содержит сообщение уменьшающее неопределённость знания в 2 раза. Такая единица названа бит.
Компьютер оперирует числами в двоичной системе счисления, поэтому в кратных единицах измерения количества информации используется коэффициент 2n.
Следующей по величине единицей измерения количества информации является байт, причём
1 байт = 23 бит = 8 бит.
Кратные байту единицы измерения количества информации вводятся следующим образом:
1 Кбайт = 210 байт = 1024 байт
1 Мбайт = 210 Кбайт =1024 Кбайт = 220 байт
1 Гбайт = 210 Мбайт = 1024 Мбайт = 220 Кбайт = 230 байт.
Количество возможных событий и количество информации
Существует формула, которая связывает между собой количество возможных событий N и количество информации I:
N=2I
Формула Шеннона
Формулу для вычисления количества информации для событий с различными вероятностями предложил К. Шеннон. В этом случае количество информации определяется по формуле:
I= -,
Где I – количество информации,
N – количество возможных событий,
рi – вероятности отдельных событий.
Количество информации, которое мы получаем, достигает максимального значения, если события равновероятны.
Уменьшение неопределенности