Теория информации

Размещено на http://www.allbest.ru/

Содержание

1. Какая разница между информацией и энтропией? Покажите это на примере формул Шеннона для информации и второго закона термодинамики для энтропии

2. В каких единицах определяется количество информации и ее объем? Определите количество информации и ее объем в любом выбранном вами четверостишии. Каким кодом наиболее просто передать эту информацию?

3. Построить ход Хэмминга для передачи 4-х разрядной информационной комбинации 0101. Показать процесс обнаружения ошибки

1. Какая разница между информацией и энтропией? Покажите это на примере формул Шеннона для информации и второго закона термодинамики для энтропии

Попытки найти возможность для выделения количества информации были еще в 20-х гг.

Фишер - в 1924 г. предложил формулу:

(1)

N - число возможных сообщений (событий), которое должно соответствовать количеству информации, содержащейся в этих сообщениях.

m - число равновероятных событий из N-возможных событий, которые произошли в данном опыте.

n - длина слова или число символов сообщений о каком-то событии m.

n=1 N=m

X_m {a,a…a} a - событие

Рассмотрим случай, когда мы имеем одинаковые и равновероятные события.

При выборе одного события:

m=1, N=1, N0

Формула Фишера не справедлива для случая, когда мы имеем выбор одного из одинаковых равновероятных событий.

Поэтому Хартли в 1928 г. предложил другую формулу:

(2)

Математика совпадает с логикой, мы получили 0 информации при выборе одного из одинаковых и равновероятных событий.

К. Шеннон - «Информация появляется в результате снятия неопределенностей. При этом, чем меньше вероятность появления того или иного события, тем больше информации несет сообщение о появлении этого события».

(3)

n_i/N - вероятность

i=(1,2,3…k)

Р. Эшби - «Количество информации в системе или комплексе событий, тем больше, чем больше разнообразия содержится в этой системе».

В.М. Глушков - «В природе информация существует потому, что имеется неравномерность распределения энергии и вещества в системе».

(4)

Исходя из этой формулы Шеннон дал определение единицы количества информации:

Бит (bit - (bi)nary digi(t)) - получается при однократном выборе одного из двух равновероятных событий.

(5)

Число единиц информации в сообщении в битах равно числу разрядов или знаков двоичного числа, которым может быть передана информация.

С помощью формулы Шеннона мы можем определить длину слова или количество символов во вторичном алфавите, которое необходимо для передачи любого символа первичного алфавита.

(6)

m₁ - количество символов первичного алфавита (количество разнообразных событий)

m₂ - количество символов вторичного алфавита, при помощи которых мы кодируем символы первичного алфавита.

Пример № 1

m₁=32, (0,1) m₂=2

m₁=m₂ⁿ 32=2ⁿ n=5

(7)

I_A=log₂m₁=log₂32=5 бит

I_A=mlog₂m₂=5log₂2=5 бит

(8) - количество энтропии

Рассмотрим случай с разновероятностными событиями:

N=(N₁+N₂+…+N_k)

f₁,f₂,…f_k - частота появления

P₁,P₂,…P_k(P_i) - вероятность появления

Теория информации рассматривает возможности предсказания поведения вероятностных систем, то есть возможность предсказания поведения того или иного вероятностного события. Для многих случайных процессов предсказуемость их поведения может быть установлена математически. Это базируется на эргодической теории, (ergoc лат - следовательно) которая говорит, что:

имеется определенная вероятность (предсказанная) появления какого-либо события в случайном процессе, которая инвариантна по отношению к начальным условиям существования этой вероятностной системы и к определенным видам преобразования этой системы.

В технике мы рассматриваем системы, которые соответствуют эргодической теории. Это стационарные случайные процессы и стохастические случайные процессы.

В стационарных случайных процессах дисперсия и среднее квадратичное отклонение постоянны.

В стохастических случайных процессах которые являются менее предсказуемыми, мы можем из общего числа каких-либо событий, имеющих определенный интервал появления или частоту появления, определить частоту появления того или иного события, которое является пределом максимальной частоты появления событий в данной группе.

Инвариантна - т.е. независима.

«Математика, подобна жерновам мельницы, она перемелет все, что угодно, но инженеру нужно смотреть на то, что он туда засыпал».

Поведение вероятностных систем определяется двумя факторами: структурой этой системы и влиянием случайных возмущений на поведение данной системы, внешних и внутренних.

Шеннон дал общую формулу для определения количества информации, содержащейся в сообщении о появлении одного из разновероятностных событий.

Допустим событие с вероятностью Р имеет I_i=P_ilog₂P_i это сообщение встречается N_i раз I_ni=N_iP₁log₂P_i

Рассмотрим всю группу событий и определим для нее количество информации:

(9) - общая формула Шеннона для определения количества информации.

По этой же формуле мы определяем энтропию, содержащуюся в любой системе.

При N_i=const, N₁=N₂=N_k получим:

(10)

(11)

Формула Хартли является частным случаем формулы Шеннона. В формуле Шеннона для разновероятностных событий заложено доказательство того, что информация это не энтропия.

(12)

- формула Больцмана для энтропии в термодинамике (13)

n₁=x₁+x; n₂=x₂+x.

- формула Шеннона для информации (14)

Следовательно, математическое выражение энтропии в термодинамике и количество информации одинаковы и отличаются только знаком.

2. В каких единицах определяется количество информации и ее объем? Определите количество информации и ее объем в любом выбранном вами четверостишии. Каким кодом наиболее просто передать эту информацию?

Общее число неповторяемых сообщений из алфавита m₁, соответствует комбинированию символов вторичного алфавита по n символов в каждом сообщении.

(1)

Неопределенность, приходящаяся на символ первичного алфавита из m₁ равновероятных символов, когда они взаимозависимы.

(2)

(3)

I₁=log₂m₁ бит/симв

I₂=lgm₁ дит/симв

I₃=lnm₁ нат/симв

log₂m₁=3.32lgm₁; 1 бит0.3 дит.

log₂m₁=1.443lnm₁; 1 бит0.695 нат.

(4)

Если энтропия - мера неопределенности, заложенная в каком-либо алфавите, то информация - мера снятия неопределенности при появлении какого-либо сообщения о выборе одного из символов алфавита.

Количество информации - произведение общего числа сообщений (К) на среднюю энтропию (Н), приходящуюся на одно сообщение. I=KH

Объем информации отличается от количества информации:

(5)

(6)

Это произведение количества переданных символов на среднюю длину кода для неравномерных кодов (6).

Количество символов в коде вторичного алфавита (5).

Количество информации определяется относительно символов первичного алфавита, объем - относительно вторичного.

Если H=H_max, то H_max>HQ=IQ>I, то есть коды имеют избыточность.

3. Построить ход Хэмминга для передачи 4-х разрядной информационной комбинации 0101. Показать процесс обнаружения ошибки

Согласно первой таблице, наименьшая длина всей кодовой комбинации будет равна n=7; n_k=3.

Так как в семизначной кодовой комбинации 3 контрольных символа добавляется, мы их расставляем по номерам контрольной позиции - 1,2,4 и составляем макет кода.

К₁ К₂ 0 К₃ 1 0 1

Согласно табл. № 3 составим позиции кодовой комбинации путем сложения значений 0 или 1 для проверки комбинации.

П₁ П₃ П₅ П₇=К₁ 0 1 1; К₁=0

П₂ П₃ П₆ П₇=К₂ 0 0 1; К₂=1

П₄ П₅ П₆ П₇=К₃ 1 0 1; К₃=0

Предположим, что в канале связи из-за помех в кодовой комбинации была принята следующая комбинация:

0 1 0 0 1 0 1

0 1 0 0 1 1 1

Правило обнаружения ошибки в коде Хемминга.

Проводим по каждой контрольной комбинации проверку на четность, подставляя значения из полученного ошибочного сообщения.

П₁ П₃ П₅ П₇=0 0 1 1 - четная.

Определяем значение 1-го разряда номера ошибочной позиции, в младший разряд пишем 0.

П₂ П₃ П₆ П₇=1 0 1 1 - нечетная.

В следующий разряд пишем 1.

П₄ П₅ П₆ П₇=0 1 1 1 - нечетная.

В следующий разряд - 1.

Согласно таблице № 4 - 110 соответствует в позиции а₆=110.

Правильная посылка: 0100101.

Для обнаружения двойной ошибки применяется дополнительная проверка с помощью проверки на четность всей строки с применением добавочного контрольного символа.

При проверке на четность мы обнаруживаем ошибки, а проверка на определение номера позиции укажет эти ошибочные позиции.

Если проверка по номеру позиции указывает на ошибку, а проверка на четность всей строки ее не указывает, значит в посылке допущено две ошибки.

информация энтропия вероятностный эргодический

Размещено на Allbest.ru