Теория информации

В случае исхода х₁ количество информации

I₁ = - log₂ 0,99 = 0,0145 бит.

В случае исхода х₂ количество информации

I₂ = - log₂ 0,01 = 6,644 бит.

Другими словами можно сказать, больше информации связано с теми исходами, которые маловероятны. Действительно, то что наступит именно х₁ мы почти наверняка знаем до опыта (0,99), потому реализация такого исхода очень мало добавляет нашей осведомлённости. Наоборот, исход х₂ весьма редкий.

Однако такое большое количество информации мы будем при повторах опыта получать редко. Поскольку вероятность p(x₂) очень мала. А среднее количество информации будет равна:

I = 0,99I₁ + 0,01I₂ бит.

Информация и алфавит.

Рассматривая виды информации мы знаем то, что для естественной для органов чувств человека является аналоговая информация. Универсальной следует считать дискретную форму представления информации с помощью некоторого набора информации. Именно дискретная информация обрабатывается компьютером и некоторыми другими линиями связи. При этом сообщение можно рассматривать как некоторую последовательность знаков используемого алфавита. При передачи их техническим устройствам возникает проблема узнавания знака:

Каким образом «прочитать» сообщение, то есть установить исходную последовательность знаков.

В устной речи это достигается использованием различных фонем (основных звуков разного звучания), по которым мы отличаем знаки речи. В письменности это различается различным написанием букв и дальнейшего анализа написанного. Для нас важно, что может быть реализована некоторая процедура, посредством которой можно из сообщения выделять тот или иной знак. Но появление конкретного знака (буквы, цифры) в конкретном месте сообщения - это событие случайно. Следовательно, узнавание (отождествление) знака требует получения некоторой порции информации. Оценим её:

Сначала будем считать, что появление всех знаков (букв) в сообщении равновероятно.

Тогда для английского алфавита N_E = 26, для русского алфавита N_R = 33. Тогда по формуле Хартли находим: I_E = log₂ 26 = 4,700 бит.

I_R = log₂ 33 = 5,044 бит.

То есть при равномерном распределении букв получается, что некоторый знак русского алфавита несёт больше информации, чем знак английского алфавита. Это не означает, что английский язык является беднее, чем русский. Лингвистическое «богатство» языка определяется количество слов в нём и их сочетании, а это никак не связано с числом букв в алфавите. С точки зрения техники, это означает, что сообщение из равного количества символов будет иметь разную длину и соответственно время передачи. И большими они окажутся у сообщения на русском языке. Приведённые оценки информационной ёмкости букв соответствует предположению об их одинаковой вероятности появления в сообщении. На самом деле это не так. И относительная частота появляющаяся в тексте разных букв - различна.

Буква	Относительная частота
О	0,110
Е	0,087
А	0,075
С	0,055
Т	0,065

Возникает вопрос, каково среднее количество информации, приходящее на 1 знак алфавита с учётом неравной вероятности их появления в сообщении. Используется формула Шеннона:

I(X) =

p(x_i) - вероятность (относительная частота) знака номера i данного алфавита.

Необходимо отметить, что формула Шеннона справедлива только в том случае, если p(x_i) для данного знака одинакова в различных сообщениях. То, что это может быть не так легко убедится, если мы возьмём какое-либо короткое сообщение. (например, «на улице пасмурно» - с малым числом знаков), то относительная частота букв не может совпадать с приведёнными в таблице, поэтому вероятности знаков определяющиеся в сообщении содержащих много символов с тем, чтобы проявились статистические закономерности и далее считаются неизменными в течении времени, то есть:

p(x_i)p(t_i)

Применение формулы Шеннона к алфавиту русского языка даёт значение информации на средний знак.

I = 4,460 бит.

Для английского языка:

I = 4,413 бит.

Для французского языка:

I = 3,986 бит.

Для немецкого языка:

I = 4,096 бит.

В этих оценках как и в табличных пробел не учтён.

Как мы видим и для русского и английского языков учёт вероятности появляющихся в сообщении букв приводит к уменьшению среднего информационного содержания буквы, что, кстати, подтверждает справедливость формулы (12):

Несовпадение значений средней информации для французского и немецкого языков, основанных на одном алфавите, связано с тем, что частоты появления одинаковых букв в них различны. Значение средней информации на букву может быть ещё уменьшена учётом корреляции, то есть связи между буквами в словах. Дело в том, что буквы в словах появляются не в одинаковых сочетаниях. Это понижает неопределённость угадывания следующей буквы после нескольких. Например, в русском языке нет слов, в которых встречается сочетание ЩЦ, ФЪ, ЩФ, и напротив, после некоторых сочетаний можно с большей определённостью судить о появлении следующей буквы. Например, после распределительного сочетания пр всегда следует гласная буква.

Информационные характеристики каналов связи.

Входные сигналы Выходные сигналы

Количество входных и выходных сигналов не обязательно должны быть одинаковым.

Эта матрица описывает канал связи со стороны источника сообщений.

Канальная матрица источника сообщений называется матрица (1), элементы i-й строки и j-го столбца, которой представляют собой вероятности полученные приёмником сигнала при условии посылки источника сигнала .

Элементы канальной матрицы источника сообщений обладают следующими свойствами: 1.Для любой строки

,

то есть посылаемым источником i-й сигнал обязательно перейдёт в некоторый выходной сигнал.

2.Для любого столбца

Если источником посылается некоторый сигнал, то приёмником какой-либо из сигналов будет получен.

Данная схема (2) описывает канал связи со стороны приёмника сообщений.

.

Канальной матрицей приёмника сообщений называется матрица (2) элементы i-й строки и j-го столбца, которой представляют собой вероятности посылки источника сигнала и условий получения приёмника сигнала .

Свойства:

1.Для любой строки:

2.Для любого столбца:

.

Матрица объединения источника приёмника.

Информационным полным набором характеристик произвольного канала связи называется такой набор, из которого с помощью алгебраических преобразований можно получить любую информационную характеристику каналов связи.

Теорема: (о полном информационном наборе)

Информационный набор, содержащий либо: 1. - вероятности появления сигналов на входе каналов связи и - канальную матрицу источника; 2. - вероятности появления сигналов при выходе каналов связи и - канальную матрицу приёмника; 3. - канальная матрица объединения.

Докажем теорему для случая 3.

Чтобы выразить через мы воспользуемся соотношением:

Таким образом, матрица объединения является информационно-полным набором характеристик канала связи.

Количество информации при передаче сигналов с помехами.

Пусть имеется канал связи с помехами, который может искажать сигналы, используется при передаче сообщений.

x₁, x₂,..., x_n

после передачи сообщения по каналу связи на вход дан алфавит.

y₁, y₂,..., y_n

При приёме сигнала y_j нельзя достоверно утверждать какому исходному сигналу x_i он соответствует, так как существуют случайные помехи, можно преобразовать посылаемый сигнал x_i в некоторый из сигналов {y_j}

Статистика искажений описывается условными вероятностями p(x_i/y_j).

Количество информации, передаваемое по каналу связи в этом случае можно определить как уменьшение количества неопределённости состояния источника до получения сигнала y_j приёмником и после её получения.

Неопределённость состояния источника определяется её энтропией H(X).

А неопределённость источника после получения приёмником сигнала y_j - есть условная частная энтропия H(x_i/y_j). Среднее количество неопределённости состояния источника после получения некоторого из сигналов {y_j} будет равно условной энтропии H(X,Y), следовательно. что среднее количество информации I(X,Y), передаваемое от источника сообщений к приёмнику при посылке первого символа по каналу связи с помехами равно:

I(X,Y) = H(X) - H(X,Y) (1)

Величину энтропии H(X,Y) необходимо рассмотреть как велbчину потерь информации, обусловленную помехами. Количество информации обладает следующими свойствами:

1. Симметричность

I(X,Y) = I(Y,X)

2. Не отрицательность

I(X,Y)0

I(X,Y) = 0, если количество информации равно нулю, значит, помехи полностью забивают полезную информацию, то есть приёмник и источник не зависят друг от друга.

3. Максимальное количество информации, которое можно получить от источника сообщений равно его энтропии.

I_max = I(X,Y) = H(X).

Необходимо рассмотреть связь между энтропией объединения и

H(X,Y) = H(Y) + H(X/Y)

данное выражение в виде количества информации можно представить в следующей симметричной форме:

I(X,Y) = H(X) + H(Y) - H(X,Y) (2)

Для оценки среднего количества информации, приходящегося на один символ при передаче сообщения по каналу связи с помехами, записывается в следующем виде:

(3)

Избыточность и поток информации источника сообщений.

Энтропия источника сообщений корректирует количество информации приходящейся в среднем на один символ передаваемый источником. Она максимальна, если символы посылаются источником с равной вероятностью. В случаях какой-либо вероятности посылки символов различны, либо между символами источника сообщений имеются вероятности связи, энтропия будет уменьшатся.

Определение: Избыточностью источника сообщений называется следующая величина:

(1),

где H_max(X) - максимально возможная энтропия при заданном наборе сигналов.

Таким образом, если энтропия - средняя информационная нагрузка символа сообщения, то избыточность - средняя информационная нагрузка, приходящаяся на один символ сообщения.

Определение: Оптимальным источником сообщения называют источник нулевой избыточностью.

R = 0

Для реальных источников сообщений, где R>0 это говорит о том, что сообщение может сделать коротким, то есть стать без потерь информации. Допустим, получено одинаковое количество информации I0 от реального с энтропией H(X) и оптимального с энтропией Н_max(X) источника сообщений, тогда:

I₀=N*H(X)=N₁*H_max(X)(2),

где N,N₁ - количество символов, затраченных на передачу информации I₀ реальным и оптимальным источниками сообщений, соответственно, поскольку:

H(X)<H_max(X),

то N>N1, следовательно, избыточность источника сообщений приводит к тому, что требуется большое количество сигналов для передачи одной и той же информации по каналу связи по сравнению с оптимальным источником, то есть увеличивается время передачи сообщений.

Используя выражение (2) для избыточности источника сообщений можно записать в следующем виде:

(3)

Тем не менее избыточность источника сообщений бывает полезна, в частности, информационная нагрузка символов может быть использована для помехи передаваемых сообщений.

При работе источника сообщений на его выходе, отдельные сигналы появляются через исходные промежутки времени, так как каждый сигнал имеет определённую длительность . Определим .

(4)

Определение: Потоком информации сообщений называется отношение энтропий источников сообщений к средней длительности передачи сигнала.

(5)

Поток информации определяет скорость выдачи информации, то есть показывает, какое количество информации может генерироваться источником в единицу времени (характеризует источник с технической стороны).

Вычисление информационных потерь при передачи сообщений по каналам связи с помехами.

Потери информации в каналах связи описывают условной энтропией и энтропией объединения.

Если помех нет и их уровень низок, то при передачи a_i будем уверены, что получим b_j (a_i b_j).

Рассмотрим два события А и В, которые статистически жёстко связаны.

Условная вероятность P(b_j/a_i) = 1 максимальна

Условная энтропия:

В данном случае I (количество информации) содержащееся в принятом сообщении В, равно энтропии передаваемых сообщений А.

I(B,A) = H(A).

При высоком уровне помех выбранных из принятых сигналов b_j a_i, но статистическая связь будет отсутствовать.

В этом случае вероятность p(a_i) и p(b_j), есть вероятности независимых событий. Это есть вероятность независимых событий:

p(a_i/b_j) = p(a_i)

Условная энтропия равна:

(1)

Количество информации в В относительно А = 0

Информационные характеристики каналов связи лежат между этими двумя предельными случаями. При этом потери информации при передачи k-символов.

При среднем уровне помех между a_i и b_j существует статистическая взаимосвязь, которая позволяет описывать информационные характеристики реальных каналов связи с помощью энтропии объединения.

это при среднем уровне помех

*

Для потери информации при среднем уровне помех

Для вычисления среднего количества информации, содержащейся в В относительно А в условных действиях помех пользуемся следующими выражениями:

Из выражения * для описания необходимо задать канальную матрицу с условной вероятностью p(a_i/b_j) и безусловной вероятностью

И столбцам

Сумма по строкам даст единицу.

Максимальный уровень помех энтропии канала связи будет равна log₂m, а количество информации:

Характеристики канала связи.

Ограничим дальнейшее рассмотрение каналами связи, передача сообщений по которым осуществляется за счёт электрических импульсов - с практической точки зрения, а так же для компьютерных линий связи, эти каналы представляют наибольший интерес.

Ширина пропускания.

Любой преобразователь, работа которого основана на использовании колебаний (электрических или механических) может формировать и пропускать сигналы из ограниченной области частот. Это следует отнести к радио и телевизионной связи - весь частный спектр разделён на диапазоны (ДВ, СВ, КВ1, КВ2, УКВ, ДМВ), в пределах которых каждая станция занимает свой под диапазон, чтобы не мешать вещанию других. Интервал частот, используемый данным каналом связи для передачи сигналов, называется шириной полосы пропускания. Для построения теории важна не сама ширина полосы пропускания, а максимальное значение частоты из данной полосы (Vm), поскольку именно ей определяется возможная скорость передачи информации по каналам.

Длительность элементарного импульса.

При частоте Vm период одного колебания равен . За это время сигнал будет иметь одно амплитудное значение (импульс) и одно минимальное (пауза). Очевидно, продолжительность элементарного сигнала равно:

,

то сеть каждая секунд можно передавать импульс или паузу, связывая с их последовательностью определённые коды. Использовать сигналы большей длительности, чем в принципе возможно (например, 2) - это не приведёт к потере информации, хотя снизит скорость передачи по каналу. Использование же сигналов более коротких, чем может привести к информационным потерям, поскольку сигналы тогда будут принимать какие-то промежуточные значения между минимумом и максимумом, что затруднит их интерпретацию. Таким образом, Vm - определение длительности элементарного сигнала , используемого для передачи сообщения.

Пропускная способность канала связи.

Для оценки информационных свойств системы передачи информации характеристики каналов связи имеют первостепенное значение, т.к. с одной стороны в канала связи на передаваемый сигнал воздействуют помехи, а с другой любой канал связи накладывает техническое воздействие на скорость передачи информации. Одной из важнейших характеристик является пропускная способность канала связи. Пусть -последовательность сигналов(сообщений), генерируемых источником за время Т, а -последовательность сигналов, принятых приёмником за это же время. Количество информации, содержащееся в относительно посланного сообщения, обозначим через I(,) .

Определение: Скоростью передачи информации по каналам связи называется предел отношения количества переданной информации ко времени передачи информации, когда время передачи информации стремится к бесконечности:

(1)

Видно, что скорость передачи информации определяет среднее количество информации, получаемое на выходе канала связи в единицу времени. Пропускной способностью канала связи называется максимальное количество информации, который способен передать в единицу времени:

(2)

Пусть в канале связи помехи отсутствуют, тогда:

где М - длинна сообщения, Н(Х) - энтропия источника сообщений. Известно, что максимальное значение достигается в том случае, когда все сигналы, генерируемые источником сообщений равно вероятны, то есть Н(Х) = log(N),

где N - основание источника алфавита, когда максимальная пропускная способность связи будет равна:

(3)

(4)

где - средняя длительность передачи сигнала источником сообщений, поскольку = к - среднее количество сигналов, передаваемых источником в единицу времени, то пропускную способность каналов связи, в которых отсутствуют помехи рассчитать по формуле:

С = К*log(N) (5)

Нахождение пропускной способности канала связи с помехами, в общем случае, достаточно сложная задача. Величина её будет зависеть от вероятностей искажения символов при передаче сообщения, от вида искажения(взаимозаменяемость символов или возникновение некоторых новых символов) и тому подобное. Однако, для некоторых простейших случаев её можно определить достаточно просто.

Пусть имеется источник информации, который генерирует 2 различных символа и с вероятностями Р()=Р и Р()=1-Р . Пусть вероятность искажения любого символа в канале связи постоянна и равна , тогда пропускная способность канала связи с помехами может быть записана следующим образом (4), где энтропия источника определяется обычным образом:

Н(Х)=-[p*log(p)+(1-p)*log(1-p)]

Учитывая, что:

P(/)=

Условная энтропия Н(Х/Y) может быть записана в виде:

Н(Х/Y)=-p[( 1-)*log( 1-)+*log()]-(1-p)*[ *log()+(1-)]

Максимальное значение пропускной способности канала связи будет достигаться тогда, когда вероятности посылки сигналов источником сообщений будут одинаковы p=1-p=0,5. В этом случае

C=K*[ (1-)*log( )-(1-)*log( 1-)] (6)

Таким образом, пропускная способность симметричного и двоичного канала связи определяется таким образом вероятностью ошибки , а величина

- [ *log()-(1-)](7)

Характеризует средние потери информации, приходящиеся на один символ передаваемого сообщения, связанные с наличием помех в канала связи. Аналогично может быть определена и пропускная способность канала связи и для более сложных случаев. Очевидно, что передача без задержек генерируемой источником сообщений информации по каналу связи возможно не всегда, а при вполне определённых соотношениях между характеристиками источника сообщений и канала связи. Условия передачи информации по каналу связи без задержек определяются теоремами Шеннона. Сформулируем их:

1-я теорема Шеннона.

Если пропускная способность канала связи С больше энтропии источника сообщений , то всегда возможно закодировать достаточно длинное сообщение так, чтобы оно передавалось по каналу связи без задержек, если же С <, то передача информации без задержек невозможна, то есть теорема Шеннона декларирует возможность создания системы эффективного кодирования дискретных сообщений, у которых число двоичных символов на 1 символ сообщений асимптотически стремится к энтропии источника сообщений (в отсутствии помех). Задача эффективного кодирования описывается триадой:

- кодирующее устройство - В.

Здесь Х, В - соответственно входной и выходной алфавит. Под множеством можно понимать некоторые знаки (буквы, слова, предложения). В - множество, число элементов которого, в случае кодирования знаков числами, определяется основанием системы счисления (например, m = 2). Кодирующее устройство сопоставляет каждому сообщению из Х кодовую комбинацию составленную из символов множества В. Ограничением этой задачи является отсутствие помех. Требуется оценить минимальную среднюю величину кодовой комбинации.

Для решения данной задачи должна быть известна вероятность появления сообщений , которому соответствует определенное количество символов алфавита В. Тогда математическое ожидание количества символов из В определяется следующим образом:

(средняя величина)

Этому среднему числу символов алфавита В составляет максимальная энтропия:

Для обеспечения передачи информации, содержащейся в сообщении Х кодовыми комбинациями из В должно выполнятся условие:

В этом случае закодированное сообщение имеет избыточность

Коэффициент избыточности:

Выпишем эти значения в виде таблицы 6. Имеем

то есть код практически не имеют избыточности. Видно, что среднее число двоичных символов стремится к энтропии источника сообщений.

№			код
1	0,19		10	2	0,38	- 4,552
2	0,16		001	3	0,48	- 4,2301
3	0,16		011	3	0,48	- 4,2301
4	0,15		101	3	0,45	- 4,1054
5	0,12		111	3	0,36	- 3,6706
6	0,11		111	3	0,33	- 3,5028
7	0,09		1011	4	0,36	- 3,1265
8	0,02		1001	4	0,08	- 3,1288

Вторая теорема Шеннона устанавливает принципы помехоустойчивого кодирования.

2-я теорема Шеннона.

Пусть имеется источник информации Х, энтропия которого в единицу времени равна , и пропускной способностью С, тогда если , то при некотором кодировании передача сообщений без задержек искажений невозможно.

Для дискретного канала с помехами теорема утверждает, что если скорость создания сообщения меньше, либо равна пропускной способности канала, то существует код, обеспечивающий передачу со сколь угодно малой частотой ошибок, то есть при наличии помех в канале связи всегда можно найти такую систему кодирования, при которой сообщения будут переданы с заданной достоверностью. При наличии ограничения пропускная способность канала связи должна превышать производительность источника сообщений.

Доказательство теоремы: основывается на следующих рассуждениях:

Первоначально последовательность X={} кодируется символами из В так, что достигается максимальная пропускная способность (канал не имеет помех). Затем в последовательность из В, длины n вводится r символов, и по каналу связи передаётся новая последовательность из (n+r)-символов. Число возможных последовательностей длины (n+m) больше числа возможных последовательностей длины n. Множество всех последовательностей длины (n+ r) может быть разбита на n подмножеств, каждому из которых сопоставлена одна из последовательностей длины n. При наличии помехи на последовательность из (n+r) выводит её из соответствующего подмножества с вероятностью сколько угодно малой.

Это позволяет определять на приёмной стороне канала, какому подмножеству принадлежит искажённая помехами принятая последовательность длины (n+r), и тем самым восстановить исходную последовательность длины n.

Это теорема не даёт конкретного метода построения кода, но указывает на пределы достижимого в создании помехоустойчивых кодов, стимулирует поиск новых путей решения этой проблемы.

Пример: Двоичный источник информации характеризуется потоком информации 200 бит/сек. Сколько параллельных каналов связи требуется для передачи этой информации без задержек, если каждый канал может передавать не более 80 двоичных сигналов в секунду, а вероятность искажения любого символа равна 0,1?

Решение: Потеря информации, приходящаяся на один символ сообщения передаваемого по каналу связи рассчитывается по формуле 13,7

.

Максимальное количество информации, которое можно передать по одному каналу при наличии помех будет составлять:

бит/сек.

Для передачи всей информации, генерируемой источником без задержек требуется использовать:

каналов связи.

Вычисление скорости передачи информации и пропускной способности связи.

В условиях отсутствия помех скорость передачи информации определяется количеством информации, переносимым символом сообщения в единицу времени и равна:

(29),

где

n - количество символов, вырабатываемых источником сообщений в единицу времени;

Н - энтропия (неопределённость), снимаемая при получении первого символа сообщения, вырабатываемых данным источником.

Скорость передачи информации также может быть представлена:

бит/сек (30)

где - время передачи первого двоичного символа.

Скорость передачи информации всегда определяется относительно первичного алфавита и зависит от его энтропии, а скорость передачи сигналов вычисляется относительно вторичного алфавита (если аппаратура обеспечивает передачу всех качественных признаков вторичного алфавита). Таким образом, скорость передачи информации зависит от информационных характеристик источника сообщений, а скорость передачи сигналов - от быстродействия аппаратуры. Величины эти не следует путать, та как они вычисляются по разным формулам и имеют разные размерности. Так, в отличии от формулы (30), скорость передачи сигналов вычисляется по формуле:

,

где - время передачи первого символа вторичного алфавита.

Для сообщений, составленных из равновероятных взаимонезависимых символов равной длительности, скорость передачи информации:

бит/сек (31)

В случае неравновероятных символов равной длительности:

бит/сек (32)

В случае неравновероятных и взаимозависимых символов разной длительности:

 бит/сек (33)

Пропускная способность (или ёмкость канала связи) - есть максимальная скорость передачи информации по данному каналу связи. Под каналом связи подразумевается совокупность средств, предназначенная для передачи информации от данного источника сообщений к адресату. Выражение для пропускной способности отличается от формулы (29) тем, что пропускную способность характеризует максимальная энтропия:

бит/сек (34).

Для двоичного кода:

бит/сек

При наличии помех пропускная способность связи вычисляется как произведение количества принятых в секунду знаков n на разность энтропии источника сообщений относительно принятого сигнала:

бит/сек (35)

или

(36)

Если символы источника сообщений неравновероятны и взаимозависимы, то энтропия источника считается по формуле общей условной энтропии. Действие помех в канале связи также может быть подсчитано по формуле условной энтропии. Противоречий в этом нет, так как в этом случае в формулах условных энтропий будут участвовать разные условные вероятности появления одного символа в зависимости от вероятности появления некоторого другого символа, во втором случае это будут условные вероятности перехода одного символа в другой, под действием помех в канале связи. Безусловные вероятности появления символов на выходе источника сообщений (или на входе приёмника) должны быть заданы или определены по условию. Для симметричных бинарных каналов, в которых сигналы передаются при помощи двух качественных признаков и вероятность ложного приёма:

вероятность правильного приёма:

потери учитываются при помощи условной энтропии вида:

бит/символ (37)

Пропускная способность таких каналов:

бит/сек (38)

Для несимметричного бинарного канала связи:

(39)

На практике чаще всего приходится решать задачу определения пропускной способности при заданном проценте искажений в канале связи. В случае бинарных каналов задаётся вероятность или процентное соотношение перехода 1 в 0, и наоборот. Пропускную способность бинарных каналов с заданным процентным искажением удобно вычислить пи помощи таблицы 4.1. Для симметричных дискретных каналов с числом качественных признаков m>2 пропускная способность

бит/сек (40)

Свойства симметричного канала связи:

1. В симметричном канале связи H(A) = H(B)

2. Условная энтропия H(A/B) = H(B/A)

3. Среднее количество информации в принятом ансамбле сообщений относительно переданного

I(A,B) = I(B,A) = H(A) - H(B/A) = H(A) - H(A/B) = H(B) - H(B/A) = H(B) - H(A/B) = H(A) + H(B) - H(B,A)

4. Канальная матрица для симметричного канала связи со стороны источника и со стороны приёмника выглядит одинаково.

5. В симметричном канале связи сумма вероятностей в каждой строке и в каждом столбце равна единице.

6. Пропускная способность симметричного канала связи от А к В равно пропускной способности того же канала связи от В к А.

Скорость передачи информации зависит от экономности вторичного алфавита. Чем больше избыточность кода, тем меньше скорость передачи информации. Часто бывает удобно оценивать возможную скорость передачи информации независимо от реальных характеристик канала связи, а по информационным характеристикам кода. В этом случае выражение для скорости передачи информации можно записать в виде:

эл./ед.времени, где

;

n - число сигналов (элементарных посылок), которые можно передать по данному каналу связи за единицу времени.

Для двоичных кодов длинной в n символов наибольшая скорость передачи

бит/ед.времени = букв/ед.времени,

где Н следует понимать как энтропию источника сообщений (первичного алфавита). В этом случае каждая возможная комбинация символов вторичного алфавита соответствует одному из передаваемых сообщений независимо от того, буква ли это или i-ое состояние системы.

Для кодов, обнаруживающих одиночную ошибку, число кодовых комбинаций длиной в L равно 2, т.е. для передачи сообщения используется только половина всех возможных комбинаций символов вторичного алфавита (например, только счетным числом единиц).

Скорость передачи в этом случае равна

бит/ед.времени = букв/ед.времени.

Для кодов исправляющих одиночную ошибку, число добавочных символов должно быть не меньше трёх, т.е. они обладают большей избыточностью, чем коды, обнаруживающие одиночную ошибку, и меньшей скоростью передачи информации, которая в этом случае равна

бит/ед.времени = букв/ед.времени.(41)

Число контрольных символов k может быть вычислено из соотношения

Для кодов Хэмминга, исправляющих одиночную ошибку, k может быть определено как , где квадратные скобки означают, что берётся ближайшая округлённая в большую сторону целое число.

Относительная скорость передачи информации одним сигналом кода, исправляющего одиночную ошибку,

бит/ед.времени.(42)

Так как для кодов, исправляющих две ошибки,

,

то

бит/ед.времени.(43)

Априорная вероятность	Условная вероятность	Вероятность совместных событий	Значение энтропий
	Относительно принятого сигнала	Относительно посланного сигнала

Размещено на Allbest.ru