Моделирование систем обработки информации

Теория помехоустойчивого кодирования базируется на результатах исследований К. Шеннона.

Теорема Шеннона. При любой скорости передачи двоичных сигналов, меньшей, чем пропускная способность канала связи, существует такой код, при котором вероятность ошибочного декодирования может быть сделана произвольно малой; если скорость передачи больше пропускной способности канала связи, то вероятность ошибки не может быть сделана произвольно малой.

На основе теории помехоустойчивого кодирования разработаны помехоустойчивые коды (их также называют корректирующими). Эти коды позволяют не только обнаруживать ошибки, но и исправлять их.

Рассмотрим двоичный код длины n. С помощью этого кода можно получить N=2n комбинаций. Ошибка при приеме состоит в том, что в результате действия помехи вместо 1 принят 0 или вместо 0 принята 1. Когда в кодовой комбинации один знак заменяется другим, то ошибка называется одиночной, если два -- двойной, если три -- тройной и т.д.

Если в процессе передачи используются все N комбинаций, то ошибка любой кратности остается незамеченной, так как при этом одна из возможных комбинаций переходит в другую. Но любая кодовая комбинация является допустимой -- разрешенной. Поэтому с полным основанием принятую комбинацию можно считать верной, хотя на самом деле она является неверной.

Рассмотрим пример. Пусть четыре разных сообщения Z1, Z2, Z3 и Z4 закодированы двухзначным кодом: n=2; N=2n =22=4.

Следовательно, передаваемые сообщения могут быть закодированы так:

Буква	Z1	Z2	Z3	Z4
Код	00	01	10	11

Если передается сообщение Z2, то ошибка при приеме в первом разряде переводит комбинацию 01 в комбинацию11, то есть вместо сообщения Z2 принимается сообщение Z4. Ошибка во втором разряде переводит комбинацию 01 в комбинацию 00 и вместо сообщения Z2 будет принято сообщение Z1и т.д.

Это происходит потому, что комбинации 00 и 01, 10 и 11, 01 и 11различаются только в одном знаке. Для того чтобы можно было обнаружить одиночную ошибку необходимо, чтобы комбинации между собой различались не менее чем в двух знаках. В этом случае одиночная ошибка даст комбинацию, которая от истинной и от любой другой будет отличаться в одном или двух знаках. На этом основан принцип построения кода, обнаруживающего ошибку. Принцип формулируется так: правило построения кода, позволяющего обнаруживать одиночную ошибку, заключается в том, что из всех возможных комбинаций используется только половина.

Рассмотрим пример построения кода, позволяющего обнаруживать одиночную ошибку.

Пример. Необходимо для передачи сообщений Z1, Z2, Z3, Z4 построить код, позволяющий обнаруживать одиночную ошибку.

Для построения кода нужно, чтобы выбранные четыре комбинации отличались друг от друга не менее чем в двух разрядах. Это возможно, если для кодирования использовать трехразрядные кодовые комбинации, но использовать из них только половину. Всего комбинаций при n=3 равно N=23 =8.

Поэтому для кодирования выберем только четыре:

Таблица 1

Буква	Z1	Z2	Z3	Z4
Код	000	011	101	110

Остальные четыре комбинации 001, 010, 100, 111 будут запрещенными. Пусть при приеме сообщения Z2 произошла ошибка во втором разряде и вместо комбинации 011 принята комбинация 001. Эта комбинация относится к запрещенным и следовательно принятая комбинация является ошибочной.

В рассмотренном примере устанавливается только факт ошибки, но нет ответа на вопрос: какая из четырех комбинаций была передана. Для того, чтобы установить не только наличие ошибки, но и указать, какая комбинация передавалась, необходимо построить код, позволяющий исправить ошибку. В таком коде все кодовые комбинации должны отличаться не менее, чем в трех разрядах. Для этого кода одиночная ошибка дает кодовую комбинацию, отличающуюся от истинной в одном разряде, а от ближайшей разрешенной не менее, чем в двух разрядах.

Пример. Закодировать четыре сообщения Z1, Z2, Z3 и Z4 так, чтобы можно было обнаруживать и исправлять одиночную ошибку.

Для кодирования необходимо выбрать пятиразрядный код и из всех комбинаций отобрать только отличающиеся друг от друга не менее чем в трех разрядах:

Таблица 2

Буква	Zl	Z2	Z3	Z4
Код	00000	01101	10110	11011

Пусть вместо переданной комбинации Z2=01101 принята комбинация 01001. Такой комбинации среди разрешенных нет. Поэтому сравним эту комбинацию со всеми разрешенными. В результате сравнения получим: от Z1 отличие в двух знаках, от Z3 отличие в пяти знаках, от Z4 отличие в двух знаках, а от Z2 отличие в одном знаке. Следовательно, была передана комбинация Z2 и необходимо принятую комбинацию исправить, то есть изменить во втором разряде 0 на 1.

15.2 Общий принцип построения помехозащитных кодов

Из рассмотренных ранее примеров ясно, что помехоустойчивость кода достигается путем введения избыточных символов в кодовую комбинацию. Поэтому кодовая комбинация состоит из nИ информационных символов и nK -контрольных символов.

При построении двоичного кода задача состоит в определении числа контрольных символов nK, если известно число nИ информационных символов или общая длина кода . Число информационных разрядов определяется числом сообщений, которые нужно передать: . При nK контрольных символов можно образовать двоичных комбинаций.

Требуемое число NK можно определить, если учесть следующее. Для исправления одиночной ошибки нужно:

- указать, есть ли ошибка или нет;

- если есть ошибка, то указать в какой позиции из общего числа n позиции она находится (для исправления ошибки в двоичном коде достаточно указать место ошибки). Таким образом, нужна одна кодовая комбинация для ответа на вопрос да или нет о наличии ошибки и n комбинаций для указания номера ошибочной позиции, поэтому:

или (1)

Так как , то (2)

15.3 Код Хемминга

Код Хемминга -- один из наиболее распространенных систематических кодов. Он очень удобен и прост при технической реализации для обнаруживания и исправления одиночной ошибки.

В кодовой комбинации входят nИ информационных и nK контрольных символов. Всего символов в коде . Соотношение между n, nИ и nK определяется формулами (1) и (2). По этим формулам рассчитаны nИ и nK и составлена таблица 3.

Таблица 3

n	nИ	nK	n	nИ	nK	n	nИ	nK	n	nИ	nK
1	0	1	5	2	3	9	5	4	13	9	4
2	0	2	6	3	3	10	6	4	14	10	4
3	1	2	7	4	3	11	7	4	15	11	4
4	1	3	8	4	4	12	8	4	16	11	5

Зная параметры кодирующего кода, определяют, какие позиции будут информационными, а какие - контрольными. Практика показала, что номера контрольных символов удобно выбирать по формуле 2i, где i - 0,1,2,3,… - натуральный ряд чисел. Номера контрольных символов в этом случае равны 1, 2, 4, 8, 16, 32, ... . Затем определяют значения контрольных символов (0 или 1), руководствуясь следующим правилом: сумма единиц на проверочных позициях должна быть четной. Если эта сумма четна - значение контрольного символа 0, если нечетна - 1.

Проверочные позиции выбирают следующим образом. Составляют таблицу для ряда натуральных чисел в двоичном коде (исключая нулевую). Число строк таблицы равно - . Первой строке соответствует проверочный коэффициент a1, а второй a2 т.д. (смотри таблицу 4).

Таблица 4

Номера строк	Числа	Коэффициенты	Номера строк	Числа	Коэффициенты	Номера строк	Числа	Коэффициенты
1	0001	а1	6	0110	а6	11	1011	а11
2	0010	а2	7	0111	а7	12	1100	а12
3	0011	а3	8	1000	а8	13	1101	а13
4	0100	а4	9	1001	а9	14	1110	а14
5	0101	а5	10	1010	а10	15	1111	а15

Затем выявляют проверочные позиции, выписывая коэффициенты по следующему правилу: в первую проверку входят коэффициенты, которые содержат 1 в младшем разряде, т.е. а1,а3,а5,а7,а9,а11,а13,а15 и т.д.; во вторую проверку - коэффициенты, которые содержат 1 во втором разряде, т.е. а2,а3,а6,а7,а10,а11,а14,а15 т.д.; в третью проверку - коэффициенты, которые содержат 1 в третьем разряде и т.д. Номера проверочных коэффициентов соответствуют номерам проверочных позиций, это позволяет составить общую таблицу 5 проверок.

Таблица 5

Номера проверок	Проверочные позиции	Позиции контрольных символов
1	1,3,5,7,9,11,13,15,17,19,…	1 (20)
2	2,3,6,7,10,11,14,15,18,19,22,23,28,29,30,31,…	2 (21)
3	4,5,6,7,12,13,14,15,20,21,22,23,28,29,30,31…	4 (22)
4	15,24,25,8,9,10,11,12,13,14,26,27,28,29,30,31,40,41,42,…	8 (23)

Согласно принципу формирования проверочного кода в каждую последовательность элементов, охватываемых проверкой, должен входить только один контрольный элемент. Первая контрольная позиция входит только в первую проверку, вторая -- во вторую, четвертая -- в третью, восьмая - в четвертую, поэтому на этих позициях и будут расположены контрольные символы. В последовательность элементов, охватываемых проверкой, входят номера не выше n.

Лекция № 16. ИНФОРМАЦИЯ И ЕЕ ВИДЫ

Понятие информации является определяющим понятием кибернетики, а теория информации есть составная часть кибернетики как науки. Кибернетика -- это наука о связях переработки информации и управления в технических системах, живой природе и обществе. Кибернетика как наука была провозглашена в 1948г. американским математиком Винером.

В теории управления информация - количественная мера устранения неопределенности, мера организованности системы. С практической точки зрения, информация (разъяснение, изложение) - это сведения, являющиеся объектом генерирования, хранения, передачи, преобразования, отображения и восприятия.

На этапах передачи информация проявляет себя в виде сигналов. Сигналом (от лат. - знак) называется процесс или явление, несущее сообщение о каком-либо событии, состоянии объекта или передающее команды управления, связи и оповещения. Следовательно сигнал является материальным носителем информации. Понятие сигнала было впервые сформулировано в кибернетике.

Но своей физической природе сигналы бывают механическими (перемещение и деформация объектов, изменение давления), тепловыми (изменение температуры), световыми (изменение силы света, освещенности, цвета изображения, зрительный образ), электромагнитными (радиоволны, рентгеновское излучение), звуковыми (акустические колебания), электрическими (изменение силы тока или напряжения - амплитуды, частоты или фазы сигнала). При переработке информации в полиграфии используются в основном сигналы двух видов: электрические и световые. Этап отображения информации обычно предусматривает использование оптической формы сигнала.

На этапе хранения информация определяется состоянием - хранителя (носителя) информации.

В зависимости от объекта, о котором собирается информация, она делится на технологическую, техническую, научную, экономическую, социальную, медицинскую, культурную.

16.1 Количественная мера информации

В теории информации понятие информации в чистом виде не определяется. Необходимым и достаточным для построения теории является понятие количества информации. Вводимая мера информации должна быть удобной для анализа и синтеза, для передачи и хранения информации, и «нечувствительной» к смыслу, ценности и степени правдивости информации.

Количество информации должно определяться через нечто общее. Этим общим, характеризующим факт получения произвольной информации, является, во-первых, наличие опыта. Всякая информация получается только в результате опыта. Опытом может быть чтение книги, прослушивание радио, визуальное наблюдение, измерение некоторого параметра тем или иным прибором и т.д. Во-вторых, до опыта должна существовать некоторая, неопределенность в том или ином исходе опыта. В самом деле, если бы получателю до опыта было известно, какое сообщение он получит, то, получив его, он не приобрел бы никакого количества информации.

Таким образом, до опыта всегда имеется большая или меньшая неопределенность в интересующей нас ситуации. Разность между этими количествами неопределенности до и после опыта можно отождествить с количеством полученной информации в результате такого опыта.

В этой ситуации к количеству информации (или, что тоже самое, к количеству неопределенности до опыта) можно предъявить три априорных условия.

Количество получаемой информации больше в том опыте, у которого большее число возможных исходов.

Опыт с единственным исходом несет количество информации, равное нулю.

3. Количество информации от двух независимых опытов должно равняться сумме количеств информации от каждого из них.

Функцией от n - удовлетворяющей трем поставленным условиям, является логарифмическая функция. Итак, количество информации от опыта с n исходами при условии, что после опыта неопределенность отсутствует,

где c и б - произвольные постоянные.

Если исходы опыта считать равновероятными, т.е. вероятность любого исхода равна , то

Принимая с = 1, б = 2, получим количество информации в единицах бит, получаемый в результате опыта с двумя равновероятными исходами. Другая единица («нат») получается, если использовать натуральные логарифмы, обычно она употребляется для непрерывных величин.

Если исходы опыта неравновероятны, то усредненное количество информации будет:

где - энтропия.

Это означает, что каждой реализации результатов наблюдений соответствует своя энтропия. Эта энтропия является величиной случайной и априорной после проведения опыта она будет равна нулю. Поясним это следующим примером. Известна вероятность, что событие произойдет P i = 7/8 и вероятность, что оно не произойдет P i = 1/8, т.е. вероятности показывают с большой степенью достоверности, что событие произойдет. Если нам сообщают, что событие произошло, то количество информации этого сообщения будет

бит

Если мы получаем сообщение, что событие не произошло, то количество информации

бит.

Если априори известно, что вероятность события равна Р = 1, то сообщение об этом событии не дает нам никакой информации.

16.2 Энтропия как мера неопределенности

Энтропией называется мера вариантности системы или мера неопределенности результатов наблюдения какого-либо события.

Результаты случайных событий нельзя определить заблаговременно, так как им присуща неопределенность. Отсюда вытекает необходимость введения количественной меры неопределенности наблюдения случайных событий.

Формула, определяющая энтропию, выводится через результаты наблюдений, которые нумеруются в двоичной системе счисления с учетом следующих правил:

Равновероятные результаты наблюдений обозначаются одним и тем же количеством двоичных знаков.

Чем больше вероятность результата, тем меньшим числом двоичных знаков он нумеруется.

Результаты наблюдений разбиваются на две группы так, чтобы сумма вероятностей в каждой группе была близка к Ѕ, но при этом так, чтобы в первой группе были события с большими вероятностями. Всем результатам первой группы приписывается первый двоичный знак 1, а второй - 0. Чтобы определить второй двоичный знак нумерации результатов, каждая из двух групп разбивается еще на две подгруппы. Сумма вероятностей в этих подгруппах должна быть примерно равной ј. Первой и третьей подгруппам присваивается второй двоичный знак 1, а второй и четвертой - 0. Продолжая такое разбиение на все более мелкие подгруппы и обозначив номер результата наблюдений m-значным двоичным числом, то вероятности всех возможных испытаний будут определяться

,

где i =1,2,...;m, a m1,m2,…,mm- целые положительные числа.

Количество двоичных знаков представляет собой случайную величину, вероятности значений которой соответственно.

Причем выполняется условие

За меру неопределенности результатов наблюдений целесообразно принять математическое ожидание числа двоичных знаков

Так как , то . Поэтому формула может быть переписана в следующем виде:

(1)

Эта формула была предложена Шенноном для количественного определения энтропии. Она является обобщением меры неопределенности результатов наблюдений, предложенной ранее Хартли для случая равновероятных наблюдений. Единицей измерения энтропии является один двоичный знак бит. Если же в формуле (1) был бы натуральный логарифм то единицей измерения был бы нат. Необходимо отметить, что эта натуральная единица используется очень редко.

Вполне определенный смысл имеет и следующая зависимость

Она означает, что каждой реализации результатов наблюдений соответствует своя энтропия. Она приписывается к каждой отдельной реализации. Информация, получаемая после выяснения реализации, будет выражаться .

16.3 Свойства энтропии и их доказательства

Свойство 1. Энтропия является вещественной, неотрицательной величиной. Так как изменяется от 0 до 1, то отрицателен и, следовательно, величина является положительной.

Свойство 2. Энтропия - величина ограниченная. Для слагаемых в диапазоне изменения от 0 до 1 ограниченность энтропии очевидна. Найдем теперь предел, к которому стремится произвольное слагаемое при , так как в этом случае величина неограниченно возрастает:



Введем обозначение, тогда

Используя правило Лопиталя, находим

Таким образом, и в этом случае энтропия является ограниченной.

Свойство 3. Энтропия обращается в нуль в том случае, когда вероятность одного из состояний равна единице. Полагая из формулы

находим Н = 0. Это означает, что состояния событий полностью определены.

Свойство 4. Энтропия максимальна, когда все события равновероятны. Чтобы доказать это свойство, необходимо воспользоваться методом множителей Лагранжа. Введем некоторую функцию и производя определенные математические преобразования получим

,

Именно в таком виде Р.Хартли получил формулу для энтропии при равной вероятности событий.

Свойство 5. Энтропия двух независимых опытов с числом исходов, равных m1 и m2, является суммой энтропии каждого из опытов, взятых в отдельности. Совместная энтропия определяется формулой

где , а - вероятности i-го и j-го исхода соответственно. Формула может быть переписана в следующим виде:

.

Преобразовав эту сумму, имеем

.

Учитывая очевидные равенства и

Получим . Таким образом, свойство 5 также доказано.

16.4 Энтропия взаимосвязанных событий и их свойства

Пусть имеется некоторый источник сообщений, связанный каналом передачи с приемником информации. Взаимосвязь задается условной вероятностью Р(j|i) того, что после появления символа j появляется символ L. Неопределенность всех символов по отношению к символу i характеризуется энтропией

.

Общая энтропия определяется математическим определением как случайной величины энтропии, что после появления символа j появится символ i

.

Объединяя эту схему и подставляя значение , получаем

(1)

Условная энтропия записывается в виде , что выражает неопределенность значения у при заданных значения х.

Рассмотрим теперь два параллельно работающих источника, выдающих дискретные сигналы х и у. Появление на выходе обоих источников любой пары значений сигналов хi и уi определяется вероятностью Р(i,j). Если число возможных значений каждого из сигналов равно m, то общее число всех возможных комбинаций сигналов будет равно m2.

Систему двух сигналов х и у можно заменить одним источником, выдающим сигнал z, число возможных значений которого s = m2, а вероятность появления комбинаций Рк = Р(i, j). Энтропия этого источника будет

Учитывая, что Н(z)=Н(х, у), находим совместную энтропию двух параллельно работающих и связанных друг с другом источников:

(2)

Найдем зависимость между совместными и условными энтропиями. Условная вероятность Р(i|j) -- вероятность того, что появление сигнала х на выходе первого источника сопровождается появлением сигнала у на выходе второго, - равна

a условная энтропия

(3)

Очевидные соотношения

.

И можно преобразовать к следующей форме:

(4)

Вычтем из формулы ( 2) формулу ( 4), тогда имеем

Подставляя сюда значения вероятностей из формулы (3), получаем

.

Правая часть этой зависимости равна Нx(y), поэтому

.

Аналогичным путем находим .

16.5 Свойства энтропии взаимосвязанных событий

Свойство 1. Сумма энтропии двух источников сигналов х и у равна или больше их совместной энтропии:

.

В частном случае независимых сигналов х и у и P(i,j)=PiРj , как это было показано ранее, имеет место равенство

.

Свойство 2. Энтропия источника со взаимосвязанными сигналами меньше энтропии того же источника с независимым появлением сигналов:

16.6 Количество информации в дискретных сообщениях

Если источник сигнала выдает m различных сигналов, из которых формируются сигналы в n момент считывания, то общее число возможных реализаций сигнала N будет равно

.

B том случае, когда n велико и хотя бы две вероятности появления сигналов различны, т.е. не равновероятны, то все реализации сигнала от источника могут быть разбиты на две группы - высоковероятную и маловероятную.

При оценке количества информации в сигнале, вырабатываемом источником, целесообразно и достаточно учитывать только высоковероятную часть реализаций, так как вклад маловероятной части реализаций в количественную оценку информации будет мал. Обозначив количество таких реализаций числом N1, сможем записать количество информации как:

,

Где - число сигналов в каждой из реализаций.

Количество информации равно логарифму с основанием два:

Подставляя сюда значение числа N1 и после некоторых преобразований получим окончательную формулу количества информации

.

Сравнивая между собой формулу определения энтропии и вышеприведенную формулу, можно установить, что

Где n - число сигналов в каждой реализации.

Отсюда следует совпадение энтропии с количеством информации на один отсчет сигнала.

Если исходы неравновероятны, то усредненное количество информации

16.7 Количество информации во взаимосвязанных объектах

Если рассматривать два объекта, то количество информации в источнике коррелированного сигнала за один отсчет будет равно энтропии H(j|i). За n отсчетов количество информации будет

Подставляя сюда значение энтропии, находим

Когда источники двух взаимосвязанных сигналов х и у работают параллельно и совместная энтропия двух источников определена Н(х,у),то количество информации в них будет

После подстановки сюда энтропии находим

Рассмотрим задачу о количестве информации при приеме сигналов в условиях случайных помех. Значение принятого сигнала уj в этих условиях за счет искажений перестанет полностью соответствовать переданному сигналу хi.

Условная энтропия Нy(х) при этом будет характеризовать степень неопределенности сигнала х при приеме конкретного сигнала у.

Количество информации при этом будет равно разности:

После подстановки сюда значений энтропии и преобразований получаем



16.8 Количество информации в непрерывных сигналах

Для определения количества информации в одиночном сигнале необходимо воспользоваться зависимостью непрерывного квантованного сигнала:

Запишем значения количества информации для различных законов распределений случайных величин:

- нормального:

- экспоненциального:

- равномерного:

Отсюда следует, что количество информации возрастает с уменьшением шага квантования сигнала по амплитуде дх и увеличением дисперсии.

В том случае, когда два источника выдают сигналы параллельно, количество информации в общем виде в них будет

Приведем значение количества информации для нормального распределения

Из этой формулы также усматривается зависимость количества информации от дисперсий сигналов и шагов их квантования.

Лекция № 17. ПЕРЕДАЧА ИНФОРМАЦИИ ПО КАНАЛАМ СВЯЗИ

17.1 Классификация каналов передачи информации

Совокупность операторов, технических средств передачи и приема сигналов, физических сред и средств связи образует канал передачи информации. Каналы передачи информации могут быть дискретными и непрерывными.

Информационная модель канала задаётся множеством символов на его входе и выходе и описанием вероятностных свойств передачи отдельных символов. Канал может иметь множество состояний и переходить из одного состояния в другое как с течением времени, так и в зависимости от последовательности передаваемых сигналов.

Состояние канала характеризуется условной вероятностью Р(хi|уi) того, что передаваемый символ хi будет воспринят на выходе как символ уi. Значения этих вероятностей зависят от многих факторов: свойств сигналов, метода кодирования, наличия случайных помех в канале передачи, принципа декодирования, психофизиологического состояния оператора.

Если эти переходные вероятности не зависят от времени, то канал называется стационарным или иначе информационным каналом с установившейся связью. В нестационарном канале связи переходные вероятности зависят от времени, если они зависят от его предыдущего состояния, то канал носит наименование канала с памятью. В противном случае его называют каналом без памяти.

При передаче двух символов 0 и 1 стационарный канал без памяти определяется четырьмя условными переходными вероятностями: P(0|0), P(0|1), P(1|0), P(1|1), где P(0|0) и P(1|1) - вероятности неискаженной передачи символов 0 и 1, а Р(0|1) и Р(1|0) - вероятности искажения символов 0 и 1. Когда вероятности искажения символов Р(0|1) и Р(1|0) равны друг другу, то канал носит наименование двоичного симметричного канала.

17.2 Передача информации при отсутствии помех

Каналом связи называют совокупность устройств и физических сред, служащих для передачи сообщений от источника информации к приёмнику дальше.

При отсутствии помех в канале связи каждому сообщению на входе канала соответствует вполне определенное сообщение на его выходе.

Количество информации в сообщении связано с энтропией известной зависимость.

(1)

Где n - число отсчетов.

Если T -- длительность сообщений, а ?t -- время на один отсчет, то .

Подставляя это значение в формулу (1) и разделив левую и правую часть на длительность сообщений, получаем

(2)

Величина V и носит наименование скорости создания информации источником, размерность ее -- бит в секунду. Связь между интервалом отсчетов ?t и полосой частот сигнала была сформулирована теоремой В.А. Котельникова. В соответствии с этой теоремой:

где ?f - полоса частот, занимаемых сигналом. Подставляя это значение в формулу (2), имеем

Рассмотрим некоторую последовательность сообщений длительностью каждое . Если общая длительность передачи всех сообщений T, а число таких сообщений N(T), то количество информации, проходящей через канал, будет

Скорость же передачи информации по каналу:

Из этой формулы следует, что скорость передачи информации зависит от длительности передачи T.

Пропускной способностью канала называют максимальную скорость передачи, которая возможна для данного канала. Она определяется следующим пределом:

Если скорость создания сообщений источников равна V, то с этой же скоростью информация должна передаваться по каналу Vк=V. Тогда из формул (1)и(2) имеем

Обозначив скорость передачи информации как V пропускания (Vпр) можем записать следующую пропорцию

где отношение n/Т будет представлять максимальное количество элементов, передаваемое в секунду по каналу.

Максимальное число элементов можно передавать по каналу только при оптимальном кодировании, при котором скорость передачи сообщений по каналу равна его пропускной способности. В реальных каналах скорость передачи информации меньше пропускной способности канала.

Значения пропускной способности различных технических и биологических каналов передачи информации приведены в таблице 1.

Таблица 1

Виды каналов связи	Vпр, десятичных единиц информации
Технические: телевизионные телефонные, фототелеграфные телеграфные	миллионы -- десятки миллионов тысячи -- десятки тысяч десятки -- сотни
Биологические: органы зрения органы слуха органы осязания органы обоняния органы вкуса центральная нервная система	миллионы тысячи десятки тысяч единицы - десятки единицы единицы

Пропускная способность операторов характеризуется следующими данными: корректорское чтение - 18 бит/с, чтение вслух - 30 бит/с, чтение про себя - 45 бит/с, ввод данных в ЭВМ с контролем по экрану - 2500-3500 знак/ч.

Представляет интерес нахождение зависимости между оптимальными длительностями ti символов xi , посредством которых кодируется сообщение, и вероятностями появления этих символов Pj , Эту задачу оптимизации длительности символов рассмотрим из условия максимальной скорости передачи информации.

Если проходящий по каналу сигнал содержит n1 символов x1, n2 символов x2 и nm символов хm, то общее число элементов сигнала равно

А частота их появления будет определятся вероятностью

При этом должно соблюдаться условие . (3)

Длительность сигнала определяется следующей суммой:

или если значения nj выразить через вероятность

(4)

Количество информации, проходящее по каналу, определяется как

После максимилизации этой функции и выполнения условий (3) и (4) и после целого ряда преобразований находим значение вероятности кодовых символов:

Такая экспоненциальная зависимость между длительностями кодовых символов и их вероятностями позволяет обеспечить максимальную скорость передачи информации по каналу. Пропускная способность канала в этом случае будет

или

Но так как на основании формулы (4)

,

то пропускная способность канала равна

(5)

Из полученной зависимости и формулы (5) можно получить простую зависимость для определения длительностей кодовых символов:

 (6)

При кодировании сигналов двоичным кодом кодовые комбинации имеют фиксированные (дискретные) длины, поэтому точное согласование вероятностей Pj и длительностей кодовых символов tj. невозможно. Полученная формула (6) позволяет только выбрать двоичный код, достаточно близкий к оптимальному.

Передача информации при наличии помех.

Помехи, действующие в канале передачи, вызывают искажение полезного сигнала, что приводит к потере некоторой части передаваемой информации. Пропускной способностью канала в этом случае считается максимальная скорость передачи информации в условиях заданного уровня помех, при этом вероятность ошибки передачи является сколь угодно малой.

Если бы помехи отсутствовали, то передаваемый сигнал х и принимаемый сигнал у были бы одинаковыми. Наличие помех приводит к неопределенности значения сигнала х при конкретном сигнале у.

Если по некоторому каналу при отсутствии помех передается информация, равная IK/T то при наличии помех эта информация уменьшается. Ее уменьшение будет пропорционально условной энтропии Hy(х), то, скорость с которой полезная информация передается по каналу, определяется

При вычислении условной энтропии следует обратить внимание на возможность различного объема алфавитов входного и выходного сигналов. Поэтому, если объем алфавита сигнала х равен m , а сигнала у -- l, то условная энтропия будет

Так как , то скорость передачи информации равна

Пропускная способность канала будет равной максимальной скорости передачи информации, следовательно,

Пропускная способность двоичного симметричного канала будет

Но максимум достигается при равновероятном появлении символов, причем , поэтому

Анализ этой зависимости показывает, что при изменении вероятности Р от 0 до 1/2 пропускная способность изменяется от 1 до 0. Если P=0, т.е. помеха в канале передачи отсутствует, то его пропускная способность равна 1. При большом уровне шума, когда P=0.5 использование такого канала невозможно, так как в приемнике с равным успехом можно принимать либо значения 0 либо 1. Пропускная способность в этом случае равна нулю.

Передача информации непрерывными квантованными сигналами может осуществляться как при отсутствии, так и наличии помех в канале передач. При этом пропускная способность зависит не только от характеристик полезного сигнала и помехи, но и от параметров канала передач информации. Зависимость пропускной способности канала от дисперсии помехи и полезного сигнала, полученная Шенноном имеет вид:

где Дf - полоса пропускания частот каналом, Гц

Dx и Dy - дисперсии полезного сигнала и помехи.

Эта формула может быть использована и для расчета пропускной способности в случае отсутствия помех в канале передачи. С этой целью в эту формулу подставляют дисперсию ошибки квантования сигнала. Если квантование сигнала осуществляется по уровню при равновероятном появлении символов, то дисперсия полезного сигнала будет

где xm - максимальное значение сигнала.

Дисперсия же помехи при равном квантовании имеет вид

Подставляя значения дисперсий в выражение (1) ,получаем

Так как , где - число уровней квантования сигнала, то получим

Так как , то пропускная способность будет

Вероятность ошибки при передаче символа в случае амплитудно-импульсной модуляции представляет собой вероятность того, что уровень помехи превышает половину шага квантования сигнала дx.

Если уровень помехи превысит половину шага квантования, то принятый символ уже может быть отнесен к соседнему символу.

Вычисленные по вышеприведенной формуле вероятности в зависимости от коэффициента К, приведены в таблице, где

к	7	8	9	10	11
Р	5•10-4	6,6•10-5	7•10-6	6•10-7	4•10-8

Уровень квантования m для случая амплитудно-импульсной модуляции определяется

где - спектральная плотность белого шума в канале передач, определяемая как .

Из всего вышесказанного можно сделать вывод, что скорость передачи информации по каналу можно повысить за счет увеличения шага квантования, уменьшения дисперсии помехи, увеличения амплитуды сигнала, увеличения полосы пропускания частот каналом, повышения допускаемой вероятности ошибки передачи информации.

ЛИТЕРАТУРА

1. Долгова Т.А. Методы моделирования полиграфических процессов. Минск: БГТУ, 2009.

2. Кузнецов Ю.В. «Технология обработки изобразительной информации». С-П.: Изд-во «Петербургский институт печати». 2002.

3. Ефимов М.В. «Теоретические основы переработки информации в полиграфии»: учебн. для вузов. Книги 1, 2.-М.: МГУП, 2001.

4. Гасов В.М. Цыганенко А.М. «Информационные технологии в издательском деле и полиграфии» Книги1, 2. -М.:МГУП «Мир книги», 1999.

1. Размещено на www.allbest.ru