Определение информационных характеристик источников дискретных и непрерывных сообщений и каналов связи

Размещено на http://www.allbest.ru//

Размещено на http://www.allbest.ru//

Федеральное агентство по образованию

технический университет

Кафедра автоматизированных информационных систем

Контрольная работа № 2

по дисциплине: «Теория информации»

Тема:

Определение информационных характеристик источников дискретных и непрерывных сообщений и каналов связи

Ухта 2009 г.

Задание 1

Ответить на следующие вопросы:

В чем сущность понятия эргодического источника сообщений?

Назовите основные характеристики дискретного канала связи

Что подразумевается под объемом сигнала и объемом канала?

Задание 2

Написать формулы для расчета следующих величин

Избыточность алфавита L источника дискретных сообщений

Производительность источника дискретных сообщений, непрерывных сообщений

Скорость передачи информации по дискретному каналу

Пропускная способность дискретного и непрерывного каналов

Задание 3

Решить задачу:

1. Определить избыточность сообщений, образованных с помощью алфавита, состоящего всего из двух знаков z1 и z2 с вероятностями появления соответственно p(z1)= 0.9 и p( z2)=0.1

Список использованной литературы

дискретный канал сообщение знак

Задание 1

В чем сущность понятия эргодического источника сообщений?

При выдаче источником сообщений в виде последовательности элементарных дискретных сообщений, полным вероятностным описанием является вероятность совместного появления набора различных символов ui в момент t1, t2,...,tn, где n - длина последовательности .

Располагая такими сведениями об источнике можно вычислить вероятность любого отрезка сообщения длиной меньше n. Если функция не меняется во времени, если она при любых ?, то источник называется стационарным. Если при определении вероятностных характеристик стационарного источника усреднение по ансамблю можно заменить усреднением по времени, то такой источник называется эргодическим.

Назовите основные характеристики дискретного канала связи

Дискретный канал - канал связи, используемый для передачи дискретных сообщений.

Упрощенная схема передачи информации по дискретному каналу связи представлена на рисунке.

Рис. Схема дискретного канала передачи информации.

Источник дискретных сообщений (ИДС) использует для представления информации первичный алфавит {A}. Первичный кодер (ПК) кодирует знаки первичного алфавита n элементарными сигналами с алфавитом {a}. Действие помех в процессе передачи может состоять в том, что алфавит принимаемых сигналов будет отличаться от алфавита входных сигналов как их числом так и характеристиками - пусть это будет алфавит {b}, содержащий m элементарных сигналов. Несовпадение алфавитов сигналов приводит к тому, что на выходе канала появляются такие комбинации элементарных сигналов, которые не могут быть интерпретированы как коды знаков первичного алфавита. Другими словами, алфавит приемника вторичного сообщения (ПрмДС) {B} может не совпасть с алфавитом {A}. Для простоты буду считать, что декодер вторичных сигналов совмещен с приемником.

Вводя количественные характеристики процесса передачи информации, постараюсь выделить из них те, которые зависят только от свойств канала, и те, которые определяются особенностями источника дискретного сообщения.

Дискретный канал считается заданным, если известны:

время передачи одного элементарного сигнала ;

исходный алфавит элементарных сигналов {a}, то есть все его знаки ai (i = 1...n, где n - число знаков алфавита {a};

n значений вероятностей появления элементарных сигналов на входе p(ai); эти вероятности называются априорными (поскольку они определяются не свойствами канала, а источником сообщения, т.е. являются внешними по отношению к каналу и самому факту передачи сообщения);

алфавит сигналов на выходе канала {b}, т.е. все знаки bj (j = 1...m, где m - число знаков алфавита {b}; в общем случае nm;

значения условных вероятностей , каждая из которых характеризует вероятность появления на выходе канала сигнала bj при условии, что на вход был послан сигнал ai; поскольку эти вероятности определяются свойствами самого канала передачи, они называются апостериорными; очевидно, количество таких вероятностей равно n·m:

Очевидно также, что для каждой строки выполняется условие нормировки:

Все остальные характеристики дискретного канала могут быть определены через перечисленные параметры.

Дискретный канал называется однородным, если для любой пары i и j условная вероятность с течением времени не изменяется (т.е. влияние помех все время одинаково).

Дискретный канал называется каналом без памяти, если p(ai) и не зависят от места знака в первичном сообщении (т.е. отсутствуют корреляции знаков).

Буду считать, что для передачи используются колебательные или волновые процессы - с практической точки зрения такие каналы представляют наибольший интерес (в частности, к ним относятся компьютерные линии связи).

Ширина полосы пропускания

Любой преобразователь, работа которого основана на использовании колебаний (электрических или механических) может формировать и пропускать сигналы из ограниченной области частот. Пример с телефонной связью приводился выше. То же следует отнести и к радио и телевизионной связи - весь частотный спектр разделен на диапазоны (ДВ, СВ, КВI, КВII, УКВ, ДМВ), в пределах которых каждая станция занимает свой под диапазон, чтобы не мешать вещанию других.

Интервал частот, используемый данным каналом связи для передачи сигналов, называется шириной полосы пропускания.

Для построения теории важна не сама ширина полосы пропускания, а максимальное значение частоты из данной полосы (), поскольку именно им определяется длительность элементарного импульса :

(1)

Другими словами, каждые секунд по каналу можно передавать импульс или паузу, связывая с их последовательностью определенные коды. Использовать сигналы большей длительности, чем , в принципе, возможно (например, 2) - это не приведет к потере информации, хотя снизит скорость ее передачи по каналу. Использование же сигналов более коротких, чем , может привести к информационным потерям, поскольку информационный параметр сигнала будет принимать какие-то промежуточные значения между заданными дискретными (например, 0 и 1), что затруднит их интерпретацию. Следовательно, по дискретному каналу за единицу времени можно передавать не более элементарных сигналов.

Если канал является аналоговым, то характеризует число полных колебаний параметра за единицу времени, с каждым из которых можно связать два элементарных сигнала; по этой причине связь и оказывается иной:

Возможны частные случаи, когда передача ведется на единственной частоте, создаваемой, например, тактовым генератором; тогда, очевидно, равна тактовой частоте.

Зная , можно найти количество элементарных сигналов, передаваемое по каналу за единицу времени:

(очевидно, если известна , то L = ). Если код знака первичного алфавита состоит из ki элементарных сигналов, время его передачи по каналу составит ti = ki· , а среднее время передачи кодовой комбинации одного знака первичного алфавита будет равно t = K(A,a)·.

Пропускная способность канала связи

С передачей одного элементарного сигнала связано некоторое количество информации Is. Если общее число различных элементарных сигналов n, а вероятности их появления p(ai) (i = 1...n), то согласно формуле Шеннона:

Однако, оптимальным будет такой вариант кодирования, при котором появление всех элементарных сигналов (знаков вторичного алфавита) оказывается равновероятным - в таком случае:

Is=Ismax=log2n

Это значение является предельным (наибольшим) для информационного содержания элементарного сигнала выбранного вторичного алфавита. Поскольку такое количество информации передается за время , можно ввести величину, характеризующую предельную интенсивность информационного потока через канал - пропускную способность канала C:

Данная величина является характеристикой канала связи, поскольку зависит только от его особенностей. Это выражение служит определением пропускной способности как идеального канала (без помех), так и реального канала с помехами.

Если Ismax выражено в битах, а 0 - в секундах, то единицей измерения C будет бит/с. Раньше такая единица называлась бод, однако, название не прижилось, и по этой причине пропускная способность канала связи измеряется в бит/с. Производными единицами являются:

1 Кбит/с = 103 бит/с

1 Мбит/с = 106 бит/с

1 Гбит/с = 109 бит/с

При отсутствии в канале связи помех Ismax = log2n; тогда

- максимально возможное значение пропускной способности (это обстоятельство отражено индексом "0"); в реальном канале Ismax log2n и, следовательно, C C0.

Скорость передачи информации

Если источник выдает L элементарных сигналов в единицу времени, а средняя длина кода одного знака составляет K(A,a), то, очевидно, отношение L/K(A,a) будет выражать число знаков первичного алфавита, выдаваемых источником за единицу времени. Если с каждым из них связано среднее количество информации I(A), то можно найти общее количество информации, передаваемой источником за единицу времени - эта величина называется скоростью передачи или энтропией источника (обозначим ее J):

Энтропия источника, в отличие от пропускной способности, является характеристикой источника, а не канала связи.

Размерностью J, как и C, является бит/с. Рассмотрим канал без помех.

Согласно первой теореме Шеннона при любом способе кодирования

хотя может быть сколь угодно близкой к этому значению. Следовательно, всегда J C0, то есть скорость передачи информации по каналу связи не может превысить его пропускной способности.

Как показано в теории Шеннона, данное утверждение справедливо как при отсутствии в канале помех (шумов) (идеальный канал связи), так и при их наличии (реальный канал связи).

Что подразумевается под объемом сигнала и объемом канала?

Объёмом сигнала является произведение V = FHT. В процессе передачи сигнала могут происходить изменения измерений как с сохранением объёма так и без. Это происходит вследствие следующих преобразований сигнала:

Ограничение - изъятие из передачи одной или нескольких частей сигнала без сохранения информации, которая содержалась в изъятых частях. Например, ограничение речевого канала диапазоном 300 -3400 Гц.

Трансформация - изменения одного или нескольких измерений за счёт изменения другого или других измерений с сохранением неизменного объёма (как у кубика пластилина). Например, уменьшить время передачи можно, увеличив ширину спектра сигнала или динамический диапазон, либо и то, и другое.

Компандирование - включает два процесса, от которых пошло название: компрессия (сжатие) и экспандирование (расширение). На передающей стороне происходит сжатие сигнала в одном или нескольких измерениях, на приёмной - восстановление. Например, "выкусывание" пауз в речи на передающей стороне и восстановление на приёмной.

Следует иметь ввиду, что цифровой сигнал по своей физической природе является "аналоговым". Этот аналоговый сигнал (импульсный и дискретный) наделяется свойствами числа. В результате для его обработки становится возможным использование численных методов.

Любое сообщение в общем случае можно описать с помощью трех основных параметров: динамическим диапазоном Dс, шириной спектра частот DFс и длительностью передачи Тс. Произведение этих трех параметров называется объемом сигнал Vс=Dc DFсTс.

Конкретный канал связи обладает определенными физическими параметрами, от которых зависит возможность передачи по нему тех или иных сигналов.

Три основных параметра канала:

Тк - время, в течение которого канал предоставляется для передачи сигнала

Fк - ширина полосы пропускания канала

Нк - допустимое превышение сигнала над помехой, которое характеризуется разностью максимально допустимого сигнала Рu(max) и уровня помех Рош (в логарифмическом масштабе).

Произведение указанных основных параметров канала принять называть объемом (емкостью) канала и обозначать

Vк = Tк?Fк?Hк.

При оценке возможностей передачи сигнала по каналу с заданными физическими характеристиками так же ограничимся рассмотрением трех основных параметров сигнала:

Тс - длительность сигнала

Fс - ширина спектра сигнала

Нс - превышение над помехой.

Нс = log(pu/pо),

где

pu - средняя мощность передаваемого сигнала,

pо - средняя мощность помехи.

Vc = Tc?Fc?Hc - емкость передаваемого сигнала.

Необходимым условием принципиальной возможности неискаженной передачи сигнала по данному каналу является выполнение соотношения:

Vc ? Vк

Задание 2

Написать формулы для расчета следующих величин:

Избыточность алфавита L источника дискретных сообщений.

Избыточность алфавита L источника дискретных сообщений определяется по формуле:

D=[ Hmax(Z) - H(Z) ] / Hmax(Z), где

Hmax(Z) - максимально возможная энтропия, равная log L.

H(Z) - энтропия источника.

Производительность источника дискретных сообщений, непрерывных сообщений

Производительность источника дискретных сообщений определяется по формуле:

I(Z) = H(Z)/t , где

H(Z) - энтропия источника;

t - длительность выдачи одного знака сообщения.

Под Z - производительностью источника непрерывных сообщений H (Z) понимают минимальное количество информации, которое необходимо создать источнику в единицу времени, чтобы любую реализацию zT (t) можно было воспроизвести с заданной вероятностью??.

H (Z)=v * min I (Z, U)

{pZ(u)}

при V(Z, U)< 2

Скорость передачи информации по дискретному каналу

Используется 2 понятия скорости: техническая и информационная.

Под технической скоростью передачи VT, называемой также скоростью манипуляции, подразумевают число элементарных сигналов (символов), передаваемых по каналу в единицу времени. Она зависит от свойств линии связи и быстродействия аппаратуры канала.

С учетом возможных различий в длительностях символов скорость:

VT = 1/tср,

где tср - среднее значение длительности символа. При одинаковой длительности всех символов tср = t.

Единицей измерения технической скорости служит бод - скорость, при которой за 1 сек. передается 1 символ.

Информационной скоростью является среднее количество информации, которое передается по каналу в ед. времени.

(V, U) = VT · I(V, U)

где VT - скорость манипуляции; I(V, U) - среднее количество информации, переносимое одним символом.

Пропускная способность дискретного и непрерывного каналов

Предельные возможности канала по передаче информации характеризуются его пропускной способностью.

Пропускная способность канала СД равна той максимальной скорости передачи информации по данному каналу, которой можно достигнуть при самых совершенных способах передачи и приема.

СД = max (V, U) = max VT · I(V, U)

При заданном алфавите символов и фиксированных основных характеристиках канала (например: полоса частот, средняя и пиковая мощность передатчика) остальные характеристики должны быть выбраны такими, чтобы обеспечить наибольшую скорость передачи по нему элементарных сигналов, т.е. обеспечить максимальное значение VT.

Максимум среднего количества информации, приходящейся на один символ принятого сигнала I(V, U), определяется на множестве распределений вероятностей между символами u1, u2, ..., ui, ..., um (m - объем алфавита).

Пропускная способность канала, как и скорость передачи информации по каналу, измеряется числом двоичных единиц информации в секунду.

Так как при отсутствии помех имеет место взаимно-однозначное соответствие между множеством символов{V} на выходе и {U} на его входе,

I(V, U) = I(U, V) = H(U).

Максимум возможного количества информации на символ равен log m (m - объем алфавита), следовательно пропускная способность дискретного канала без помех

СД = VT · log m

Следовательно, для увеличения скорости передачи информации по дискретному каналу каналу без помех и приближения её к пропускной способности канала последовательность букв сообщения должна подвергнуться такому преобразованию в кодере, при котором различные символы в его выходной последовательности появлялись бы по возможности равновероятно, а статистические связи между ними отсутствовали бы. Доказано, что это выполнимо для любой эргодической последовательности букв, если кодирование осуществлять блоками такой длины, при которой справедлива теорема об их асимптотической равновероятности.

При наличии помех соответствие между множествами символов на входе и выходе канала связи перестает быть однозначным. Среднее количество информации I(V, U), передаваемое по каналу одним символом, определяется в этом случае соотношением:

I(V, U) = H(V) - HU(V) = H(U) - HV(U)

Энтропия сигнала на выходе линии связи равна:

H(V) = -p(vj) log p(vj)

Если объем алфавита входных символов u равен m1, а выходных символов v - m2, то

(1)

Подставив H(V) и Hu(V) в выражение (1) получим:

Скорость передачи информации по каналу с помехами

Считая скорость манипуляции Vт предельно допустимой при заданных технических характеристиках канала, величину I(V, U) можно максимизировать посредством кодера канала (аналогично каналу без помех). Получаемое при этом предельное значение СД скорости передачи информации по каналу называют пропускной способностью дискретного канала связи с помехами:

СД=

, где - множество возможных распределений вероятностей входных сигналов.

Важно подчеркнуть, что при наличии помех пропускная способность канала определяет наибольшее количество информации в единицу времени, которое может быть передано со сколь угодно малой вероятностью ошибки.

Приблизиться к пропускной способности канала можно (аналогично каналу без помех: кодируя эргодическую последовательность, для которой справедлива теорема об асимптотической равновероятности длинных последовательностей).

Произвольно малая вероятность ошибки оказывается достижимой только в пределе, когда длина блоков становится бесконечной.

При удлинении кодируемых блоков возрастает сложность технической реализации кодирующих и декодирующих устройств и задержке в передаче сообщений, обусловленная необходимостью накопления требуемого числа букв в блоке.

Предельные возможности канала никогда не используются полностью. Степень его загрузки характеризуется коэффициентом использования канала

где - производительность источника сообщений, СД - пропускная способность канала

Поскольку нормальное функционирование канала возможно при изменении производительности источника в пределах , тогда теоретически может изменяться от 0 до 1.

Задание 3

Решить задачу:

Определить избыточность сообщений, образованных с помощью алфавита, состоящего всего из двух знаков z1 и z2 с вероятностями появления соответственно p(z1)= 0.9 и p( z2)=0.1.

Решение:

Определение количества информации на символ сообщения, составленного из данного алфавита.

Количество информации на символ сообщения для символов данного алфавита, встречающихся с равными вероятностями:

Hmax = log2 2 = ln 2/ln 2 = 1,0 бит/символ

Количество информации на символ сообщения для символов данного алфавита, встречающихся в сообщении с разными вероятностями:

H = - (0,9*log20,9 + 0,1*log20,1) = 0,3979 бит/символ.

Недогруженность символов в данном случае:

N = Нmax - Н = 1,0 - 0,3979 = 0,6021 бит/символ

Избыточность сообщений, составленных из данного алфавита.

D = 1 - (Н/Нmax) = 1 - (0,3979 / 1,0) = 0,61021

Список использованной литературы

А.В.Власенко, В.И.Ключко «Теория информации». Краснодар Издательство КубГТУ 2003.

Игнатов В. А. «Теория информации и передачи сигналов», 1979.

Лидовский В. В. Учебное пособие по курсу «Теория информации», 2004.

Кавчук С. В. Сборник примеров и задач по теории информации, 2002.

Ломакин Д. В., Туркин А. И. Прикладная теория информации и кодирования, 1988.

Размещено на Allbest.ru