Формулы Шеннона

Размещено на http://www.allbest.ru/

1. Пропускная способность непрерывного канала Формулы Шеннона

Как уже отмечалось, локальные сети в настоящее время практически всегда имеют выход в какую-то глобальную сеть. Как правило, для подключения к глобальной сети используются модемы.

Модем (сокращение от «модулятор-демодулятор») - это устройство, преобразующее цифровые данные от компьютера в аналоговые сигналы перед их передачей по последовательной линии и, после передачи, производящее обратное преобразование. Основная цель преобразования состоит в согласовании полосы частот, занимаемой сигналами, с полосой пропускания линии передачи. Сигналы могут занимать всю полосу пропускания линии передачи либо ее часть (при частотном разделении каналов, например, в случае организации полностью дуплексного обмена). Кроме того, модемы должны обеспечивать необходимую амплитуду и мощность сигналов для достижения большого отношения сигнал/шум и, как следствие обоих перечисленных факторов (полосы частот и отношения сигнал/шум), возможно большей скорости передачи.

Модемы наиболее часто используются для подключения отдельных компьютеров либо локальных сетей к телефонной линии и, через нее, к другим компьютерам и сетям, в том числе и к глобальной сети Internet. Возможно, однако, использование достаточно экзотичных (по крайней мере, в настоящее время) линий передачи (типа силовой линии электропитания или системы кабельного телевидения) и не менее экзотичных модемов для связи компьютеров (и не только компьютеров), подключенных к той же самой линии связи. Все эти вскользь упомянутые темы, а также принципы работы и внутреннее устройство модемов (в упрощенном виде) рассматриваются в данной главе.

Внимание к характеристикам, внутреннему устройству модемов и принципам их работы вызвано отнюдь не абстрактным соображением о пользе знаний вообще и даже не только чисто прагматическим взглядом на проблему выбора конкретного типа модема, исходя из анализа доступных (часто не полных) сведений и цен. Дело в том, что модемы, используемые для передачи уязвимых по отношению к помехам цифровых данных по отнюдь неидеальным также и в других отношениях линиям передачи, являются хорошим примером «торжества человеческой мысли», воплощенном в достаточно компактном и зачастую интеллектуальном техническом устройстве. Весьма наглядно это проявляется на примере все тех же модемов для подключения к телефонным линиям, которые, как известно, имеют весьма ограниченную полосу пропускания (стандартное значение 3100 Гц) и прочие неприятные и не всегда предсказуемые особенности (временные перерывы в связи, искажения вплоть до полной неузнаваемости формы сигналов после передачи и др.). Для модемов, работающих на аналоговых телефонных линиях, в настоящее время достигнут теоретический предел, определяемый теоремами Шеннона. Работа на пределе возможностей приводит, как всегда, к наукоемким и оригинальным в техническом отношении решениям, которые могут быть полезны широкому кругу специалистов, занимающихся собственными разработками.

Формулы Шеннона представляют собой математические записи теорем кодирования Шеннона для дискретных и непрерывных сообщений, передаваемых по каналам с ограниченной пропускной способностью на фоне шумов и помех.

Каналы связи принято делить на дискретные, непрерывные и смешанные в зависимости от типов сигналов на входе и выходе. В общей структурной схеме канала передачи (рис. 12.1) дискретными являются каналы от входа модулятора до выхода демодулятора и от входа кодера до выхода декодера. Непрерывный (аналоговый) канал - это собственно последовательная линия передачи (телефонная линия, скрученная пара проводов, коаксиальный кабель и др.). Дискретные каналы не являются независимыми от аналогового канала, который часто образует наиболее «узкое место» при передаче и из-за собственной ограниченной полосы пропускания и внешних шумов и помех определяет общую достижимую скорость передачи (при заданном допустимом уровне ошибок при приеме).

Рис. 12.1. Общая структурная схема канала передачи: 1 - непрерывный (аналоговый) канал; 2,3- дискретные каналы

Прежде чем рассматривать формулы Шеннона, целесообразно обратиться еще раз к рис. 12.1 и пояснить функции отдельных устройств, так как это пригодится при дальнейшем изложении.

Кодер/декодер в конкретной системе может совмещать, на первый взгляд, прямо противоположные функции.

Во-первых, кодер может быть использован для внесения избыточности в передаваемую информацию с целью обнаружения влияния шумов и помех на приемном конце (там этим занимается соответствующий декодер). Избыточность проявляется в добавлении к передаваемой полезной информации так называемых проверочных разрядов, формируемых, как правило, чисто аппаратурными средствами из информационной части сообщения. Известно много различных помехоустойчивых кодов, причем самый простой однобитовый код (бит четности/нечетности) далеко не всегда удовлетворительно работает на практике. Вместо него в локальных сетях используются контрольная сумма или, что еще лучше, циклический код (CRC - Cyclic Redundancy Check), занимающий в формате передаваемого сообщения 2 или 4 байта, независимо от длины в байтах информационной части сообщения.

Во-вторых, при больших объемах передаваемой информации целесообразно ее сжать до передачи, если есть такая возможность. В этом случае говорят уже о статистическом кодировании. Здесь уместна аналогия с обычными программами архивации файлов (типа arj, rar, pkzip и др.), которые широко используются при организации обмена в сети Internet. Волее того, если проблема с большими объемами информации и после такого обратимого сжатия до конца не решается, можно рассмотреть возможность необратимого сжатия информации с частичной ее потерей («огрублением»). Конечно, здесь не может быть и речи об отбрасывании части чисто цифровых данных, но по отношению к изображениям иногда можно пойти на снижение разрешения (числа пикселей) без искажения общего вида «картинки». Здесь можно упомянуть алгоритмы сжатия JPEG для изображений и MPEG для видео- и аудиопотоков, допускающие значительные степени компресии без уменьшения разрешения и с минимальными потерями.

Понятно, что оба типа кодирования (помехоустойчивое избыточное кодирование и статистическое кодирование) служат, в конечном счете, решению одной задачи - повышению качества передачи как в смысле отсутствия или минимального допустимого уровня ошибок в принятом сообщении, так и в смысле максимального использования пропускной способности канала передачи. Поэтому в высокоскоростных модемах нередко реализуются оба типа кодирования. Что касается функций модулятора/демодулятора на рис. 12.1, то они, как уже было сказано, включают согласование полосы частот, занимаемой сигналами, с полосой пропускания линии передачи. Кроме того, выходные каскады передатчиков (после модуляторов) реализуют усиление сигналов по мощности и амплитуде, что является наиболее очевидным средством увеличения отношения сигнал/шум. Действительно, ничто (кроме, пожалуй, техники безопасности...) не заставляет разработчиков придерживаться в аналоговом канале столь жестких ограничений сигналов по амплитуде, как в дискретных (цифровых) каналах (от 0 до + 5В при использовании аппаратуры в стандарте ТТЛ). Например, для распространенного стандарта последовательного порта компьютера RS-232C предусмотрена «вилка» амплитуд от -(3...12)В до +(3...12)В. Конечно, в обоих случаях речь идет об амплитудах вблизи передатчика, в то время как вблизи приемника амплитуда сигналов может быть существенно ослаблена.

Формула Шеннона для непрерывного (аналогового) канала связи достаточна проста:

где VMaKc - максимальная скорость передачи (бит/сек), Af -- полоса пропускания линии передачи и, одновременно, полоса частот, занимаемая сигналами (если не используется частотное разделение каналов), S/N -- отношение сигнал/шум по мощности. График этой зависимости приведен на рис. 12.2 (формуле Шеннона соответствует кривая под названием «теоретический предел»).

Под шумом понимается любой нежелательный сигнал, в том числе внешние помехи или сигнал, вернувшийся к передающему устройству - может быть, и модему - в результате отражения от противоположного конца линии. Сами по себе сосредоточенные помехи не столь существенно ограничивают пропускную способность аналогового канала, как непредсказуемый в каждый момент времени белый гауссовский шум. «Умные» высокоскоростные модемы умеют, как будет отмечено в дальнейшем, определять уровень и задержку «своих» отраженных сигналов и компенсировать их влияние.

Зависимость максимальной скорости передачи VU3KCдля аналоговой линии от отношения сигнал-шум по мощности S/N

Формула Шеннона для многопозиционного дискретного канала, построенного на базе предыдущего непрерывного канала, в отсутствие ошибок при приеме, имеет следующий вид:

Здесь п - общее число вариантов дискретного (цифрового) сигнала (алфавит). Если за время одной посылки (длительность элементарного аналогового сигнала типа отрезка синусоиды) передается информация о k двоичных разрядах, то n = 2k. Практически расширение алфавита для дискретных сигналов приводит к появлению все менее различимых элементарных посылок, так что величина п ограничивается сверху все тем же отношением сигнал/шум S/N в аналоговом канале.

При учете ошибок при приеме формула Шеннона для многопозиционного дискретного канала, построенного на базе непрерывного канала, имеет следующий вид: Здесь рош - отношение числа бит, принятых с ошибками, к общему числу переданных бит за время наблюдения, теоретически стремящееся к бесконечности, а практически достаточное для набора статистики. Согласно стандарта МККТТ (CCITT, новое название той же организации -ITU-T), для телефонных сообщений должно выполняться условие рош. < 3 * 10~5, а для цифровых данных рош. < 10~6 (в отдельных случаях для критичных данных этот порог уменьшают до 10~9). При выполнении требований стандартов влиянием ошибок при приеме на максимально-допустимую скорость передачи можно полностью пренебречь и от соотношения (3) перейти к более простому соотношению (2). В частном случае бинарного канала (k = 1, n = 2) при Рош= 1/2 из соотношения (3) следует, что V -- 0, а при р --> 0 и при р --> 1 V --> 2 * Af. Физический смысл

такой зависимости состоит в том, что при рош-- 1/2 принятый сигнал не содержит полезной информации (каждый из принятых битов может оказаться ошибочным). При рош (гипотетический случай, имеющий чисто теоретический интерес) каждый бит с большой вероятностью инвертируется, и доля полезной информации снова возрастает.

Формулы Шеннона показывают, что наиболее эффективный способ увеличения максимальной скорости передачи Умакс состоит в увеличении полосы пропускания линии передачи Af (VMaKc ~ Af). Логарифмическая зависимость VMaKc от отношения сигнал/шум S/N делает этот путь повышения Умакс гораздо менее перспективным и более трудоемким. Однако на практике редко возможен свободный выбор линии передачи, который с точки зрения реализации максимальной скорости передачи однозначно сводится к использованию оптоволоконной линии связи (ВОЛС). Суровая действительность часто состоит в том, что имеется телефонная линия, по которой и нужно организовать передачу с использованием модемов. Как уже говорилось, телефонная линия (точнее, тракт передачи, функционирующий на этой линии, с учетом фильтров) имеет фиксированную полосу пропускания Af = 3400 - 300 = 3100 Гц, поэтому приходится бороться именно за повышение отношения сигнал/шум. Да и то хороший результат сам по себе не гарантирован, так как речь идет о реализации возможностей, близких к теоретическому пределу. Практический предел отношения сигнал/ шум в аналоговой телефонной линии составляет примерно 35 дБ (более 3000 раз по мощности или более 56 раз по амплитуде), что соответствует максимальной скорости VMBKC« 34822 бит/сек (стандартное значение, реализуемое на практике, 33600 бит/сек).

2. Пропускная способность дискретного и непрерывного каналов связи

Пусть сигнал на выходе канала представляет собой сумму полезного сигнала и шума , т.е. , причем и статистически независимы. Допустим, что канал имеет ограниченную полосу пропускания шириной . Тогда в соответствии с теоремой Котельникова (см. п. 1.5) функции , и можно представить совокупностями отсчетов , , и , , где . При этом статистические свойства сигнала можно описать многомерной ПРВ , а свойства шума - ПРВ .

Пропускная способность непрерывного канала определяется следующим образом:

где - количество информации о какой-либо реализации сигнала длительности T, которое в среднем содержит реализация сигнала той же длительности , а максимум ищется по всем возможным распределениям.

Когда сигнал на входе канала имеет нормальное распределение и отсчеты независимы величина максимизируется [6]. Поэтому пропускная способность гауссовского канала с дискретным временем, рассчитанная на единицу времени, с учетом (4.16) может быть записана в виде

Полученное выражение показывает, что пропускная способность гауссовского канала с дискретным временем определяется числом импульсов, передаваемых в секунду, и отношением сигнал/шум ().

С учетом взаимосвязи скорости передачи информации и полосы частот непрерывного канала от (4.17) можно перейти к формуле Шеннона, которая устанавливает связь пропускной способности гауссовского канала с полосой пропускания непрерывного канала и отношением мощности сигнала к мощности помехи:

График отношения изображен на рис. 4.6. Заметим, что при малом отношении

а пропускная способность канала связи прямо пропорциональна этому отношению.

При большом отношении в (4.18) можно пренебречь единицей и считать, что

т.е. зависимость пропускной способности непрерывного канала от отношения сигнал/шум логарифмическая.

Пропускная способность канала, как предельное значение скорости безошибочной передачи информации, является одной из основных характеристик любого канала.

Определим пропускную способность стандартного канала тональной частоты, имеющего границы эффективно передаваемых частот кГц, среднюю мощность сигнала на выходе 56 мкВт при средней мощности помехи 69000 пВт.

Согласно (4.18), при заданных параметрах

Для непрерывных каналов справедлива теорема Шеннона, согласно которой сообщения дискретного источника могут быть закодированы и переданы по непрерывному каналу так, что вероятность ошибочного декодирования принятого сигнала будет меньше наперед заданной положительной величины , если производительность источника меньше пропускной способности непрерывного канала.

Для типовых непрерывных каналов многоканальной связи основные технические характеристики и пропускная способность, вычисленная по формуле Шеннона (4.18), при отношении сигнал/шум 20 дБ, приведены в табл. 4.4.

Зная пропускную способность канала и информационные характеристики сообщений (табл. 4.5), можно определить, какие сообщения (первичные сигналы) можно передавать по заданному каналу.

Таблица 4.4. Характеристики типовых каналов многоканальной связи

Таблица 4.5. Производительность источников сообщений

Например, первичный сигнал телевизионного вещания имеет (табл. 4.5) и поэтому не может быть передан ни по одному из типовых непрерывных или цифровых каналов без потери качества. Следовательно, для передачи сигнала телевизионного вещания требуется создание специальных каналов с более высокой пропускной способностью или снижение скорости цифрового потока.

3. Пропускная способность дискретного канала

Основной задачей систем связи является передача информации от источника к получателю. Решение этой задачи сопряжено с определенными трудностями, связанными не только с представлением информации в виде сообщения, пригодного для восприятия и обработки, но и с преобразованием данного сообщения в сигнал, пригодный для передачи по линии связи. Представим графически процесс передачи информации по каналу связи (рис.4.2) и учтем при этом возможное влияние помех.

Пусть дискретный канал определяется:

- алфавитом источника сообщений;

- алфавитом получателя сообщений;

- «потерями» информации;

- ложной информацией, создаваемой помехами;

- количеством информации, переданной по каналу.

Условная энтропия характеризует среднюю степень неопределенности принимаемых сигналов, обусловленную действием помех.

При сопряжении входа канала с любым источником двоичной информации на вход могут поступать двоичные символы и с вероятностями и соответственно (рис.4.3). На выходе канала появляются двоичные символы и . Обозначим вероятность ошибки при передаче любого символа через . Тогда,

, а .

В общем случае, для -ичного дискретного канала [5]:

Тогда «шумовая» энтропия будет определяться выражением [5]:

шеннон канал передача связь

Из полученного выражения следует, что энтропия определяемая только помехой не зависит от вероятности появления символов на входе канала.

Если символы на входе канала выбираются независимо от предыдущих символов с одинаковыми вероятностями, то энтропия выходных символов достигает своего максимального значения, равного: .

Таким образом, количество информации, переданной по каналу, это разность между энтропией на выходе и энтропией шума:

Количество информации, переданной по каналу связи, обладает следующими основными свойствами:

, причем тогда и только тогда, когда входные и выходные сообщения в канале взаимно независимы;

, причем тогда и только тогда, когда входная последовательность определяется однозначно по выходной последовательности, например, когда в канале нет помех;

следует из того, что количество информации не изменится, если входную и выходную последовательность поменять местами.

Размещено на Allbest.ru