Информационная оценка цифрового представления сигналов в системах реального времени

Размещено на http://www.allbest.ru/

Информационная оценка цифрового представления сигналов в системах реального времени

Боюн В.П.

Институт кибернетики НАНУ, Киев, Украина

Особенности систем реального времени

Работа вычислительных средств в автоматизированных системах управления подвижными объектами, технологическими процессами, цифро-аналоговых моделирующих комплексах имеет ряд специфических особенностей, вытекающих из необходимости преобразования формы представления информации и обеспечения требований реального времени.

Наиболее жесткие требования предъявляются к вычислительным средствам, работающим в контуре обратной связи систем управления, где наряду с обеспечением требований темпа преобразования и обработки информации необходимо обеспечить высокую оперативность обработки. Первое условие требует согласования пропускной способности всех устройств, включенных в контуре обратной связи, второе - минимизации задержки восстановленного сигнала обратной связи. Основное внимание в работе будет уделено именно таким системам.

В последнее время для таких ведущих областей науки и техники как ядерная энергетика, космические исследования, самолето- и ракетостроение, для новых прогрессивных технологий (мембранная, лазерная, плазменная), технологий с использованием сверхвысоких давлений и импульсных нагрузок, применение которых существенно расширяется, характерно значительное повышение динамики процессов, увеличение канальности и усложнение используемых моделей.

Для управления такими объектами и процессами, полунатурного моделирования их, испытания объектов новой техники, автоматизации сложных научных экспериментов, к средствам вычислительной техники предъявляются такие высокие требования, которые не могут быть обеспечены в рамках традиционных методов преобразования и обработки информации.

Учитывая изложенное, актуальной является проблема создания для систем управления быстрыми и сложными процессами теоретических основ преобразования и обработки информации, удовлетворяющих высоким требованиям по производительности, оперативности и эффективности обработки информации.

Анализ состояния проблемы.

Разработке методов и средств аналого-цифрового преобразования и обработки информации посвящено большое количество работ отечественных и зарубежных исследователей.

В теории аналого-цифрового преобразования разработаны подходы, позволяющие оптимизировать составляющие его процессы дискретизации, квантования и кодирования. Эти теоретические положения ориентированы на требования систем передачи и регистрации информации и идеально им удовлетворяют, обеспечивая минимальное количество отсчетов (при дискретизации в соответствии с теоремой Котельникова), минимальное количество уровней квантования и разрядность при заданной дисперсии шума квантования (при использовании методов оптимального квантования), минимальное количество бит информации на один отсчет (при использовании метода статистической теории кодирования Шеннона).

Однако модель аналого-цифрового преобразования, обеспечивающая минимизацию передаваемой, запоминаемой, а в ряде случаев и обрабатываемой информации, не учитывает особенностей последующих процессов обработки и восстановления непрерывной формы сигнала в контуре управления и и не обеспечивает оптимизации системы в целом. Это обусловлено сложностью восстановления непрерывной формы сигнала рядом Котельникова и возникающей при этом большой задержкой, а также невозможностью обработки значений сигнала после применения методов оптимального квантования и экономического кодирования.

Для этой же измерительной модели рассматривались методы компенсации динамических погрешностей I и II рода (Кондалев А.И., Островерхов В.В.), преобразователи рассматривались как системные устройства со всеми видами погрешностей, возникающими в них (Кондалев А.И., Моисеев В.С.). Общим в работах с измерительной моделью преобразователя является стремление обеспечить высокую точность измерений сигнала в точке (в фиксированный момент времени). При этом предполагается, что повышение точности аналого-цифрового преобразования приводит к увеличению точности системы в целом (Моисеев В.С.).

Однако цифровое представление непрерывного сигнала в виде совокупности отсчетов затрудняет последующее восстановление непрерывной формы сигнала, кроме того в системе управления с замкнутым контуром необходимо учитывать фактор “старения” информации (Ефимов А.Н.), обусловленный запаздыванием ее в цепи обратной связи. Влияние на системную погрешность запаздывания информации и способа восстановления непрерывной формы сигнала возрастает пропорционально частоте преобразуемых и обрабатываемых сигналов.

Упрощение последующего восстановления непрерывной формы сигнала и минимизация запаздывания информации обеспечиваются при использовании методов следящего аналого-цифрового преобразования и -модуляции. Однако представление информации в виде приращений при использовании этих методов не стыкуется с параллельным интерфейсом устройств обработки информации, в качестве которых обычно используются универсальные мини- и микро ЭВМ, и с методами обработки информации в них.

Устройства цифровой обработки информации (ЦДА), работающие с одноразрядными приращениями (Каляев А.В., Майоров Ф.В., Шеннон К., Шилейко А.В.), традиционно используются для моделирования обыкновенных дифференциальных уравнений и используются в отрыве от АЦП. - модуляторы в ряде случаев согласуются с устройствами цифровой фильтрации, корреляционного и спектрального анализов (Погрибной В.А.), однако частотный диапазон анализируемых сигналов ограничен возможностями отслеживания их методами - модуляции.

Расширение частотного диапазона преобразуемых и обрабатываемых сигналов обеспечивается при использовании метода автоматического обмена быстродействия на точность (Шастова Г.А.), метода следящего аналого-цифрового преобразования с переменным шагом уравновешивания (Шляндин В.М., Муттер В.М.), при использовании многоразрядных приращений в цифровых интегрирующих машинах (Каляев А.В., Шилейко А.В.). Однако эти методы преобразования и способы обработки применяются для других целей, не согласованы между собой и совместно не используются.

Традиционная неймановская организация вычислительного процесса, содержащая предпосылки для обеспечения минимальной стоимости вычислительных средств, не обладает достаточными возможностями для увеличения производительности ЭВМ, кроме того она не учитывает особенностей систем управления и не удовлетворяет высоким требованиям оперативности обработки информации. Это касается вопросов организации ввода- вывода оперативной информации, организации памяти, обработки, межпроцессорных обменов в многопроцессорных ЭВМ, обмена информации в распределенных системах управления, связи с оператором.

Специализация и проблемная ориентация вычислительных средств на класс решаемых задач, в том числе и на задачи управления, предполагает в большинстве своем традиционную структуру ЭВМ, осуществляется в отрыве от устройств преобразования формы сигнала.

Таким образом, анализ состояния проблемы показывает существенную недостаточность традиционных теоретических основ для преобразования и обработки информации в системах управления с обратной связью, несогласованность способов цифрового представления непрерывных сигналов с задачами систем управления и методами аналого-цифрового преобразования, форм представления информации на выходе АЦП со способами ее обработки, несоответствие принципов организации вычислительного процесса в универсальных ЭВМ, комплексах, системах и сетях требованиям систем управления по оперативности обработки информации.

Особенности и требования к цифровому представлению непрерывных сигналов в системах реального времени

цифровой информативность непрерывный сигнал

В последнее время для оценки качества информационных систем широкое применение находят теоретико-информационные представления, содержательную сущность которых составляет неопределенность, неожиданность, многообразие. Отражение этого многообразия и представляет собой информацию. В каждом случае имеет место множество форм (видов) многообразия, которые определяются конкретными условиями, требованиями, ограничениями и т.п. Поэтому любое определение информации связано с конкретной моделью изучаемой действительности, в которой определяется то многообразие, от которого в наибольшей степени зависит качество системы или критерий ее эффективности. Выбор меры информации не может быть решен средствами математики, а является чисто эвристической процедурой, которая должна учитывать конкретные условия, требования и особенности.

Рассмотрим задачи и особенности систем реального времени, требования, предъявляемые к цифровому представлению непрерывных сигналов со стороны последующих устройств обработки и восстановления непрерывной формы сигнала, и критерии оценки качества представления.

Сигналы реального мира наиболее часто имеют непрерывный характер и отражают поведение объекта или происходящие в нем процессы. В системах реального времени из сигнала традиционно выделяется информация о значениях сигнала в дискретные моменты времени, по которым, при определенном выборе шага дискретизации сигнала и соответствующего метода аппроксимации, может быть восстановлено его поведение. Кроме того, из сигнала может быть выделена информация об изменениях сигнала на интервале времени или о его поведении.

Каждому виду информации соответствует свой способ цифрового представления непрерывного сигнала. Между этими видами информации имеется взаимосвязь, поэтому при соблюдении определенных условий возможны переходы от одного вида информации к другому. Информация о поведении сигнала является наиболее полной информацией о нем, поэтому из нее легко может быть получена информация о значениях сигнала в фиксированные моменты времени или информация об изменениях сигнала на временных интервалах. Более сложным является переход от информации о значениях сигнала к информации о его поведении.

Рассмотренные виды информации отражают различные характеристики сигнала, поэтому использование их определяется характером задач, решаемых системой реального времени. Так, основной задачей информационно-управляющей системы (ИУС) является точное или приближенное определение (вычисление) выходного сигнала Y(t), являющегося функцией или оператором от входного сигнала X(t), т.е. выполнение преобразования

Y(t) = F[X(t)]

Сигналы X(t) и Y(t) могут быть как скалярными, так и векторными.

Для выполнения этой задачи в современных ИУС осуществляется преобразование непрерывного входного сигнала в цифровую форму, его цифровая обработка, а в ряде случаев и восстановление непрерывной формы выходного сигнала.

Так как обработка и восстановление непрерывной формы сигнала осуществляются в реальном времени и при этом используются сами значения (величины) преобразуемых сигналов, то, для обеспечения возможности их обработки без дополнительных преобразований, после квантования и кодирования коды отсчетов сигнала должны сохранять в себе величину параметра.

За счет происходящих в системе процессов дискретизации, квантования, обработки и восстановления непрерывной формы сигнала из решетчатой функции вместо идеального сигнала y(t) на выходе ИУС получается сигнал y*(t).

Тогда под системной погрешностью одного канала ИУС будем понимать абсолютное (или среднеквадратическое) значение функции рассогласования между идеальным сигналом y(t), который должен получиться в результате обработки сигнала x(t), и реальным сигналом y*(t), который получается в результате его преобразования, обработки и восстановления непрерывной формы

t0<t<tN,

где Y - диапазон изменения сигнала;

t0, tN - начальный и конечный моменты времени наблюдения сигнала.

Под максимальной погрешностью будем понимать величину

t[t0 , t0 +T],

где T - интервал наблюдения сигнала X(t); а под средней погрешностью - величину

где: -погрешность на i-м интервале дискретизации (ti-1,ti ),

N - число интервалов дискретизации;

(при равномерной дискретизации).

При отсутствии восстановления непрерывной формы сигнала оценка погрешностей производится только для фиксированных моментов времени

В системах управления технологическими процессами, транспортными средствами, летательными аппаратами, физическими экспериментами и т.п. информация, полученная с выхода объекта, используется в целях управления либо принятия решений, т.е. ИУС является цепью обратной связи этих систем.

При этом возникает необходимость преобразования и обработки информации в ИУС в темпе ее поступления от управляемых или исследуемых объектов за минимальное время. Однако, за счет конечного времени выполнения процессов аналого-цифрового преобразования, обработки и восстановления, а при удаленности объекта управления и за счет задержки информации в каналах связи, происходит запаздывание выходного сигнала относительно входного. Как показывают исследования, в ИУС, особенно с быстропротекающими процессами, погрешность, обусловленная запаздыванием, является основной составляющей в системной погрешности.

Существенный вклад вносит также погрешность восстановления непрерывной формы выходного сигнала, обусловленная необходимостью использования экстраполяционных методов и дополнительными временными задержками на их реализацию.

Все остальные составляющие системной погрешности вносят в нее значительно меньший вклад, либо он, относительно несложно, может быть ограничен в требуемых пределах.

Запаздывание информации в цепи обратной связи на величину о.с приводит к погрешности, оценка сверху которой равна

= |X'(t)|max о.с

где |X'(t)|max - максимальное значение модуля производной сигнала.

Более полными оценками погрешности от запаздывания, как известно, являются среднеквадратическое значение или среднее значение модуля погрешности.

Таким образом, погрешность от запаздывания пропорциональна скорости изменения сигнала и величине запаздывания.

Скорость изменения сигнала, являющаяся объективной характеристикой динамических свойств объекта, оказывает существенное влияние на погрешность от запаздывания, поэтому должна быть отражена в информационной мере.

Величина запаздывания, как указывалось выше, определяется суммой времен аналого-цифрового преобразования, обработки и восстановления

о.с= tпр + tобр + tв

При совмещении во времени процессов аналого-цифрового преобразования, обработки и восстановления шаг дискретизации сигнала t может быть существенно уменьшен и определяется по большему из времен преобразования, обработки и восстановления

t = max (tпр , tобр , tв)

Однако и в этом случае запаздывание определяется суммой всех составляющих.

Одним из путей сокращения величины запаздывания является дробление процессов преобразования и обработки информации на составные части, например по разрядам, и организация такого процесса, когда полученный в результате аналого-цифрового преобразования очередной разряд используется для обработки. В этом случае также возможно совмещение во времени процессов получения разрядов и их обработки. При этом величина запаздывания информации определится как

= n max(t'пр,t'обр) + tобр'

где n - разрядность устройств преобразования и обработки;

t'пр , t'обр - соответственно время получения одного разряда и время его обработки.

Время аналого-цифрового преобразования и время выполнения арифметических операций по обработке отсчетов сигнала в большой степени зависят от разрядности представления отсчетов, поэтому из соображений учета наиболее важных факторов, влияющих на погрешность от запаздывания, в информационной мере должна быть отражена разрядность.

Одним из путей сокращения разрядности является уменьшение избыточности в представлении отсчетов, обусловленной, например, коррелированностью соседних отсчетов при малых шагах дискретизации.

Кроме того, целесообразно учесть и то обстоятельство, что при выполнении ряда сложных часто встречающихся арифметических операций время их выполнения с помощью несложных технических приемов может быть сведено к зависимости от количества значащих разрядов в двоичном коде.

При выборе меры информации необходимо также учесть, что переменный шаг дискретизации и переменный уровень квантования сигнала приводят в ряде случаев к усложнению алгоритмов обработки информации и восстановления непрерывной формы сигнала, а, следовательно, к увеличению времени их реализации.

Таким образом, задача цифрового представления непрерывного сигнала ставится с учетом особенностей информационно-управляющих систем и сводится к сокращению количества информации в одном отсчете, в отличие от классического подхода, заключающегося в сокращении количества отсчетов.

Для решения поставленной задачи требуется разработка теоретических основ информационной оценки сигналов, учитывающих особенности информационно-управляющих систем, требования, предъявляемые к ним, ограничения, налагаемые ими, и позволяющих оценить с этих позиций требуемое (минимальное) количество информации при различных способах цифрового представления непрерывных сигналов, избыточность, которая вносится за счет ограничений и кодирования, погрешность цифрового представления непрерывного сигнала с учетом запаздывания, наметить пути повышения качества системы.

Оценка информативности детерминированных и случайных сигналов в системах реального времени

При преобразовании, передаче, обработке, хранении и восстановлении сигналов основным объектом, над которым производятся указанные действия, является информация. поэтому для оценки качества этих процессов наиболее приемлемыми являются информационные критерии, такие как энтропия, количество информации, информативность, коэффициент избыточности и т.п.

Однако, понятие и мера информации изменяются в зависимости от конкретных условий, требований и ограничений, обусловленных рассматриваемыми моделями процессов.

Так, информационные основы аналого-цифрового преобразования разрабатывались, в основном, для преобразования с целью последующей передачи и регистрации информации Шеннон К. Работы по теории информации и кибернетике/Пер.с англ. - М.: ИЛ,1964.-830с. Естественно, что в условиях необходимости передачи и запоминания больших массивов информации мерой количества информации являлось количество отсчетов непрерывного сигнала, количество квантов в значении и количество бит информации на один отсчет. Это обеспечивалось, соответственно, за счет оптимизации процессов дискретизации, квантования и кодирования. Так как обработка и восстановление сигналов в такой модели рассматривались как отдельные задачи, решаемые в другом масштабе времени, они не учитывались в критериях эффективности.

При необходимости обработки самих значений случайных величин, характеризующих физические параметры системы, неопределенность их следует рассматривать с точки зрения неопределенности величины физического параметра, так как время и сложность обработки значений непосредственно зависят от разрядности представления этих величин.

При необходимости восстановления формы непрерывного сигнала в замкнутом контуре управления, отображающего поведение физической системы, неопределенность следует рассматривать в плане неопределенности изменения параметров, так как основные погрешности в этих условиях обусловлены цифровым представлением непрерывного сигнала и запаздыванием, которые определяются шагом дискретизации процесса, непосредственно зависящим от времени преобразования и обработки информации. Для сокращения шага дискретизации следует уменьшать количество обрабатываемой информации за счет сокращения избыточной информации и обрабатывать только полезную информацию, которая заключена в изменениях процесса, т.е. в его динамике.

Исходя из этих основных предпосылок и разрабатываются методы оценки информативности детерминированных и случайных сигналов в реальном времени.

Информационно-управляющие системы работают с информацией, отображающей различные физические параметры: напряжение, ток, сопротивление, температура, давление, влажность и т.п. Основной характеристикой физического параметра X, с которой они оперируют при обработке информации, является его величина NX, представленная в условных единицах, например, в квантах x :

(квантов). (1)

Величина кванта X выбирается из условий точности представления параметра X.

Количество уровней, с помощью которого представляется величина NX квантов, на единицу больше величины NX и равно NX + 1.

В качестве информационной меры величины параметра, так же как и в некоторых других информационных мерах, выберем логарифм количества уровней квантования

(единиц информации) (2)

Если логарифм взят по основанию q = 2, единицей измерения информации является “бит”.

При необходимости представления величин обоих знаков информационная характеристика увеличивается на единицу.

В отличие от меры Хартли, где берется максимальное количество уровней квантования в параметре X, т.е. исходя из величины параметра Xmax , в данной работе используется текущее значение величины параметра X, а точнее - количество уровней ее квантования.

Использование текущего значения количества уровней квантования, как характеристики величины параметра, обусловлено тем, что объем памяти и сложность вычислений в значительной степени зависят от величины самого параметра, которая через логарифм отображается в длину кода числа, т.е. его разрядность.

Величина параметра в квантах Nx может быть закодирована в той или другой системе счисления (двоичной, троичной, восьмеричной, десятичной и т.п.). При этом величина параметра выражается числом, для представления которого потребуется

(разрядов), (3)

где ] ... [ - округленная до ближайшего большого целого, величина в скобках.

Максимальное число, которое может быть выражено полученным числом разрядов

(4)

Информационная характеристика полученной максимальной величины определится (в битах) как

(5)

Тогда избыточность представления величины Nx в различных системах счисления будет

(6)

В таблице в конце доклада приведены рассмотренные характеристики для величин 63, 728 и 999, закодированные в двоичной, троичной и десятичной системах счисления.

Отсюда следует, что числа в различных системах счисления представляются с различной степенью избыточности. Избыточность представления стремится к нулю при приближении величины числа к значению (qn-1) cнизу, а при переходе на величину qn скачком увеличивается.

Значительно возрастает избыточность при представлении малых величин в стандартных форматах средств обработки информации.

Информативность неупорядоченного массива чисел.

Учитывая свойство аддитивности выбранной меры, количество информации, содержащейся в массиве из M чисел, определится как сумма их информационных характеристик

(7)

где

Разделив количество информации, содержащееся в массиве чисел, на M, получим среднее количество информации приходящееся на одно число, которое назовем информативностью массива чисел

(8)

Так, например, информативность неупорядоченного массива чисел с равномерным распределением значений в диапазоне 01000 составляет величину

Величина информативности является минимальной оценкой, указывающей среднее количество двоичных разрядов, которые требуются для представления чисел массива, в то время как на практике для представления, например, чисел массива в диапазоне 01000 традиционно берется 10 двоичных разрядов. Достичь полученных минимальных оценок на практике удается редко, но можно указать некоторые пути, которые позволят исключить или уменьшить избыточность.

Одним из таких путей является использование переменной разрядности в представлении чисел массива, например, кратностью до 1, 2, 4, 8, 16. При этом числа, имеющие в старших (или младших) разрядах группу нулей (или единиц), могут быть закодированы значительно меньшей разрядностью. Восстановление величины числа осуществляется весьма просто.

Менее эффективным путем является уменьшение избыточности за счет оптимального выбора системы счисления, использования комбинированных систем (двоично-пятиричной, двоично-десятичной и т.п.). Эффективность этого подхода должна оцениваться в комплексе с другими устройствами системы.

Первый подход наиболее эффективен при больших диапазонах представления чисел, второй - при определенных распределениях чисел массива по величине.

Информативность упорядоченного массива чисел

Упорядоченным назовем массив, элементы которого расположены в порядке возрастания или убывания их величины, например,

N1< N2< N31< … Nm<

Рассмотрим два соседних элемента массива, связанных соотношением :

Ni< Ni-1

Информационная характеристика числа Ni относительно числа Ni-1 определится как информационная характеристика разности чисел

Ni< Ni-1= ДNi т.е.

(бит). (9)

Величину IДNi назовем условной информационной характеристикой числа Ni относительно числа Ni-1 и обозначим I(Ni/Ni-1)

(10)

Если Ni-1 =0 , то

Тогда количество информации, содержащееся в упорядоченном массиве чисел, определится как

(11)

Информативность упорядоченного массива чисел определится

(12)

Так, например, для натурального ряда чисел в диапазоне 0N величина I = N бит.

Информационный коэффициент сжатия за счет упорядочения массива определится как

(13)

Для рассмотренного выше натурального ряда чисел величина коэффициента сжатия

Таким образом, упорядочение массива чисел и представление его в виде приращений позволяет, в ряде случаев, значительно сократить объемы передаваемой, хранимой и обрабатываемой информации.

Полностью исключить избыточность за счет упорядочения массива на практике удается редко, но существенное её уменьшение можно получить. Имеются и некоторые ограничения на использование упорядоченных массивов чисел, заключающиеся в том, что записывать и считывать упорядоченные массивы с рассмотренной формой представления чисел можно только в определенной последовательности (в порядке возрастания или убывания адресов элементов массива). Выборочное обращение к отдельным элементам массива является недопустимым. Другим недостатком рассмотренного подхода является некоторое уменьшение помехозащищенности массива. Однако, для целей передачи информации по линиям связи могут быть применены методы помехоустойчивого кодирования, а для дополнительного повышения эффективности рассмотренного представления может с успехом применяться эффективное кодирование Шеннона .

Информативность и энтропия дискретной случайной величины.

Пусть имеется всего M значений случайной величины, из них k разных, и i-е значение (i = 1, ..., k) повторяется mi раз. Каждое i-е значение имеет информационную характеристику равную Ii .

Тогда среднее количество информации, приходящееся на одно значение случайной величины, определится как

Отношения представляют собой частоту повторения значения случайной величины, и, следовательно, могут быть заменены их вероятностями pi, а количество информации, содержащееся в одном значении случайной величины, связано с его величиной через логарифм и определяется выражением (2).

Тогда среднее количество информации, относящееся к одному значению случайной величины, определится

(14)

Полученную величину обозначим как HN и назовем энтропией значения случайной величины, в отличие от Шенноновского понятия энтропии состояния случайной величины

Энтропия значения случайной величины, определяемая как

(15)

является мерой неопределенности самого значения случайной величины и представляет собой среднее количество разрядов, приходящееся на одно значение случайной величины.

Так же как и для энтропии состояния единицу измерения энтропии значения случайной величины определяет основание логарифма. При основании логарифма равном двум, единицей энтропии значения является бит.

Пронормировав HN величиной получим приведенную энтропию значения случайной величины

(16)

Приведенная энтропия значения характеризует разброс по разрядности представления значений случайной величины.

Так при все значения случайной величины требуют для своего представления примерно одинаковой разрядности. В этом случае для сокращения избыточности цифрового представления, зная среднее значение случайной величины, можно все значения случайной величины представить в виде отклонений от Xср . Использовать переменную разрядность в этом случае нецелесообразно.

При целесообразен переход на переменную разрядность представления значений случайной величины. В этом случае количество разрядов для представления значений случайной величины может быть сокращено более, чем в 2 раза.

Приведенная энтропия значения случайной величины изменяется в диапазоне 01

hN =0при Xср0.

hN=1приX=const.

Информативность и энтропия непрерывной случайной величины.

Рассмотрим непрерывную случайную величину X с плотностью распределения w(x). Задавшись точностью представления значений случайной величины можно приближенно свести непрерывную случайную величину к дискретной. Это равносильно замене плавной кривой w(x) ступенчатой (рис. 1).При этом каждый участок длины заменяется одной точкой представителем. Площади прямоугольников изображают вероятности попадания в соответствующие участки:w(xi) .

Считая значения непрерывной случайной величины неразличными на участке , можно приближенно определить энтропию значения случайной величины

Устремляя к нулю, можно приближенно записать

Для оценки влияния закона распределения значений случайной величины на энтропию значения прологарифмируем выражение в скобках и, учитывая, что

получим

Второй член выражения (--log2) при стремится к бесконечности, что указывает на бесконечно большую неопределенность значения непрерывной случайной величины. Этот член, зависящий от точности представления случайной величины, можно интерпретировать как начало отсчета в вычислении энтропии значения и исключить из рассмотрения.

Первый член выражения при для значения зависит ¦x¦> только от закона распределения значений случайной величины и может быть приближенно представлен в виде

(17)

Информативность непрерывной функции.

Рассмотрим три наиболее часто используемых способа цифрового представления непрерывной функции в системах реального времени:

полноразрядными отсчетами, характеризующими состояния функции при определенных значениях аргумента;

приращениями, характеризующими изменение функции за интервал дискретизации;

одноразрядными приращениями, характеризующими поведение функции.

При представлении непрерывной функции y = f(x) на отрезке аргумента (0, X) совокупностью значений ее ординат yi (i = 1,M) c шагом дискретизации по аргументу

(рис. 2а), количество информации, требуемое для представления функции таким способом, и ее информативность определятся аналогично тем же характеристикам для неупорядоченного массива чисел в соответствии с (7) и (8).

При представлении непрерывной функции y = f(x) совокупностью приращений yi (i = 1,M) с тем же шагом дискретизации по аргументу X (рис. 2б) для определения количества информации, содержащейся в точке “B” (ордината yi ), относительно точки “A” (ордината yi-1), воспользуемся условной информационной характеристикой (10)

Тогда количество информации, требуемое для такого способа цифрового представления функции, и ее информативность определятся аналогично соответствующим характеристикам для упорядоченного массива чисел (11) и (12).При необходимости представления функции с производными обеих знаков (с положительными и отрицательными приращениями) первая характеристика увеличивается на M бит, в вторая - на единицу.

При представлении отрезка между соседними ординатами, например точки “A” и “B”, в виде ступенчатой линии с квантом y (рис.2в), воспользовавшись рассмотренным выше подходом, разобьем приращение yi на Nyi частей с квантом y . Тогда количество информации, требуемое для ступенчатого представления отрезка между точками “A” и “B” определится как

Количество информации, требуемое для представления функции отрезками ступенчатых линий с квантом y , определится как

Воспользовавшись формулой конечных приращений Лагранжа

где - среднее значение производной функции на i-м интервале дискретизации, получим

Для перехода к оценке количества информации в непрерывной функции осуществим предельный переход при x

Тогда информативность непрерывной функции при представлении ее отрезками ступенчатых линий с величиной ступеньки y на интервале x определится как

(18)

Естественно, что при увеличении шага дискретизации x информативность функции увеличивается, а при устремлении величины ступеньки y к нулю, что соответствует переходу к непрерывному представлению, информативность функции стремится к .

Информативность и энтропия случайных функций и процессов

Рассмотрим реализацию стационарного эргодического дифференцируемого случайного процесса y(t). Разобъем на участке рассмотрения T на равных отрезков и приближенно представим реализацию непрерывного случайного процесса в виде ступенчатой функции y*(t), считая, что на отрезке дискретизации t значение случайного процесса не изменяется.

Учитывая аддитивность меры, количество информации, содержащееся в реализации случайного процесса, определится как сумма информационных характеристик отдельных приращений случайного процесса yi

Так как каждое i-ое значение приращения yi повторяется mi раз (i = 1, ..., k) можно записать

Количество информации, приходящееся на одно приращение, определится как

Отношения mi/M, представляющие собой частоту повторения значений приращений случайного процесса, могут быть заменены их вероятностями p(yi). Тогда

где математическое ожидание величины

По аналогии с информационными оценками непрерывной функции, выраженными через условные информационные характеристики, количество информации, содержащееся в i-м приращении случайного процесса, определится как

а информативность реализации случайного процесса как

Количество информации, содержащееся в реализации случайного процесса при представлении его отрезками ступенчатых линий с величиной ступеньки равной y , по аналогии с информационными оценками непрерывной функции и учитывая вышеизложенное, определится как

а информативность реализации случайного процесса как

(19)

Полученную величину, представляющую собой среднее значение изменения случайного процесса в квантах y на интервале t, назовем -энтропией и обозначим H.

-энтропия, определяемая как

(20)

является мерой неопределенности изменения случайного процесса.

В отличие от ранее введенного понятия энтропии значения случайной величины, характеризующего неопределенность значения случайной величины, т.е. статику, -энтропия характеризует неопределенность изменения значений случайного процесса, т.е. динамику.

Выбрав масштабный коэффициент из условий равенства его максимальному значению производной, получим приведенную -энтропию

(21)

Приведенная -энтропия не зависит от выбранных кванта по уровню и шага дискретизации, а полностью определяется законом распределения производных сигнала.

Диапазон изменения приведенной -энтропии находится в пределах (01).

С помощью приведенной -энтропии можно сравнивать по динамике процессы различной физической природы, оценивать их информативность при различных законах распределения производных сигнала.

Заключение

Таким образом, исходя из необходимости и с учетом особенностей обработки информации в реальном времени, выбрана мера информации и получены оценки информативности неупорядоченного и упорядоченного массива чисел, оценки энтропии дискретных и непрерывных случайных величин, намечены пути уменьшения избыточности в представлении массивов и случайных величин.

С учетом особенностей обработки и восстановления непрерывной формы сигнала в реальном времени получены оценки информативности детерминированных функций и оценки энтропии случайных функций и процессов при представлении их совокупностью полноразрядных отсчетов сигнала, характеризующих состояния в дискретные моменты времени, многоразрядных приращений, характеризующих изменения сигнала за временной интервал, и одноразрядных приращений, характеризующих поведение сигнала.

На основе понятия -энтропии и приведенной -энтропии может быть получен ряд соотношений для оценки информационных и точностных характеристик сигналов для различных методов их цифрового представления и рекомендации по их выбору.

Величина параметра	Информационная характеристика величины	Количество разрядов для представления величины	Избыточность представления в %
		двоичная	троичная	десятичная	двоичная	троичная	десятичная
63	6	6	4	2	0	5,66415	10,73093
728	9,509773	10	6	3	5,154981	0	4,795162
999	9,965784	10	7	3	0,3433347	11,32822	0



Рис. 1

Рис. 2а

Рис.2б

Рис. 2в

Размещено на Allbest.ru