Применение пространственно-частотной фильтрации

s(t_i) = {a₁, a₂, ..., a_N}, t = t₁, t₂, ...,t_N.

Примеры дискретных геофизических сигналов - результаты вертикального электрического зондирования (дискретная величина разноса токовых электродов), профили геохимического опробования, и т.п.

Цифровой сигнал (digital signal) квантован по своим значениям и дискретен по аргументу. Он описывается квантованной решетчатой функцией

y_n = Q_k[y(nDt)],

где Q_k - функция квантования с числом уровней квантования k, при этом интервалы квантования могут быть как с равномерным распределением, так и с неравномерным, например - логарифмическим. Задается цифровой сигнал, как правило, в виде дискретного ряда (discrete series) числовых данных - числового массива по последовательным значениям аргумента при Dt = const, но в общем случае сигнал может задаваться и в виде таблицы для произвольных значений аргумента.

Рис. 3. Цифровой сигнал



По существу, цифровой сигнал по своим значениям (отсчетам) является формализованной разновидностью дискретного сигнала при округлении отсчетов последнего до определенного количества цифр, как это показано на рис 3. Цифровой сигнал конечен по множеству своих значений. Процесс преобразования бесконечных по значениям аналоговых отсчетов в конечное число цифровых значений называется квантованием по уровню, а возникающие при квантовании ошибки округления отсчетов (отбрасываемые значения) - шумами (noise) или ошибками (error) квантования (quantization).

В системах цифровой обработки данных и в ЭВМ сигнал всегда представлен с точностью до определенного количества разрядов, а, следовательно, всегда является цифровым. С учетом этих факторов при описании цифровых сигналов функция квантования обычно опускается (подразумевается равномерной по умолчанию), а для описания сигналов используются правила описания дискретных сигналов. Что касается формы обращения цифровых сигналов в системах хранения, передачи и обработки, то, как правило, они представляет собой комбинации коротких одно- или двуполярных импульсов одинаковой амплитуды, которыми в двоичном коде с определенным количеством числовых разрядов кодируются числовые последовательности сигналов (массивов данных).

Рис. 4. Дискретно-аналоговый сигнал

В принципе, квантованными по своим значениям могут быть и аналоговые сигналы, зарегистрированные соответствующей аппаратурой (рис. 4.), которые принято называть дискретно-аналоговыми. Но выделять эти сигналы в отдельный тип не имеет смысла - они остаются аналоговыми кусочно-непрерывными сигналами с шагом квантования, который определяется допустимой погрешностью измерений.

Большинство сигналов, с которыми приходится иметь дело при обработке геофизических данных, являются аналоговыми по своей природе, дискретизированными и квантованными в силу методических особенностей измерений или технических особенностей регистрации, т.е. преобразованными в цифровые сигналы. Но существуют и сигналы, которые изначально относятся к классу цифровых, как, например отсчеты количества гамма-квантов, зарегистрированных по последовательным интервалам времени.

Сигнал, значения которого отличны от нуля только на конечном интервале Т, называют финитным. Если спектральная функция X(f) сигналов (преобразование Фурье) обращается в нуль вне некоторого конечного интервала частот, то они называются сигналами с финитным спектром. Если сигнал X(t) определен только для значений аргумента t?0, то он считается каузальным (причинным).

Преобразования типа сигналов. Формы математического отображения сигналов, особенно на этапах их первичной регистрации (детектирования) и в прямых задачах описания геофизических полей и физических процессов, как правило, отражают их физическую природу. Однако последнее не является обязательным и зависит от методики измерений и технических средств детектирования, преобразования, передачи, хранения и обработки сигналов. На разных этапах процессов получения и обработки информации как материальное представление сигналов в устройствах регистрации и обработки, так и формы их математического описания при анализе данных, могут изменяться путем соответствующих операций преобразования типа сигналов.

Операция дискретизации (discretization) осуществляет преобразование аналоговых сигналов (функций), непрерывных по аргументу, в функции мгновенных значений сигналов по дискретному аргументу. Дискретизация обычно производится с постоянным шагом по аргументу (равномерная дискретизация), при этом s(t) Ю--s(nDt), где значения s(nDt) представляют собой отсчеты функции s(t) в моменты времени t = nDt, n = 0, 1, 2,..., N. Частота, с которой выполняются замеры аналогового сигнала, называется частотой дискретизации. В общем случае, сетка отсчетов по аргументу может быть произвольной, как, например, s(t)--Ю--s(t_k), k=1, 2, …, K, или задаваться по определенному закону. В результате дискретизации непрерывный (аналоговый) сигнал переводится в последовательность чисел.

Операция восстановления аналогового сигнала из его дискретного представления обратна операции дискретизации и представляет, по существу, интерполяцию данных.

Дискретизация сигналов может приводить к определенной потере информации о поведении сигналов в промежутках между отсчетами. Однако существуют условия, определенные теоремой Котельникова-Шеннона, согласно которым аналоговый сигнал с ограниченным частотным спектром может быть без потерь информации преобразован в дискретный сигнал, и затем абсолютно точно восстановлен по значениям своих дискретных отсчетов.

Любая непрерывная функция на конечном отрезке может быть разложена в ряд Фурье, т.е. представлена в спектральной форме - в виде суммы ряда синусоид с кратными (нумерованными) частотами с определенными амплитудами и фазами. У относительно гладких функций спектр быстро убывает (коэффициенты модуля спектра быстро стремятся к нулю). Для представления «изрезанных» функций, с разрывами и «изломами», нужны синусоиды с большими частотами. Говорят, что сигнал имеет ограниченный спектр, если после определенной частоты F все коэффициенты спектра равны нулю, т.е. сигнал представляется в виде конечной суммы ряда Фурье.

Теоремой Котельникова-Шеннона устанавливается, что если спектр сигнала ограничен максимальной частотой f, то после дискретизации сигнала с частотой не менее 2f можно восстановить исходный непрерывный сигнал по полученному цифровому сигналу абсолютно точно. Для этого нужно выполнить интерполяцию цифрового сигнала «между отсчетами» специальной функцией (Котельникова-Шеннона).

Физический смысл теоремы Котельникова-Шеннона достаточно прост. Если максимальная частота в сигнале равна f, то достаточно на одном периоде этой гармоники иметь минимум 2 отсчета с известными значениями t₁ и t₂, как появляется возможность записать систему из двух уравнений

y₁=a cos 2pft₁ и

y₂=a cos 2pft₂

и решить систему относительно 2-х неизвестных - амплитуды а и частоты f этой гармоники. Следовательно, частота дискретизации должна быть в 2 раза больше максимальной частоты f в сигнале. Для более низких частот это условие будет выполнено автоматически.

На практике эта теорема имеет огромное значение. Например, известно, что диапазон звуковых сигналов, воспринимаемых человеком, не превышает 20 кГц. Следовательно, при дискретизации записанных звуковых сигналов с частотой не менее 40 кГц мы можем точно восстановить исходный аналоговый сигнал по его цифровым отсчетам, что и выполняется в проигрывателях компакт-дисков для восстановления звука. Частота дискретизации звукового сигнала при записи на компакт-диск составляет 44100 Гц.

Операция квантования или аналого-цифрового преобразования (АЦП; английский термин Analog-to-Digital Converter, ADC) заключается в преобразовании дискретного сигнала s(t_n) в цифровой сигнал s(n) = s_n s(t_n), n = 0, 1, 2,.., N, как правило, кодированный в двоичной системе счисления. Процесс преобразования отсчетов сигнала в числа называется квантованием по уровню (quantization), а возникающие при этом потери информации за счет округления - ошибками или шумами квантования (quantization error, quantization noise).

При преобразовании аналогового сигнала непосредственно в цифровой сигнал операции дискретизации и квантования совмещаются.

Операция цифро-аналогового преобразования (ЦАП; Digital-to-Analog Converter, DAC) обратна операции квантования, при этом на выходе регистрируется либо дискретно-аналоговый сигнал s(t_n), который имеет ступенчатую форму (рис. 1.2.4), либо непосредственно аналоговый сигнал s(t), который восстанавливается из s(t_n), например, путем сглаживания.

Так как квантование сигналов всегда выполняется с определенной и неустранимой погрешностью (максимум - до половины интервала квантования), то операции АЦП и ЦАП не являются взаимно обратными с абсолютной точностью.

Алиасинг. А что произойдет, если спектр аналогового сигнала был неограниченным или имел частоту, выше частоты дискретизации?

Рис. 5. Появление кажущейся частоты при дискретизации.

Предположим, что при записи акустического сигнала оркестра в помещении от какого-то устройства присутствует ультразвуковой сигнал с частотой 30 кГц. Запись выполняется с дискретизацией сигнала на выходе микрофона с типовой частотой 44.1 кГц. При прослушивании такой записи с использованием ЦАП мы услышим шумовой сигнал на частоте 30 - 44.1/2 8 кГц. Восстановленный сигнал будет выглядеть так, как если бы частоты, лежащие выше половины частоты дискретизации, «зеркально» от нее отразились в нижнюю часть спектра и сложились с присутствующими там гармониками. Это так называемый эффект появления ложных (кажущихся) частот (aliasing). Эффект аналогичен известному эффекту обратного вращения колес автомобиля на экранах кино и телевизоров, когда скорость их вращения начинает превышать частоту смены кадров. Природу эффекта можно наглядно видеть на рис. 5. Аналогично в главный частотный диапазон дискретных сигналов «отражаются» от частоты дискретизации и все высокочастотные шумы, присутствующие в исходном аналоговом сигнале.

Для предотвращения алиасинга следует повышать частоту дискретизации или ограничить спектр сигнала перед оцифровкой фильтрами низких частот (НЧ-фильтры, low-pass filters), которые пропускают без изменения все частоты, ниже заданной, и подавляют в сигнале частоты, выше заданной. Эта граничная частота называется частотой среза (cutoff frequency) фильтра. Частота среза анти-алиасинговых фильтров устанавливается равной половине частоты дискретизации. В реальные АЦП почти всегда встраивается анти-алиасинговый фильтр.

Графическое отображение сигналов общеизвестно и особых пояснений не требует. Для одномерных сигналов график - это совокупность пар значений {t, s(t)} в прямоугольной системе координат (рис. 1. - 4.). При графическом отображении дискретных и цифровых сигналов используется либо способ непосредственных дискретных отрезков соответствующей масштабной длины над осью аргумента, либо способ огибающей (плавной или ломанной) по значениям отсчетов. В силу непрерывности геофизических полей и, как правило, вторичности цифровых данных, получаемых дискретизацией и квантованием аналоговых сигналов, второй способ графического отображения будем считать основным.

Тестовые сигналы (test signal). В качестве тестовых сигналов, которые применяются при моделировании и исследовании систем обработки данных, обычно используются сигналы простейшего типа: гармонические синус-косинусные функции, дельта-функция и функция единичного скачка.

Дельта-функция или функция Дирака. По определению, дельта-функция описывается следующими математическими выражениями (в совокупности):

d(t-t) = 0 при t №--t,

d(t-t) dt = 1.

Функция d(t-t) не является дифференцируемой, и имеет размерность, обратную размерности ее аргумента, что следует из безразмерности результата интегрирования. Значение дельта-функции равно нулю везде за исключением точки t, где она представляет собой бесконечно узкий импульс с бесконечно большой амплитудой, при этом площадь импульса равна 1.

Дельта-функция является полезной математической абстракцией. На практике такие функции не могут быть реализованы с абсолютной точностью, так как невозможно реализовать значение, равное бесконечности, в точке t = t на аналоговой временной шкале. Но во всех случаях, когда площадь импульса равна 1, длительность импульса достаточно мала, а за время его действия на входе системы сигнал на ее выходе практически не изменяется (реакция системы на импульс во много раз больше длительности самого импульса), входной сигнал можно считать единичной импульсной функцией со свойствами дельта - функции.

При своей абстрактности дельта - функция имеет вполне определенный физический смысл. Представим себе импульсный сигнал прямоугольной формы П(t-) длительностью , амплитуда которого равна 1/, а площадь соответственно равна 1. При уменьшении значения длительности импульс, сокращаясь по длительности, сохраняет свою площадь, равную 1, и возрастает по амплитуде. Предел такой операции при 0 и носит название дельта - импульса. Этот сигнал d(t-t) сосредоточен в одной координатной точке t = t, конкретное амплитудное значение сигнала не определено, но площадь (интеграл) остается равной 1. Это не мгновенное значение функции в точке t = t, а именно импульс (импульс силы в механике, импульс тока в электротехнике и т.п.) - математическая модель короткого действия, значение которого равно 1.

Дельта-функция обладает фильтрующим свойством. Суть его заключается в том, что если дельта-функция d(t-t) входит под интеграл какой-либо функции в качестве множителя, то результат интегрирования равен значению подынтегральной функции в точке t расположения дельта-импульса, т.е.:

s(t) d(t-t) dt = s(t).

Интегрирование в выражении может ограничиваться ближними окрестностями точки t.

Функция единичного скачка или функция Хевисайда иногда называется также функцией включения. Полное математическое выражение функции:

При моделировании сигналов и систем значение функции скачка в точке t=0 очень часто принимают равным 1, если это не имеет принципиального значения.

Функция единичного скачка используется при создании математических моделей сигналов конечной длительности. При умножении любой произвольной функции, в том числе периодической, на прямоугольный импульс, сформированный из двух последовательных функций единичного скачка

s(t) = (t) - (t-T),

из нее вырезается участок на интервале 0-Т, и обнуляются значения функции за пределами этого интервала.

Функция Кронекера. Для дискретных и цифровых систем разрешающая способность по аргументу сигнала определяется интервалом его дискретизации Dt. Это позволяет в качестве единичного импульса использовать дискретный интегральный аналог дельта-функции - функцию единичного отсчета d(kDt-nDt), которая равна 1 в координатной точке k = n, и нулю во всех остальных точках. Функция d(kDt-nDt) может быть определена для любых значений Dt = const, но только для целых значений координат k и n, поскольку других номеров отсчетов в дискретных функциях не существует.

Математические выражения d(t-t) и d(kDt-nDt) называют также импульсами Дирака и Кронекера. Однако, применяя такую терминологию, не будем забывать, что это не просто единичные импульсы в координатных точках t и nDt, а полномасштабные импульсные функции, определяющие как значения импульсов в определенных координатных точках, так и нулевые значения по всем остальным координатам, в пределе от - до .

1.3 Системы преобразования сигналов [1, 9, 14, 18]

Сигналы, в любой форме материального представления, содержат определенную полезную информацию. Если при преобразованиях сигналов происходит нарушение заключенной в них информации (частичная утрата, количественное изменение соотношения информационных составляющих или параметров, и т.п.), то такие изменения называются искажениями сигнала. Если полезная информация остается неизменной или адекватной содержанию во входном сигнале, то такие изменения называются преобразованиями сигнала.

Математические преобразования сигналов осуществляются для того, чтобы получить какую-то дополнительную информацию, недоступную в исходном сигнале, или выделить из входного сигнала полезную информацию и сделать ее более доступной для дальнейшей обработки, измерений каких-либо параметров, передаче по каналам связи, и пр. Преобразованный сигнал принято называть трансформантой исходного.

Любые изменения сигналов сопровождаются изменением их спектра, и по характеру этого изменения разделяются на два вида: линейные и нелинейные. К нелинейным относят изменения, при которых в составе спектра сигналов появляются (вводятся) новые гармонические составляющие, отсутствующие во входном сигнале. При линейных изменениях сигналов изменяются амплитуды и/или начальные фазы гармонических составляющих спектра (вплоть до полного подавления в сигнале определенных гармоник). И линейные, и нелинейные изменения сигналов могут происходить как с сохранением полезной информации, так и с ее искажением. Это зависит не только от характера изменения спектра сигналов, но и от спектрального состава самой полезной информации.

Общее понятие систем. Преобразование и обработка сигналов осуществляется в системах. Понятия сигнала и системы неразрывны, так как любой сигнал существует в пределах какой-либо системы. Система обработки сигналов может быть реализована как в материальной форме (специальное устройство, измерительный прибор, совокупность физических объектов с определенной структурой взаимодействия и т.п.), так и программно на ЭВМ или любом другом специализированном вычислительном устройстве. Форма реализации системы существенного значения не имеет, и определяет только ее возможности при анализе и обработке сигналов.

Рис. 1. Графическое представление системы.

Безотносительно к назначению система всегда имеет вход, на который подается внешний входной сигнал, в общем случае многомерный, и выход, с которого снимается обработанный выходной сигнал. Собственно система представляет собой системный оператор (алгоритм) преобразования входного сигнала s(t) - воздействия или возбуждения, в сигнал на выходе системы y(t) - отклик или выходную реакцию системы. Символическое обозначение операции преобразования (трансформации сигнала): y(t) = T[s(t)].

Системный оператор T - это набор правил преобразования (transformation) сигнала s(t) в сигнал y(t). Так, например, в самом простейшем случае таким правилом может быть таблица перекодировки входных сигналов в выходные.

Для детерминированных входных сигналов соотношение между выходными и входными сигналами всегда однозначно задается системным оператором. В случае реализации на входе системы случайного процесса происходит изменение статистических характеристик сигнала (математического ожидания, дисперсии, корреляционной функции и пр.), которое также определяется системным оператором.

Для полного определения системы необходимо задание характера, типа и области допустимых величин входных и выходных сигналов. По типу обработки входных сигналов они обычно подразделяются на системы непрерывного времени для обработки сигналов в процессе измерений, и цифровые системы для обработки данных, зарегистрированных на промежуточных носителях. Совокупность системного оператора Т и областей входных и выходных сигналов образует математическую модель системы.

Линейные и нелинейные системы составляют два основных класса систем обработки сигналов.

Термин линейности (linear) означает, что система преобразования сигналов должна иметь произвольную, но в обязательном порядке линейную связь между входным сигналом (возбуждением) и выходным сигналом (откликом) с определенным изменением спектрального состава входного сигнала (усиление или подавление определенных частотных составляющих сигнала). В нелинейных (nonlinear) системах связь между входным и выходным сигналом определяется произвольным нелинейным законом с дополнением частотного состава входного сигнала частотными составляющими, отсутствующими во входном сигнале.

Стационарные и нестационарные системы. Система считается стационарной и имеет постоянные параметры, если ее свойства (математический алгоритм оператора преобразования) в пределах заданной точности не зависят от входного и выходного сигналов и не изменяются ни во времени, ни от каких-либо других внешних факторов. В противном случае система является нестационарной, и называется параметрической или системой с переменными параметрами. Среди последних большое значение имеют так называемые адаптивные системы обработки данных. В этих системах производится, например, оценивание определенных параметров входных и выходных сигналов, по результатам сравнения которых осуществляется подстройка параметров преобразования (переходной характеристики системы) таким образом, чтобы обеспечить оптимальные по производительности условия обработки сигналов или минимизировать погрешность обработки.

Основные системные операции. К базовым линейным операциям, из которых могут быть сформированы любые линейные операторы преобразования, относятся операции скалярного умножения, сдвига и сложения сигналов:

y(t) = c s(t), y(t) = s(t-Dt), y(t) = a(t)+b(t).

Для нелинейных систем выделим важный тип безинерционных операций нелинейной трансформации сигнала, результаты которой зависят только от его входных значений. К ним относятся, например, операции квадратирования и логарифмирования сигнала:

y(t) = [s(t)]², y(t) = log[s(t)].

Линейные системы. Система считается линейной, если ее реакция на входные сигналы аддитивна (выполняется принцип суперпозиции сигналов) и однородна (выполняется принцип пропорционального подобия). Другими словами, отклик линейной системы на взвешенную сумму входных сигналов должен быть равен взвешенной сумме откликов на отдельные входные сигналы независимо от их количества и для любых весовых коэффициентов, в том числе комплексных.

При программной реализации линейных систем на ЭВМ особых затруднений с обеспечением линейности в разумных пределах значений входных и выходных сигналов, как правило, не возникает. При физической (аппаратной) реализации систем обработки данных диапазон входных и выходных сигналов, в котором обеспечивается линейность преобразования сигналов, всегда ограничен и должен быть специально оговорен.

Инвариантность систем к сдвигу. Система называется инвариантной к сдвигу, если сдвиг входного сигнала по аргументам (времени, координатам пространства и т.п.) вызывает соответствующий сдвиг выходного сигнала:

y(x,t) = T[s(x,t)], T[s(x-Dx,t-Dt)] = y(x-Dx,t-Dt).

Это означает, что форма выходного сигнала зависит только от входного сигнала, и не зависит от времени поступления сигнала на вход системы. Инвариантность системы к сдвигу является одним из подтверждений постоянства ее параметров.

Линейные системы, инвариантные к сдвигу. Линейность и инвариантность к сдвигу являются независимыми свойствами систем и не определяют друг друга. Так, например, операция квадратирования сигнала инвариантна к сдвигу, но нелинейна.

В теории анализа и обработки данных основное место занимают системы, линейные и инвариантные к сдвигу (ЛИС - системы). Они обладают достаточно широкими практическими возможностями при относительной простоте математического аппарата. В дальнейшем, если это специально не оговаривается, будем иметь в виду именно такие системы.

Преимущество, которое отдается ЛИС - системам в методах обработки информации, базируется на возможности разложения входного сигнала любой, сколь угодно сложной формы, на составляющие простейших форм, отклик системы на которые известен и хорошо изучен, с последующим вычислением выходного сигнала в виде суммы откликов на все составляющие входного сигнала. В качестве простейших форм разложения сигналов используются, как правило, единичные импульсы и гармонические составляющие. Разложение по единичным импульсам применяется при динамическом представлении сигнала в зависимости от реальных физических аргументов (времени, координат и пр.) и использует операцию свертки. Разложение на гармонические составляющие использует спектральное (частотное) представление сигнала и преобразование Фурье.



Рис. 2. Соединения систем.

Соединения ЛИС - систем. При последовательном (каскадном) соединении систем выходной сигнал одной системы служит входным сигналом для второй и т.д. в зависимости от количества составляющих систем каскада. По отношению к общей системной операции преобразования порядок соединения входящих в нее систем значения не имеет. Так, для двух последовательно соединенных систем на рис. 2:

y(t) = T₂[T₁[s(t)]] = T₁[T₂[s(t)]].

При параллельном соединении входной сигнал поступает одновременно на входы всех составляющих систем, а выходные сигналы систем суммируются:

y(t) = T₁[s(t)] + T₂[s(t)] + ... + T_N[s(t)].

Образуемые в результате соединений системы в целом также являются ЛИС - системами, если линейны и инвариантны к сдвигу системы, в них входящие.

Обобщенная схема системы цифровой обработки сигналов на рис. 3. приведена в качестве примера.



Рис. 3. Структурная схема системы дифференцирования сигналов.

1.4 Информационная емкость сигналов [10,12,28]

Объем информации, находящейся в обращении и необходимой для функционирования и развития современного общества, нарастает примерно пропорционально квадрату развития производительных сил. В передовых по научно-техническому развитию странах мира доля рабочей силы, занятой вопросами сбора, обработки и обеспечения информацией, превышает долю рабочей силы в сфере производства. Применение методов и средств автоматизации на всех этапах обращения информации, эффективная организация ее хранения, обработки и обмена, приобретают все большее значение в качестве основного условия успешного функционирования экономики стран.

Понятие информации. В настоящее время нет общепринятого и однозначного понимания термина «Информация». Спектр бытующих понятий весьма широк, от общего философского - информация есть отражение реального мира, до практического - информация есть сведения, являющиеся объектом хранения, передачи и преобразования. Расхождения существуют и по вопросу места информации в материальном мире. Это свойство индивидуальных объектов или результат их взаимодействия? Присуща ли информация всем видам материи или лишь определенным образом организованной материи?

В информатике под информацией понимается совокупность сведений смыслового содержания, которые можно собирать, обрабатывать, передавать и т.п. Причем именно сведений в изначальном смысле латинского слова informatio, а не данных или сигналов, которые являются носителями этих сведений. В таком понимании процессы извлечения сведений из данных и их интерпретации неразрывно связаны с разумом, а конечным результатом обработки и восприятия информации с помощью разума является раскрытие неопределенности знаний о каком-либо объекте, явлении или процессе. Но при таком подходе размывается само понятие разума.

С одной стороны, существование любого живого существа поддерживается до тех пор, пока действуют его органы чувств (датчики), преобразующие физические воздействия окружающего мира в сигналы, которые в материальной форме отображают данные об этих воздействиях. Данные собираются и интерпретируются определенной системой, которую в самой общей форме мы называем «разумом», из общей суммы данных извлекаются определенные сведения, степень неопределенности сведений об окружающей обстановке снижается, и ... лиса распутывает заячий след. Живое существо существует до тех пор, пока способно воспринимать и обрабатывать внешние и внутренние воздействия. Нет сомнений и в том, что в коллективных сообществах его члены не только способны собирать и обрабатывать информацию, но и передавать ее другим членам сообщества, как, например, в пчелиной семье точный путь до продуктивного цветочного массива. Информационный танец пчелы в этом отношении по компактности содержания ничем не уступает телеграфному сообщению. Естественно, в принятой у пчел символьной форме.

С другой стороны, если информация неразрывно связана с «разумом», то в этом случае нельзя отказать в «разуме» и электронной вычислительной машине, обыгрывающей в шахматы чемпиона мира, а равно и любым устройствам технической кибернетики, так как все они имеют системы сбора, передачи, накопления, хранения и обработки информации той или иной степени сложности, и на основе этой информации способны формировать сигналы обратной связи для управления определенными процессами.

В технических отраслях знаний, где вопросы соотношения информации с разумом не стоят на первом месте, преобладает понимание информации в виде отображения такого всеобщего свойства материи, как разнообразие, как характеристики внутренней организованности материальных систем, процессов или явлений по множеству состояний, которые для них возможны. В такой трактовке информация существует независимо от того, воспринимается она каким-либо «разумом» или нет, и является одним из свойств материальных объектов. «Информация есть информация, а не материя и не энергия» (Норберт Винер). Это свойство в какой-то мере имеет потенциальный характер. Информация может проявлять себя при взаимодействии объектов или процессов, может возникать (создаваться) и исчезать (уничтожаться).

Но и в такой трактовке возникает много вопросов, на которые трудно дать однозначные ответы. Насекомое третичного периода, неизвестное в настоящее время ученым, прилипло к капле смолы хвойного дерева. Новый слой смолы закрыл насекомое. Дерево упало, и его занесло песком. Смола превратилась в янтарь. Янтарь в потенциале содержит полную информацию о насекомом, потому как в нем десятки тысяч фрагментов ДНК - информация, достаточная для восстановления ДНК и воспроизводства насекомого, если не в настоящее время, то в ближайшем будущем. Но когда она возникла? В момент появления насекомого с его ДНК? В момент прилипания к смоле? В момент окаменения? Можно ли говорить о появлении информации, если еще не существовал субъект, способный извлечь и использовать эту информацию? Наконец, янтарь с насекомым найден и попал на глаза палеонтолога. Определен новый вид насекомого. Появилась первая частичная информация? Так может быть, информация появляется только при активном и целенаправленном воздействии на объект исследований? А если янтарь оказался непрозрачным, и его переплавили? Исчезла ли информация? И можно ли считать, что она вообще была?

Ответы на эти и подобные им вопросы тяготеют к двум полюсам, а по существу, к двум диаметрально противоположным философским позициям.

Сторонники первой позиции понимают под информацией только то, что может восприниматься, обрабатываться, осмысливаться и использоваться, т.е. является продуктом процесса сбора, организации, систематизации и использования сведений о материальных объектах и процессах.

Противоположная позиция, это понятие информации как свойства объектов и процессов воспринимать и перерабатывать внутреннее состояние и внешнее воздействие окружающей среды, сохранять его результаты и передавать их другим объектам. С этой позиции все материальные объекты и процессы являются источниками, носителями и потребителями информации, на основе которой и идет развитие реального мира. По существу, это соответствует принятию материальности информации и информационной основы мироздания.

При неопределенности самого понятия информации можно достаточно обоснованно считать, что информация проявляется, хранится и передается от одного объекта к другому в материально - энергетической форме в виде сигналов. Сигналом, как материальным носителем информации, может быть любой физический процесс (электрический, магнитный, оптический, акустический и пр.), определенные параметры которого (амплитуда, частота, энергия, интенсивность и др.) однозначно отображают информационные данные (сообщения).

Количественная мера информации. Теория любого явления начинается с появления количественных взаимоотношений между объектами исследований, т.е. при установлении принципов измеряемости каких-либо свойств объектов. Единицу количественной меры информации - БИТ (сокращение binary digit - двоичная цифра), впервые предложил Р. Хартли в 1928 году. 1 бит - это информация о двух возможных равновероятных состояниях объекта, неопределенность выбора из двух равновероятных событий. Математически это отображается состоянием 1 или 0 одного разряда двоичной системы счисления. Количество информации Н (в битах), необходимое и достаточное для полного снятия неопределенности состояния объекта, который имеет N равновозможных состояний, измеряется как логарифм по основанию 2 из числа возможных состояний:

H = log ₂ N. (1.4.1)

Соответственно, двоичный числовой информационный код одного из N возможных состояний объекта занимает Н двоичных разрядов.

Пример. Необходимо поднять груз на определенный этаж 16 -ти этажного здания (нумерация этажей 0-15, N = 16). Сколько бит информации полностью определяют задание?

H = log₂ N = log₂ 16 = 4.

Следовательно, 4 бита информации необходимы и достаточны для полного снятия неопределенности выбора. В этом можно убедиться применением логики исчисления с последовательным делением пополам интервалов состояний. Например, для 9-го этажа:

1. Выше 7-го этажа? Да = 1. 2. Выше 11-го этажа? Нет = 0.

3. Выше 9-го этажа? Нет = 0. 4. Выше 8-го этажа? Да = 1.

Итог: этаж номер 9 или 1001 в двоичном исчислении, четыре двоичных разряда.

Если в приведенном примере на этажах имеется по 4 квартиры с нумерацией на каждом этаже 0-3 (М=4), то при адресации груза в квартиру потребуется еще 2 бита информации. Такой же результат получим, если вместо независимой нумерации этажей и квартир на этажах (два источника неопределенности) будем иметь сквозную нумерацию квартир (обобщенный источник):

H = log ₂ N + log ₂ M = log ₂ 16 + log ₂ 4 = 6 log ₂ (N  M) = log ₂ 64 = 6,

т.е. количество информации отвечает требованию аддитивности: неопределенность объединенного источника равна сумме неопределенностей исходных источников, что соответствует интуитивному требованию к информации: она должна быть однозначной, а ее количество должно быть одним и тем же независимо от способа задания.

Основание логарифма не имеет принципиального значения и определяет только масштаб или единицу неопределенности. Так, если за единицу неопределенности принять три равновероятных состояния, то для определения, например, одной фальшивой золотой монеты (более легкой) из 27 внешне неотличимых монет потребуется только

H = log ₃ 27 = 3,

т.е. три взвешивания на равноплечных весах. Логику исчисления взвешиваний предлагается определить самостоятельно.

Двоичная мера информации получила общее признание в связи с простотой реализации информационной техники на элементах с двумя устойчивыми состояниями. В десятичном исчислении единицей информации является один десятичный разряд - ДИТ.

Энтропия источника информации. Степень неопределенности состояния объекта (или так называемого источника информации) зависит не только от числа его возможных состояний, но и от вероятности этих состояний. При неравновероятных состояниях свобода выбора для источника ограничивается. Так, если из двух возможных состояний вероятность одного из них равна 0.999, то вероятность другого состояния соответственно равна 1-0.999 = 0.001, и при взаимодействии с таким источником результат практически предрешен.

В общем случае, в соответствии с теорией вероятностей, источник информации однозначно и полно характеризуется ансамблем состояний U = {u₁, u₂,..., u_N} с вероятностями состояний соответственно {р(u₁), р(u₂),..., р(u_N)} при условии, что сумма вероятностей всех состояний равна 1. Мера количества информации, как неопределенности выбора дискретным источником состояния из ансамбля U, предложена К. Шенноном в 1946 году и получила название энтропии дискретного источника информации или энтропии конечного ансамбля:

H(U) = -p_n log₂ p_n. (1.4.2)

Выражение Шеннона совпадает с выражением Больцмана для энтропии физических систем при оценке степени разнообразия их состояний. Мера энтропии Шеннона является обобщением меры Хартли на случай ансамблей с неравновероятными состояниями, в чем нетрудно убедиться, если в выражении (1.4.2) значение p_n заменить значением p=1/N для ансамбля равновероятных состояний. Энтропия конечного ансамбля H(U) характеризует неопределенность, приходящуюся в среднем на одно состояние ансамбля.

Учитывая, что в дальнейшем во всех математических выражениях, касающихся энтропии, мы будем использовать только двоичное основание логарифма, индекс 2 основания логарифма в формулах будем подразумевать по умолчанию.

ui	pi	ui	pi	ui	pi	ui	pi	ui	pi
а	.064	з	.015	о	.096	х	.009	э	.003
б	.015	и	.064	п	.024	ц	.004	ю	.007
в	.039	й	.010	р	.041	ч	.013	я	.019
г	.014	к	.029	с	.047	ш	.006	-	.124
д	.026	л	.036	т	.056	щ	.003
е,ё	.074	м	.026	у	.021	ъ,ь	.015
ж	.008	н	.056	ф	.020	ы	.016

Пример. Вычислить энтропию ансамбля 32 букв русского алфавита. Вероятности использования букв приведены в таблице. Сравнить энтропию с неопределенностью, которая была бы у алфавита при равновероятном их использовании.

Неопределенность на одну букву при равновероятности использования:

H(u) = log 32 = 5

Энтропия алфавита по ансамблю таблицы:

H(u) = - 0.064 log 0.064 - 0.015 log 0.015 - …………………… - 0.143 log 0.143 4.42.

Таким образом, неравновероятность состояний снижает энтропию источника.

Основные свойства энтропии:

1. Энтропия является величиной вещественной и неотрицательной, т.к. значения вероятностей p_n находятся в интервале 0-1, значения log p_n всегда отрицательны, а значения -p_n log p_n в (1.4.2) соответственно положительны.

2. Энтропия - величина ограниченная, т.к. при p_n  0 значение -p_nlog p_n также стремится к нулю, а при 0 < p_n 1 ограниченность суммы всех слагаемых очевидна.

3. Энтропия равна 0, если вероятность одного из состояний источника информации равна 1, и тем самым состояние источника полностью определено (вероятности остальных состояний источника равны нулю, т.к. сумма вероятностей должна быть равна 1).

4. Энтропия максимальна при равной вероятности всех состояний источника информации:

H_max(U) = -(1/N) log (1/N) = log N.

Рис. 1.

5. Энтропия источника с двумя состояниями u₁ и u₂ при изменении соотношения их вероятностей p(u₁)=p и p(u₂)=1-p определяется выражением:

H (U) = -[p log p + (1-p) log (1-p)],

и изменяется от 0 до 1, достигая максимума при равенстве вероятностей. График изменения энтропии приведен на рис. 1.4.1.

6. Энтропия объединенных статистически независимых источников информации равна сумме их энтропий.

Рассмотрим это свойство на двух источниках информации u и v. При объединении источников получаем обобщенный источник информации (u,v), который описывается вероятностями p(u_nv_m) всех возможных комбинаций состояний u_n источника u и v_m источника v. Энтропия объединенного источника при N возможных состояниях источника u и М возможных состояниях источника v:



H(UV) = -p(u_nv_m) log p(u_nv_m),

Источники статистически независимы друг от друга, если выполняется условие:

p(u_nv_m) = p(u_n)p(v_m).

С использованием этого условия соответственно имеем:

H(UV) = -p(u_n)p(v_m) log [p(u_n)p(v_m)] =

= -p(u_n) log p(u_n)p(v_m) -p(v_m) log p(v_m)p(u_m).

С учетом того, что p(u_n) = 1 иp(v_m) = 1, получаем:

H(UV) = H(U) + H(V). (1.4.3)

7. Энтропия характеризует среднюю неопределенность выбора одного состояния из ансамбля, игнорируя содержательную сторону ансамбля. Это расширяет возможности использования энтропии при анализе самых различных явлений, но требует определенной дополнительной оценки возникающих ситуаций, т.к. из рис. 1.4.1 следует, что энтропия состояний может быть неоднозначной.

Энтропия непрерывного источника информации должна быть бесконечна, т. к. неопределенность выбора из бесконечно большого числа возможных состояний бесконечно велика.

Разобьем диапазон изменения непрерывной случайной величины U на конечное число n малых интервалов ?u. При реализации значений u в интервале (u_n, u_n+?u) будем считать, что реализовалось значение u_n дискретной случайной величины U', вероятность реализации которой:

p(u_n<u<u_n+?u) =p(u) du p(u_n) ?u.

Энтропия дискретной величины U':

H(U') = -p(u_n) ?u log (p(u_n) ?u).

Заменяем log (p(u_n) ?u) = log p(u_n)+log ?u, принимаем во внимание, что сумма p(u_n)?u по всем возможным значениям u_n равна 1, и получаем:

H(U') = -p(u_n) ?u log p(u_n) - log ?u. (1.4.4)

В пределе, при ?u 0, получаем выражение энтропии для непрерывного источника:

H(U) = -p(u) log p(u) du -. (1.4.5)

Значение энтропии в (1.4.5), как и ожидалось, стремится к бесконечности за счет второго члена выражения. Для получения конечной характеристики информационных свойств непрерывных сигналов используют только первый член выражения (1.4.5), получивший название дифференциальной энтропии. Ее можно трактовать, как среднюю неопределенность выбора произвольной случайной величины по сравнению со средней неопределенностью выбора случайной величины U', имеющей равномерное распределение в диапазоне (0-1). Действительно, для такого распределения p(u_n) = 1/N, ?u = 1/N, и при N из (1.4.4) следует:

H(U') = - (log N)/N - log ?u -.

Соответственно, разность энтропий дает дифференциальную энтропию:

h(U) = H(U) - H(U') = -p(u) log p(u) du. (1.4.6)

Дифференциальная энтропия не зависит от конкретных значений величины U:

h(U+a) = h(U), a = const,

но зависит от масштаба ее представления:

h(kU) = h(U) + log k.

Практика анализа и обработки сигналов обычно имеет дело с сигналами в определенном интервале [a, b] их значений, при этом максимальной дифференциальной энтропией обладает равномерное распределение значений сигналов:

h(U) = -p(u) log p(u) du = log (b-a).



По мере сужения плотности распределения значение h(U) уменьшается, и в пределе при p(u) d(u-c), a<c<b стремится к нулю.

Информационная емкость сигналов существенно зависит от типа сигналов и определяет требования к каналам передачи данных.

Для каналов передачи дискретных сигналов (дискретные каналы связи) используют понятия технической и информационной скорости передачи данных.

Под технической скоростью передачи подразумевают число элементарных сигналов (символов), передаваемых по каналу в единицу времени. Простейший элементарный символ - однополярный импульс длительностью t на тактовом интервале T. В дискретных каналах используют, как правило, двуполярные импульсы, положительные на первой половине интервала Т и отрицательные на второй половине. Это позволяет поддерживать нулевой потенциал в кабеле и выполнять тактовую синхронизацию приемо-передачи сигналов. Единицей измерения технической скорости V_t = 1/T служит БОД - один символ в секунду. Полоса пропускания канала связи ограничивается предельной частотой F_пред по уровню затухания сигнала до уровня помех, при этом значение технической скорости передачи данных не может быть выше F_пред.

При известной технической скорости V_t скорость передачи информации измеряется в битах в секунду и задается соотношением:

V_h = V_t H(s),

где H(s) - энтропия символа. Для двоичных дискретных символов [0, 1] при постоянной амплитуде импульсов значение H(s) равно 1. При числе L возможных равновероятных уровней амплитуды импульсов (уровень помех меньше разности уровней амплитуд импульсов) значение H(s) равно log L.

Информационная емкость сигнала или полное количество информации в сигнале S (сообщении, кодовой последовательности/слове) определяется полным количеством N = t/T энтропии символов в битах на интервале задания сигнала t:

I_t(S) = N log L = (t/T) log L. (1.4.7)

Увеличение числа уровней L увеличивает пропускную способность каналов связи, но усложняет аппаратуру кодирования данных и снижает помехоустойчивость связи.

Для непрерывных сигналов передача по каналам связи возможна только при условии, что максимальная информационная частота в сигнале F_max не превышает предельной частоты F_пред передачи сигналов каналом связи. Для оценки информационной емкости непрерывного сигнала выполним его дискретизацию с интервалом ?t = 1/2F_max. Как установлено Котельниковым и Шенноном, по мгновенным отсчетам непрерывного сигнала с таким интервалом дискретизации аналоговый сигнал может быть восстановлен без потери информации. При полной длительности сигнала T_s число отсчетов:

N = T_s/Dt = 2F_max T_s.

Определим максимально возможное число выборок в каждом отсчете при наличии шума в канале со средней мощностью Р_ш = ?². При средней мощности сигнала P_s = s²:

L = =.

Информационная емкость сигнала:

I(S) = 2F_max T_s log L. (1.4.8)

Информационные возможности сигнала возрастают с расширением его спектра и превышением его уровня над уровнем помех.

Размещено на Allbest.ru