О содержательных аспектах структурной теории информации

О содержательных аспектах структурной теории информации

Борисенко А.А., проф.

Сумский государственный университет

Для того чтобы проводить исследование какого-либо явления окружающего мира, необходимо дать его четкое определение. Это значит, что это явление должно определиться через известные понятия.

Однако информацию, несмотря на затраченные многими учеными большие усилия, до настоящего времени не удалось определить через такие понятия и, по-видимому, прежде всего потому, что информация относится к таким наиболее общим понятиям, как, например, понятие энергии.

Тем более интересно рассмотреть различные подходы к определению информации.

В [1, с. 185] под информацией (лат. іnformation - ознакомление, разъяснение) понимаются сведения, что представляет собой тавтологию слова информация. Однако это все же наиболее распространенное определение информации, которое подразумевает наличие ее источника и приемника. Очевидно, что определение информации в данном случае отсутствует, так как информация подменяется равноценным ему понятием сведения, а не понятием более высокого уровня, как это необходимо для определения.

Интуитивно информация представляется как НЕЧТО, которое генерируется источником и принимается приемником и затем оказывает существенное влияние на другие явления, например, на траекторию движения самолета.

Важным фактором в определении информации как сообщения является то, что информация существует только в системе "источник - приемник" и только во время ее передачи. Хранимая в памяти источника или приемника информация при этом из рассмотрения исключается. Эта информация отличается от передаваемой информации тем, что находится вне движения, т.е. является потенциальной. В результате значительно сужается область действия понятия информации.

Именно на таком сравнительно узком понимании информации и была первоначально построена теория информации ее основателем К. Шенноном. Сознавая это, он с большой осторожностью подходил к понятию информации, исключив слово информация даже из заголовка своей основополагающей работы по теории информации, назвав ее "Математическая теория связи", подчеркивая тем самым ограниченность предлагаемой им теории вопросами связи [2]. При этом какого-либо определения информации в работе не было дано вообще.

Кроме того, в своей статье "Бандвагон" Шеннон прямо предостерегал от излишнего увлечения созданной им теорией и непосредственного перенесения её результатов на другие области науки, далеко отстоящие от систем связи, такие, например, как биология, экономика, психология, физика. По этому поводу он пишет, что "очень редко удается открыть одновременно несколько тайн природы одним и тем же ключом" [2, с. 667-668].

Но, как показало дальнейшее развитие его теории, введенное им понятие информации играет пока еще не совсем ясную, но фундаментальную роль во многих других науках и в том числе философских и физических.

Начинается работа Шеннона по теории связи со структурной схемы системы передачи информации, и затем предлагается способ ее измерения, основанный на мере Хартли, которая обстоятельно им обосновывается [2, с. 244-245].

Затем вводится основополагающее для современной теории информации понятие энтропии как меры степени неопределенности, через которую уже затем происходит измерение информации. Таким образом, удалось измерить информацию, не имея ее качественного определения.

Но все же чтобы плодотворно применять понятие информации, нужно дать ей еще и такое определение.

Например, в работе (3, с.211) понятие информации рассматривается уже не как снятие неопределенности, а как отражение разнообразия, которое существует там, где имеется различие. Где нет разнообразия, там нет и информации. Под разнообразием понимается при этом конечное множество состояний некоторой системы, которые она свободно может принимать.

Предполагается, что информация возникает только тогда, когда система случайным образом переходит в одно из своих возможных состояний. И так как эти состояния должны быть четко различимы и следовать в случайном порядке, то система будет находиться в движении и соответственно при этом генерировать информацию.

Основоположником данного подхода к определению информации является английский нейрофизиолог. У. Р. Эшби, который обосновал его в своей книге "Введение в кибернетику" [4]. Это направление сегодня можно сформулировать как структурная теория информации.

Однако только этим подходом попытки содержательного определения информации не были ограничены.

В философии под информацией часто понимают результат процесса отражения одних ее объектов в другие. Тем самым информация выводится за пределы систем связи.

Данному определению, как и другим, рассмотренным выше, присуща схема "источник - приемник" информации. Поэтому количество и качество получаемой приемником информации зависит не только от структуры генерирующего её источника, а и от структуры приемника.

Возникает вопрос о существовании информации до появления биологических и кибернетических систем, когда приемники информации в современном их понимании отсутствовали. Здесь мнения ученых разделились. Одна группа считает, что если исходить из понятия информации как сообщения, то следует допустить, что до возникновения растительного и животного мира информации в природе не было, а в неживой природе нет ее и сейчас. Другие ученые полагают, что информация существует и в неживой природе, но в простейшей форме. При этом считается, что информация - это атрибут природы, но который не является ни материей, ни энергией [3, с. 211-212].

На самом деле, по мнению автора, информация - это не просто свойство (атрибут) природы, а ее творец. Чтобы аргументировать это положение, следует четко дать соответствующее ему определение информации.

Информация есть сущность, проявляющаяся в ограничениях.

В данном случае сущность представляет собой то НЕЧТО, о котором говорилось выше. Она создает ограничения исходного разнообразия состояний систем и проявляется только в них. Это значит, что информация, являясь абстракцией и идеализацией, творит природу, которая сплошь и рядом состоит из систем и системных образований, которые, как известно, обладают структурой и связями, а значит, ограничениями на свои состояния. Их отсутствие привело бы к распаду всех существующих систем и соответственно природы в целом. Следовательно, информация является тем "раствором", который скрепляет всю природу, формируя ее как единую систему. В этом системообразующем факторе состоит основная роль и значение информации в мире.

Впервые на ограничение разнообразия в природе обратил внимание У. Р. Эшби. Правда, он не дал соответствующего определения информации, что, однако, не умаляет его заслуг как первооткрывателя важнейшей роли ограничений в формировании окружающего мира [4, с. 185].

Ограничения встречаются везде: в математике, физике, экономике, в обыденной жизни и т.д. Именно благодаря им существует жизнь и все окружающие предметы.

Рассмотрим систему, обладающую состояниями, в которой отсутствуют ограничения на свободу равновероятного перехода в любое из состояний. Число в данном случае представляет величину разнообразия и тем самым определяет степень подвижности системы. Такую систему назовем простейшей. Ее создает только одно ограничение - величина числа , которая ограничивает число состояний в системе. Структура, в обычном понимании, в простейшей системе отсутствует и соответственно отсутствуют зависимости между состояниями системы.

Важным требованием к простейшей системе является то, что в каждый момент времени она находится в каком-то одном из своих состояний и одновременно осуществляет случайным образом переход в следующее состояние, среди которых может быть и то, в котором она уже находилась.

Нахождение системы в единственном состоянии в работе [5] определенно как принцип унитарности. Невзирая на его очевидность, он имеет важное значение для устойчивого существования окружающей среды, так как по существу представляет собой условие целостности окружающих объектов (систем).

Простейшая система обладает максимальной неопределенностью состояния, в которое она переходит, и соответственно максимальной энтропией

.(1)

после введения в эту систему ограничений исходная величина разнообразия уменьшается от до , , что приводит к появлению новой системы с величиной ограничения разнообразия в ней

.(2)

Энтропия новой системы по сравнению с первоначальной энтропией простейшей системы теперь уменьшится до величины

.(3)

В результате в новой системе появится информация

,(4)

которую определим как структурную, так как именно благодаря ей в системе появились связи и структура. Ее сложность при

будет больше 0. Подставив в выражение (4) значение

и ,

получим в первом случае

,

а во втором

.

Случай

соответствует структуре простейшей системы, соответствующей состоянию хаоса (дезорганизации) реальных систем. Это наиболее "живучая" система, так как она обладает наибольшей гибкостью и способностью к адаптации. Ведь ее нельзя разрушить в силу того, что в ней отсутствуют связи.

В случае

наблюдаются прямо противоположные свойства новой системы по сравнению с простейшей. Система лишена всякой гибкости, не может адаптироваться к окружающей обстановке, обладает наиболее жесткой структурой из возможных, в ней отсутствует какой-либо люфт, позволяющий сохранять структуру системы при незапланированных внешних воздействиях. Это заорганизованная система. Любое нарушение какой-либо из связей приводит к ее разрушению. В то же время эта система обладает наибольшей жесткостью и твердостью и способна производить сильнейшее одноразовое воздействие на окружающую среду. Это в высшей степени неравновесная система.

Обратим внимание, что обе приведенные выше системы могут существовать самостоятельно без внешнего приемника информации. Это значит, что система отражается сама в себя, т.е. одновременно является источником и приемником информации. В результате имеют место явления самоотражения и самодвижения материи.

Кроме рассмотренных выше крайних экстремальных систем, должны существовать и множество других, соответствующих промежуточным значениям

, .

В работе [6] показано, что наиболее эффективной среди этих систем и соответственно наиболее сложной (информативной) будет система с отношением

.(5)

Коэффициент характеризует систему, находящуюся в изоляции от других систем, и является ее внутренней характеристикой.

Очевидно, что для любого источника информации всегда должно выполняться равенство

,(6)

которое представляет собой условие сохранения суммарного значения информации и энтропии в отдельно взятой системе.

Выражение (6) является основным для источника информации, причем не только в случае равновероятности его состояний, а и для случая, когда вероятности состояний разные. В этом случае следует говорить о вероятностных ограничениях.

Тогда

,(7)

где - вероятности состояний.

Преобразуем следующим образом:

.(8)

Обозначим величину

,(9)

где - число степеней свободы (разнообразие) простейшего источника после введения в него вероятностных ограничений.

Соответственно энтропия

,(10)

что соответствует энтропии ранее рассмотренного источника с ограничениями на возможные состояния.

Выражения (7 - 10) показывают, что в структурной теории информации вероятностные процессы за счет конечности сообщений можно свести к равновероятным с детерминированными ограничениями на число состояний. Поэтому все исследования в этой теории можно производить над источниками, генерирующими равновероятные конечные сообщения и затем при необходимости, результаты этих исследований распространять на вероятностные процессы конечной длины.

Источник информации на своем выходе генерирует информацию о состоянии, в котором он находится, принадлежащего множеству из состояний, в количестве

.(11)

Так как может принимать значения от 0 до , то соответственно изменяется в пределах от до 0.

Следовательно, ограничения , содержащиеся в источнике, самым непосредственным образом влияют на величину , генерируемой им информации: чем больше величина , тем меньше будет величина на выходе источника.

Допустим, что приемник обладает теми же исходными состояниями и той же величиной ограничений , что и источник информации. Тогда приемнику, чтобы получить информацию о состоянии, в котором находится источник, достаточно получить

единиц информации. Недостающее до величины количество информации

приемник восстановит самостоятельно с помощью структурной информации, хранимой в его памяти. В результате после восстановления он будет обладать единицами информации.

Если же в приемнике ограничения отсутствуют или их величина меньше, чем в источнике, то соответственно переданную информацию приемник не сможет восстановить вообще или восстановит ее частично.

Если источник передает количество информации

,

то для приемника, содержащего такое же количество ограничений, как и источник, эта информация будет избыточной. Определим ее в виде разности

.(12)

При эта информация

.(13)

Избыточность, с одной стороны, удлиняет время передачи, но с другой - позволяет обнаруживать и в ряде случаев исправлять ошибки. Однако вне зависимости от количества содержащейся в сообщении избыточной информации приемник должен уметь распознавать (дешифрировать) любое из передаваемых на его вход сообщений.

Если это условие будет нарушено, то произойдет искажение передаваемой информации, так как нескольким состояниям источника будет соответствовать одно состояние приемника. Соответственно несколько различных сообщений приемником будут восприниматься как одно.

Чтобы указанные нарушения передачи не происходили, необходимо увеличивать как можно больше энтропию непосредственно приемника и соответственно его разнообразие.

Одна и та же величина разнообразия и соответственно величина ограничений разнообразия

может создать

(14)

различных структур источника информации.

Неискаженная передача информации возможна только в том случае, когда источник и приемник содержат идентичные структуры.

Если это не так, то на выходе источника или на входе приемника необходимо иметь преобразователь кодов, который будет устанавливать соответствие структуры источника структуре приемника.

Допустим, что источник и приемник представляют простейшие системы с состояниями без ограничений, которые находятся в движении, т.е. их состояния дискретно меняются во времени. Задачей передачи информации в данном случае будет перевод каждого состояния приемника в однозначно соответствующее им состояние источника. В результате будут наблюдаться изменения состояний приемника строго синхронно с изменениями состояний источника.

Введение ограничений в простейшие источник и приемник не меняет сути задачи передачи информации в принципе, однако теперь приемник должен восстанавливать недостающую информацию о состоянии источника на множестве из состояний за счет априорной информации, содержащейся в его структуре.

Так как приемник в системе передачи информации является ведомым и изменяет свои состояния под влиянием источника, то этот источник, обладая свойством самоотражения, меняет свои состояния самостоятельно. Процесс изменения в общем виде состоит в том, что в каждый момент времени источник, находясь в каком-то одном из своих возможных состояний, одновременно переходит в случайно выбранное другое состояние. Это значит, что источник информации одновременно является и ее генератором и ее приемником. Как это происходит в природных источниках, пока недостаточно ясно, но, например, в таких искусственно созданных источниках информации, как при игре в рулетку или кости, процедура такого перехода достаточно прозрачна. Есть некоторое исходное состояние и есть переход в другое состояние, во время которого источник находится между этими двумя состояниями. Когда источник придет в одно из своих устойчивых состояний, появление остальных состояний будет запрещено. Но этот запрет как раз и порождает информацию, уничтожая при этом исходную энтропию и соответственно разнообразие.

Таком образом, структурная информация проявляется в виде ограничений. Ее можно рассматривать как частный случай статистической информации, получаемой при ограничениях на длину сообщений. Однако структурную информацию можно рассматривать и как информацию, обобщающую статистическую информацию. В последнем случае можно получить как теоретические, так и практические результаты, выходящие за рамки статистической теории информации, которые можно применить в других областях науки, таких, например, как кодирование и передача информации.

СПИСОК ЛИТЕРАТУРЫ

Борисенко А.А. О некоторых аспектах современной теории информации // Вісник СумДУ. - 1994. - № 1. - С. 93-96.

Борисенко А.А. Принцип унитарности и его приложение к теории информации // Вісник СумДУ, - 2001. - № 24-25. - С. 154 -160.

Кондаков Н.И. Логический словарь-справочник. - М.: Наука, 1975. - 717 с.

Философский энциклопедический словарь. - М.: Инфра, 2001. - 576 с.

Шеннон К. Работы по теории информации и кибернетике / Пер. с англ. - М.: Изд. иностр. лит., 1963. - 830 с.

Эшби У.Р. Введение в кибернетику / Пер. с англ. - М.: Изд. иностр. лит., 1959. - 430 с.