К вопросу взаимосвязи комбинаторного, вероятностного и синергетического подходов к определению количества информации

Размещено на http: //www. allbest. ru/

Кубанский государственный аграрный университет, Краснодар, Россия

К вопросу взаимосвязи комбинаторного, вероятностного и синергетического подходов к определению количества информации

Вяткин Виктор Борисович

vbvvbv@yandex.ru

Аннотация

В статье впервые рассмотрены интегративные коды элементов дискретных систем и показано, что эти коды в общем случае делятся на групповую и системную части. Групповая часть кода характеризует множество элементов с одинаковым значением признака как единое целое, а системная часть кода появляется тогда, когда различные множества объединяются в систему. Установлено, что через средневзвешенную величину указанных частей интегративного кода в точности могут быть выражены информационные меры комбинаторного, вероятностного и синергетического подходов к определению количества информации. На этом основании сделано заключение, что между данными подходами существует интегративно-кодовая взаимосвязь, а фигурирующие в них виды информации имеют генетическое родство. При этом показано, что информация, рассматриваемая в синергетическом подходе (сведения о конечном множестве как едином целом), является генетически первичной по отношению к информации, с которой оперируют комбинаторный и вероятностный подходы (снятая неопределенность выбора одной из множества возможностей). Также дан ответ на вопрос о том, почему различные представления об информации приводят к одинаковым формулам ее измерения.

Ключевые слова: количество информации, теория информации, интегративный код, синтропия, энтропия

Annotation

To the relationship of combinatorial, probabilistic and synergetic approaches for determining the quantity of information

In the article we consider integrative codes of the elements of discrete systems for the first time. It is shown that these codes in the general case divided into group and system parts. The group part of the code characterizes a set of elements with identical value of the sign as a whole. System part of the code appears when different sets are combined into the system. We have established that in using the weighted average of these parts of integrative code we can express information measures of combinatorial, probabilistic and synergistic approaches to determine the quantity of information. It is concluded that there is an integrative coding relationship between these approaches, and the existing types of information have genetic relationship. It is shown that the information considered in the synergetic approach is genetically of primary in relation to the information, which operates on the combinatorial and probabilistic approaches. Also, we have answered the question why the different conceptions of information lead to identical formulas to measure it.

Keywords: quantity of information, information theory, integrative code, syntropy, entropy

СОДЕРЖАНИЕ

АННОТАЦИЯ

ANNOTATION

ВВЕДЕНИЕ

1. КОМБИНАТОРНЫЙ, ВЕРОЯТНОСТНЫЙ И СИНЕРГЕТИЧЕСКИЙ ПОДХОДЫ К ОПРЕДЕЛЕНИЮ КОЛИЧЕСТВА ИНФОРМАЦИИ

1.1 Комбинаторный подход

1.2 Вероятностный подход

1.3 Синергетический подход

2. ВЗАИМОСВЯЗЬ КОМБИНАТОРНОГО, ВЕРОЯТНОСТНОГО И СИНЕРГЕТИЧЕСКОГО ПОДХОДОВ

2.1 Уравнение взаимосвязи

2.2 Интегративно-кодовая природа взаимосвязи

2.3 Интегративно-кодовая эквивалентность энтропии отражения и энтропии Шеннона

ЗАКЛЮЧЕНИЕ

ЛИТЕРАТУРА

ВВЕДЕНИЕ

Становление теории информации, как научной дисциплины, было инициировано решением задач, связанных с передачей информации в виде символьных сообщений по техническим каналам связи и началось с разработки комбинаторного [1] и вероятностного [2] подходов к количественному определению информации, в каждом из которых была получена своя информационная мера. В обоих этих подходах информация абстрагируется от семантики сообщений и рассматривается как снятая неопределенность (энтропия) выбора одной из множества возможностей, причем в комбинаторном подходе все возможности имеют одинаковую вероятность, а в вероятностном подходе вероятности осуществления отдельных возможностей могут быть различными. Например, если некоторая система может находиться в одном их множества состояний, образующих полную группу событий, то, согласно указанным подходам, известие о том, что система находится в конкретном состоянии, дает информацию, которая по своей величине равна первоначальной неопределенности состояния системы. При этом, если вероятности состояний одинаковы, то количество полученной информации определяется с помощью комбинаторной меры, а если вероятности различны, то используется вероятностная мера.

Комбинаторный и вероятностный подходы нашли широкое применение в различных предметных областях, но, вместе с тем, они не позволяют корректно решать задачи, связанные с оценкой количества информации, которую отражают (воспроизводят) друг о друге, как едином целом, пересекающиеся конечные множества [4-7]. Данное обстоятельство обусловило разработку нового - синергетического - подхода к определению количества информации [7-10], в котором информация представляет собой сведения о конечном множестве, как едином целом, а мерой информации служит средняя длина интегративного кода его элементов.

Анализ дискретных систем с помощью этого подхода показал, что информация о дискретной системе при ее отражении через совокупность своих частей разделяется на отраженную и неотраженную части [8, 11, 12]. При этом математическая форма неотраженной информации оказалась тождественной информационным мерам комбинаторного и вероятностного подходов (тождественность комбинаторной мере, когда все части системы по числу элементов равны между собой и тождественность вероятностной мере, когда этого равенства нет). На этом основании, с учетом того, что неотраженная информация является вторичной информационной функцией, определяемой через отраженную информацию, было сделано предположение, что синергетический подход в информационно-генетическом плане является первичным по отношению к комбинаторному и вероятностному подходам. Вместе с тем, содержательная природа такого взаимоотношения различных подходов к определению количества информации не была раскрыта, и не был дан удовлетворительный ответ на вопрос, - почему различные представления об информации приводят к одинаковым математическим выражениям ее измерения? В связи с этим уместно заметить, что в отношении подобных математических совпадений академик А.Н.Колмогоров писал, что «такие математические аналогии следует всегда подчеркивать, так как сосредоточение на них внимания содействует прогрессу науки» [13, с.39].

В настоящей статье дается ответ на поставленный вопрос и вскрываются глубинные корни взаимосвязи комбинаторного, вероятностного и синергетического подходов к количественному определению информации, показывающие, что информация, фигурирующая в этих подходах, имеет одну и ту же генетическую природу. При этом сначала приводится краткое описание каждого из подходов и показывается их математическая взаимосвязь.

1. КОМБИНАТОРНЫЙ, ВЕРОЯТНОСТНЫЙ И СИНЕРГЕТИЧЕСКИЙ ПОДХОДЫ К ОПРЕДЕЛЕНИЮ КОЛИЧЕСТВА ИНФОРМАЦИИ

1.1 Комбинаторный подход

Среди известных подходов к определению количества информации наиболее ранним является комбинаторный подход, разработанный Р.Хартли в 1928г. [1]. Ставя перед собой задачу количественной оценки информации, передаваемой по техническим каналам связи, Р.Хартли исходил из того, что при передаче сообщения с помощью N-символьного алфавита каждый символ сообщения является результатом выбора одной из N возможностей. Соответственно, для того, чтобы передать сообщение из n символов, необходимо осуществить n таких выборов. При этом сообщение в целом, как единая n-символьная последовательность, является реализацией одной из возможных таких последовательностей.

Далее рассуждения Р.Хартли выглядели следующим образом: «Будем произвольно считать, что количество информации пропорционально числу выборов, а коэффициент пропорциональности выберем таким образом, чтобы равным числам возможных последовательностей соответствовали равные количества информации» [1, с.11]. То есть, обозначая количество информации через , а коэффициент пропорциональности через K, имеем:

(1)

Выдвигая условие, что, «если число выборов n1 и n2 в двух системах таковы, что возможных последовательностей в обеих системах одинаково, то одинаково и количество информации» [1, с. 11], Р.Хартли определил K следующим образом:

если ,

то ,

откуда .

Последнее выражение справедливо для всех значений N, если N и K связаны между собой соотношением:

, (2)

где произвольно и одинаково для любых систем связи.

Поскольку произвольно, то, опуская его и подставляя (2) в (1), Р.Хартли получил следующую формулу количества информации

, (3)

говоря при этом, что «сделанное нами сводится, следовательно, к тому, что в качестве практической меры информации мы берем логарифм числа возможных последовательностей символов» [1, с.12]. Вероятности появления различных символов в сообщении при этом во внимание не принимались, а основание логарифма было принято считать произвольным.

Наибольшую популярность комбинаторная мера количества информации (3) получила в том своем частном виде, когда выбор из N возможностей осуществляется один раз , а основание логарифма равно двум, то есть:

(4)

Более того, с этого выражения (4) сейчас начинается, как правило, и собственно рассмотрение комбинаторного подхода [3]. При этом использование двоичного основания логарифма не имеет под собой какого-либо теоретического обоснования, а обусловлено лишь удобством оперирования двоичными логарифмами в процессе теоретической и практической деятельности, связанной с передачей, хранением и переработкой информации.

1.2 Вероятностный подход

В 1948г. К.Шеннон опубликовал ставшую знаменитой статью «Математическая теория связи» [2], в которой идея Р.Хартли о связи количества информации с выбором одной из множества равновероятных возможностей, была распространена на общий случай, когда возможности имеют различную вероятность. Вывод соответствующей меры информации начинался при этом с предположения, что «имеется некоторое множество возможных событий, вероятности осуществления которых суть » [2, с.259]. Говоря после этого, что «эти вероятности известны, но это - все, что нам известно относительно того, какое событие произойдет», К.Шеннон поставил вопрос: «Можно ли найти меру того, насколько велик «выбор» из такого набора событий или сколь неопределенен для нас его исход?» [2, с.259]. Отвечая на поставленный вопрос, К.Шеннон постулировал, что такая мера должна обладать следующими свойствами:

«1. H должна быть непрерывной относительно .

2. Если все равны,

то H должна быть монотонно возрастающей функцией от N. В случае равновероятных событий имеется больше возможностей выбора или неопределенности, чем в случае, когда имеются разновероятные события.

3. Если бы выбор распадался на два последовательных выбора, то первоначальная H должна была бы быть взвешенной суммой индивидуальных значений H» [2, с.260].

Беря сказанное за основу, К.Шеннон доказал теорему, согласно которой «существует единственная функция H, удовлетворяющая трем перечисленным выше свойствам. При этом H имеет вид

, (5)

где K - некоторая положительная постоянная» [2, с.260], которая зависит от основания логарифма и «определяет просто выбор единицы измерения» [2, с.261].

Форма полученной функции (5) проявила определенную степень подобия с термодинамической энтропией Больцмана, на основании чего и по совету Дж. Неймана К.Шеннон назвал эту функцию энтропией множества вероятностей, утверждая, что «она является разумной количественной мерой возможности выбора или мерой количества информации» [2, с.262]. Тем самым введенная К.Шенноном мера (5) получила двойственную интерпретацию. То есть, когда перед нами неопределенная ситуация с N возможными исходами (выборами), значение H количественно характеризует неопределенность этой ситуации, а когда неопределенность снимается (ликвидируется) и ситуация становится определенной, то по значению H оценивается количество полученной при этом информации.

Наибольшее распространение информационно-энтропийная мера К.Шеннона, как и комбинаторная мера Р.Хартли, получила при использовании двоичных логарифмов. В этом случае принимается, что и, соответственно, имеем:

(6)

При этом, сравнивая (4) и (6), нетрудно видеть, что при постоянстве значений , то есть, когда мера К.Шеннона становится равной мере Р.Хартли:

Последнее свидетельствует о том, что во взаимоотношениях вероятностного и комбинаторного подходов соблюдается принцип соответствия, согласно которому «новая теория, претендующая на более широкую область применимости, чем старая, должна включать последнюю как предельный случай» [15, с.1257].

Следует также отметить, что с вероятностно-статистических позиций вероятностная мера К.Шеннона может быть представлена как математическое ожидание случайной величины :

То есть, информация, получаемая в результате снятия неопределенности выбора одной из N возможностей, равна среднему значению логарифмов вероятности осуществления этих возможностей.

(7)

В содержательном плане выражение (7) говорит о том, что, чем меньше вероятность наступления какого-либо события, тем больше информации дает его осуществление.

Не углубляясь более в вероятностный подход, математический аппарат которого является весьма развитым, отметим, что после его разработки теория информации быстро обрела популярность и стала использоваться в различных предметных областях. Распространение теории было настолько стремительным, что уже в 1956г. К.Шеннон вынужден был заметить, что «сейчас теория информации, как модный опьяняющий напиток, кружит голову всем вокруг». При этом, предостерегая исследователей от формального использования созданной им теории информации, К.Шеннон писал, что «она не является панацеей для инженера-связиста и тем более для представителей всех других специальностей» и предупреждал при этом, что с помощью созданной теории «нельзя решить всех нерешенных проблем» [2, с.667-668]. Солидарность с этими словами К.Шеннона проявили многие ученые. Например, математик Р.Л.Добрушин писал, что «столь общий многообразный объект как информация, не может допускать единого метода численного измерения, а идеи Шеннона обоснованы лишь в применении к той важной, но всё же ограниченной ситуации, когда рассматриваются оптимальные методы кодирования и декодирования информации в целях ее передачи по каналам связи или ее хранения» [17, с.254].

Одной из таких «нерешенных проблем», которые будучи информационными по своему содержанию, не могут быть решены с помощью комбинаторного подхода Р.Хартли и вероятностного подхода К.Шеннона, является задача оценки количества информации, которую отражают (воспроизводят) друг о друге, как едином целом, два пересекающихся конечных множества. Решение этой задачи потребовало разработки нового - синергетического - подхода к определению количества информации, не связанного с проблемами передачи сообщений по системам технической связи, в котором содержательная сторона понятия «количество информации» принципиально отличается от принятой в комбинаторном и вероятностном подходах.

1.3 Синергетический подход

Освещая данный подход к определению количества информации, предварительно сделаем замечания относительно того, почему подход имеет такое название и что в этом подходе понимается под термином «информация».

Сразу отметим, что включение в название подхода слова «синергетический» никак не связано с синергетикой Г.Хакена [18], а обусловлено исходным значением слова синергетика, которое в переводе с греческого языка означает совместный, согласованно действующий. Дело в том, что в данном подходе рассматриваются информационные аспекты отражения конечных множеств как целостных образований. Элементы множеств при этом принимают участие в информационных процессах одновременно всей своей совокупностью без какого-либо выделения любого из них в качестве самостоятельного события, результата испытания и т.п., как это принято делать в комбинаторном и вероятностном подходах. Соответственно, под термином информация в синергетическом подходе понимаются сведения о конечном множестве как едином целом.

Перейдем теперь к общему описанию синергетического подхода, одновременно несколько модифицируя его относительно более ранних изложений [7-10] в части терминологии, символики и путей получения некоторых формул.

Рассматривая ту или иную дискретную систему, мы практически всегда выделяем в ее составе множества элементов, обладающих каким-либо одинаковым отличительным признаком (свойством). Когда два множества элементов, выделяемые с помощью различных признаков, пересекаются друг с другом, между ними возникает информационная взаимосвязь и каждое из множеств отражает (воспроизводит) о другом множестве, как целостном образовании, определенную информацию. Эта отраженная информация для ее отличия от других разновидностей информации получила название синтропия отражения [21, 22]. То есть, синтропия отражения - это информация, которую отражают друг о друге, как едином целом, два пересекающихся конечных множества. Количественная оценка синтропии отражения имеет научный и практический интерес, а задача по ее определению ставится следующим образом.

Пусть в составе некоторой системы (рис.1) по отличительным признакам и выделены три конечных множества

, и .

Рисунок 1 Модели взаимосвязи множеств А и В в составе системы D а - модель отсутствия взаимосвязи; б, в, г - модель частичной взаимосвязи; д - модель полной (взаимно-однозначной) взаимосвязи

Количество элементов в составе каждого из множеств (мощность множества) равно . Требуется определить чему равна синтропия отражения , то есть количество информации, которую отражают друг о друге, как едином целом, конечные множества А и В.

Поставленная задача по определению синтропии имеет теоретический характер, поэтому для лучшего ее восприятия приведем практические примеры этой задачи в различных предметных областях.

Медицина. Пусть среди множества людей, имеющих то или иное заболевание (система D), выделены три группы больных. Первая группа - люди с заболеванием A (множество A с числом элементов ). Вторая группа - люди с заболеванием B (множество B с числом элементов ). Третью группу образуют люди, у которых одновременно наблюдаются оба заболевания A и B (множество K с числом элементов ). Определяя величину синтропии отражения , мы получим ответ на вопрос относительно того, в какой мере заболевания A и B сопровождают друг друга. Соответственно, диагностируя у человека одно заболевание, мы можем с определенной степенью уверенности прогнозировать наличие или отсутствие у него второго заболевания.

Социология. Предположим, что имеется представительная совокупность случайным образом отобранных людей, занимающихся трудовой деятельностью (система D), которые характеризуются двумя признаками - уровнем заработной платы и уровнем образования. При этом зарплату выше среднего уровня получают человек (множество A с числом элементов ), а высшее образование имеют человек (множество B с числом элементов ), причем среди людей с высшим образованием заработок выше среднего уровня отмечается раз (множество K с числом элементов ). Определяя в данном случае величину синтропии , мы получим информационно-количественную характеристику взаимосвязи высшего образования с повышенным уровнем заработной платы.

Биржевые торги. На ценовой истории любого биржевого инструмента (акции, индексы, валютные пары и т.д.) (система D), независимо от временного масштаба, всегда можно выделить ряд моментов времени, благоприятных для открытия торговых позиций (множество A с числом элементов ). Тестируя на ценовой истории ту или иную торговую систему, мы получаем определенное количество сигналов относительно того, когда, по «мнению» системы, нужно было открывать позиции (множество B с числом элементов ). При этом у любой системы только часть сигналов по времени своего поступления совпадает с оптимальными торговыми моментами (множество K с числом элементов ). Оценивая по этим данным синтропию отражения различных торговых систем, мы можем проводить сравнительный анализ их работы.

Из анализа моделей взаимосвязи множеств (рис.1) с очевидностью следует, что когда множества А и В состоят из одних и тех же элементов (рис.1д), то их отражение друг через друга ничем не отличается от отражения через самих себя, и как следствие, информация, которую каждое множество отражает о самом себе и синтропия их взаимного отражения в этом случае суть одно и то же, а когда у множеств нет общих элементов (рис.1а), то синтропия как таковая просто не существует. Соответственно, можно утверждать, что в общем случае взаимосвязи множеств, когда в их составе имеются общие элементы (рис.1б,в,г), синтропия представляет собой часть информации, отражаемой о себе каждым из множеств. То есть, обозначая через и информацию, отражаемую о себе каждым из множеств А и В, можно записать

,

С учетом сказанного непосредственной оценке синтропии в синергетическом подходе предшествует определение количества информации , которую произвольное конечное множество А отражает о самом себе как едином целом. При этом отметим, что информация при изложении синергетического подхода ранее [7-10] фигурировала под названием «самоотражаемая информация», что создавало определенные неудобства. Поэтому, поскольку информация связана только с самим множеством А и совместно с признаком является его атрибутивной характеристикой, то разумно этой информации дать новое название - атрибутивная информация конечного множества или просто атрибутивная информация. То есть, атрибутивная информация - это информация, которую конечное множество отражает о самом себе как целостном образовании.

Количественное определение атрибутивной информации основывается на двух аксиомах:

1. Аксиома монотонности. Атрибутивная информация конечного множества является монотонно возрастающей функцией от общего числа его элементов, то есть для любых двух конечных множеств А и В с числом элементов и имеет место неравенство

(8)

2. Аксиома интегративности. Показателем конечного множества А, как единого целого, является интегративный код его элементов, представляющий собой индивидуальную для каждого элемента последовательность символов какого-либо алфавита, число которых (длина кода) является функцией от общего количества элементов в составе множества.

Далее рассматривается процесс увеличения числа элементов в составе множества А, который представляется в виде роста ориентированного дерева, совокупность висячих вершин которого взаимно-однозначно соответствует множеству элементов , а максимальное число дуг, выходящих из одной вершины, равно числу символов n алфавита, выбранного для составления интегративных кодов. При этом каждой из смежных дуг в алфавитном порядке ставится в соответствие свой символ и, как следствие, в качестве индивидуального интегративного кода какого-либо элемента выступает последовательность символов, находящихся на пути движения из начальной вершины дерева в соответствующую данному элементу висячую вершину.

Модель такого дерева, которое называется деревом кодов, при и использовании в качестве алфавита упорядоченной пары символов приведена на рис.2.

Рисунок 2 Модель дерева кодов при n = 2 и |A| = 6

Из рисунка видно, что в общем случае множество А по длине интегративных кодов его элементов разбивается на два подмножества и , таких, что

и , где

- целочисленная часть . То есть не является однозначной функцией от . Поэтому в дальнейшем рассматривается средняя длина интегративных кодов.

Величина при получена в следующем виде:

(9)

Выражение (9) удовлетворяет принятым аксиомам и, соответственно, может быть принято за количество атрибутивной информации . В тех же случаях, когда , величина не может служить мерой , потому что при этом не соблюдается аксиома монотонности (8). Например, уже при , в ситуациях, показанных на рис.3, имеем, что при и (рис.3а,б), и , когда и (рис.9в,г). То есть, если , то при наполнении выходящими дугами начальной вершины дерева и последней из висячих вершин средняя длина интегративных кодов не изменяется.



Размещено на http: //www. allbest. ru/

Рисунок 3 Модели дерева кодов при n = 3

Отсюда следует, что средняя длина интегративного кода элементов может выступать в качестве меры атрибутивной информации только тогда, когда интегративные коды составлены с помощью двоичного алфавита, то есть принимается, что

(10)

Так как согласно (9)

,

то из (10) также следует, что для оценки количества информации в синергетическом подходе могут использоваться только двоичные логарифмы.

Установлено [7-10], что на всем множестве возможных значений отклонение от ограничено постоянной величиной

Основываясь на данном факте, а также учитывая высокую когерентность поведения функций и (рис.4) и более простой вид последней из них, для удобства дальнейших теоретических построений и практических расчетов вместо выражения (10) принимается его аппроксимация

, (11)

которая также удовлетворяет принятым аксиомам монотонности и интегративности.

Рисунок 4 Графики функций и

То есть при дальнейшем развитии синергетического подхода атрибутивная информация конечного множества выражается через двоичный логарифм общего числа его элементов.

По своей математической форме атрибутивная информация (11) подобна информационной мере Р.Хартли (4) и может создаться впечатление, что они суть одно и то же. Но это далеко не так, что следует хотя бы из того, что их аргументы и N характеризуют множество с разных сторон (N представляет собой разнообразие элементов множества, а равно их общему числу). Соответственно, в одной и той же ситуации и , в общем случае, имеют различные значения, причем . В этом можно убедиться на примере буквенных последовательностей конечной длины, информационные оценки которых по формулам (4) и (11) приведены в таблицах 1 и 2.

Из табл. 1 видно, что не зависит от разнообразия букв, образующих последовательность, а табл. 2, в свою очередь, показывает, что не зависит от общей длины буквенной последовательности. Иначе говоря, атрибутивная информация множества (11) и информационная мера Р.Хартли (4) инвариантны относительно друг друга, а их значения равны между собой только в том частном случае, когда .

Таблица 1

№	Буквенная последовательность		N
1	a,b,c,d,e,f,g,h	8	8	3	3
2	a,a,b,b,c,c,d,d	8	4	3	2
3	a,a,a,a,b,b,b,b	8	2	3	1
4	a,a,a,a,a,a,a,a,	8	1	3	0

Таблица 2

№	Буквенная последовательность		N
1	a,b	2	2	1	1
2	a,a,b,b	4	2	2	1
3	a,a,a,a,b,b,b,b	8	2	3	1

Возвращаясь теперь к задаче оценки синтропии отражения , отметим, что определение атрибутивной информации , как величины , обусловило оценку синтропии , как результата воспроизведения средней длины интегративного кода элементов одного конечного множества, через пересекающееся с ним другое конечное множество. Это воспроизведение основано на том, что интегративный код любого элемента произвольного множества А представляет собой определенное символьное сообщение о самом множестве, как о целостном образовании, вследствие чего величина атрибутивной информации интерпретируется также, как средняя длина такого сообщения. Исходя из этого, формула синтропии отражения выводится на основе анализа процесса передачи информации по системе информационной связи, в которой множества А и В попеременно являются источником и приемником информации, а связующее множество выступает в качестве передающей среды или канала связи. В результате указанного анализа формула синтропии отражения получена в следующем виде:

(12)

Из выражения (12) следует, что синтропия является частью атрибутивной информации

.

В то же время, поскольку связующее множество K является подмножеством как множества А, так и множества В, то утверждается, что синтропия представляет собой одну и ту же часть атрибутивной информации каждого из множеств А и В.

Заканчивая общее описание синергетического подхода к определению количества информации, отметим, что этот подход принципиально отличается от комбинаторного и вероятностного подходов тем, что рассматриваемая в нем информация существует независимо от управления, то есть не связана с выбором одной из множества возможностей.

2. ВЗАИМОСВЯЗЬ КОМБИНАТОРНОГО, ВЕРОЯТНОСТНОГО И СИНЕРГЕТИЧЕСКОГО ПОДХОДОВ

интегративный код дискретный синергетический

2.1 Уравнение взаимосвязи

Синергетический подход к определению количества информации получил свое развитие в виде одноименной - синергетической - теории информации, предметом познания которой являются информационно-количественные аспекты отражения системных образований, представленных конечным множеством элементов. Одним из разделов данной теории является анализ отражения произвольной дискретной системы А через совокупность своих частей , выделенных по значениям какого-либо признака

. При этом , , (рис. 5).

Моменты этого анализа, имеющие отношение к тематике настоящей статьи, сводятся к следующему.

Размещено на http: //www. allbest. ru/

Рисунок 5 Система А и совокупность ее частей B1, B2, …, BN

Каждая часть дискретной системы (рис.5) отражает о ней, как едином целом, определенную информацию, которая представляет собой синтропию отражения . При этом, поскольку , то формула синтропии (12) принимает следующий вид:

(13)

Установлено, что аддитивная синтропия , равная сумме всех частных синтропий системы

, (14)

при всегда меньше, чем ее атрибутивная информация (11).

То есть

(15)

Неравенство (15) говорит о том, что не вся информация о дискретной системе, как едином целом, отражается (воспроизводится) через дифференцированную совокупность ее частей и всегда существует некоторая часть отражаемой информации , которая остаётся неотражённой. Эта неотражённая или невоспроизведённая информация характеризует неопределённость, неадекватность отражения системы через свои части, что в соответствии с распространённой интерпретацией термина энтропия, как меры неопределённости чего-либо, позволяет называть её энтропией отражения. То есть, энтропия отражения - это информация о дискретной системе, которая не воспроизводится через совокупность ее частей.

Величина энтропии отражения S определяется как разность между отражаемой и отраженной информациями и в соответствии с формулами (11), (13), (14) равна:

(16)

Умножив и разделив аргумент второго логарифма в выражении (16) на , и заменяя при этом логарифм произведения суммой логарифмов, получаем:

Так как то из последнего выражения следует:

(17)

Таким образом, изложенное свидетельствует о том, что при отражении дискретной системы через совокупность своих частей происходит разделение отражаемой информации на отраженную и неотраженную части, равные, соответственно, аддитивной синтропии и энтропии отражения. Иначе говоря, информационный баланс отражения дискретной системы через свои части выражается уравнением:

 (18)

С позиций теории вероятностей отношение представляет собой вероятность встречи элементов, обладающих i-м значением признака , среди общего числа элементов системы А. Поэтому формула энтропии отражения (17) может быть представлена также в следующем виде:

(19)

Нетрудно видеть, что формула энтропии отражения (19) и формула энтропии К.Шеннона (6) в математическом отношении представляют собой одно и то же, хотя по своей содержательной интерпретации они принципиально отличаются друг от друга. Так как при формула К.Шеннона (6) становится формулой Р.Хартли (4), то можно говорить о том, что равенство (18), помимо прочего, представляет собой уравнение взаимосвязи комбинаторного, вероятностного и синергетического подходов к определению количества информации, которое в зависимости от значений принимает следующий вид:

(20)

(21)

Анализируя выражения (20) и (21), необходимо также отметить следующее. В вероятностном подходе К.Шеннона энтропия (6) вводится в рассмотрение эмпирическим путём, как функция, удовлетворяющая априорным требованиям к мере неопределённости выбора одной из N различных возможностей. В синергетической теории информации, в свою очередь, энтропия отражения (19) получена аналитически, как разность между отражаемой (11) и отражённой (14) информациями. Иначе говоря, в синергетической теории информации энтропия (19) представляет собой меру неотражённой информации, и в силу этого является вторичной, то есть выводимой через синтропию отражения функцией. Сказанное позволяет утверждать, что с информационно-генетических позиций синергетический подход к определению количества информации является первичным по отношению к комбинаторному подходу Р.Хартли и вероятностному подходу К.Шеннона. Примечательно, что данное утверждение полностью согласуется с тезисом академика А.Н.Колмогорова о том, что «основные понятия теории информации должны и могут быть обоснованы без помощи обращения к теории вероятностей и так, что понятия «энтропия» и «количество информации» оказываются применимы к индивидуальным объектам» [25, с.6].

Указанная взаимосвязь различных подходов к определению количества информации основана на математической тождественности энтропии отражения и энтропии Шеннона, которая ничего не говорит о природе этой взаимосвязи. Поэтому возникает естественный вопрос - почему различные представления об информации приводят к одной и той же математической формуле ее измерения, именуемой как «энтропия»? Причем, когда понятие информации связывается с управлением (теория Хартли-Шеннона), эта формула имеет основополагающее значение, а когда информация рассматривается независимо от управления (синергетическая теория), то формула энтропии появляется третьей по счету в ряду соответствующих информационных мер (после атрибутивной информации и синтропии отражения). Поскольку, согласно сделанному информационно-генетическому утверждению, синергетическая информация является первичной по отношению к управленческой информации и связана при этом с интегративными кодами элементов, то представляется разумным ответ на поставленный вопрос искать в особенностях структуры интегративных кодов, когда множество по значениям какого-либо признака делится на ряд подмножеств и рассматривается как система, в которой подмножества выступают в качестве ее автономных частей.

2.2 Интегративно-кодовая природа взаимосвязи

На основе аксиомы интегративности, принятой при выводе формулы атрибутивной информации, модели взаимосвязи двух конечных множеств А и В (рис.1) можно выразить с помощью интегративных кодов их элементов, что иллюстрирует рисунок 6.

Рисунок 6 Интегративно-кодовая взаимосвязь конечных множеств А и В а - взаимосвязь отсутствует; б,в,г - частичная взаимосвязь; д - полная взаимосвязь

Из рисунка видно, что, когда пересечение множеств не является пустым множеством, то кодовые деревья множеств частично (рис.6б,в,г) или полностью (рис.6д) совмещаются друг с другом. То есть при полном совмещении кодовых деревьев интегративные коды элементов одного множества полностью совпадают с интегративными кодами элементов другого множества, а когда совмещение деревьев является частичным, то совпадение кодов имеет фрагментарный характер, причем различаются две ситуации. В первом, наиболее общем случае (рис.6б), совпадающие фрагменты составляют часть интегративного кода тех элементов каждого из множеств, которые образуют область их пресечения. Во втором, более частном случае (рис.6в,г), одно из множеств является подмножеством другого множества и, соответственно, интегративные коды элементов подмножества представляют собой только часть интегративных кодов элементов множества.

Беря сказанное за основу, ранее рассмотренную систему А (рис.5) можно представить в виде дерева кодов, в котором взаимоотношения интегративных кодов элементов системы и каждой из ее частей соответствуют взаимоотношениям интегративных кодов элементов пересекающихся множеств А и В, когда (рис.6в). Такое системное дерево кодов, на примере системы А с числом элементов , представлено на рисунке 7. При этом показаны три ситуации, которые отражают два полярных (рис.7а,в) и один общий (рис.7б) случаи деления системы А по значениям отличительного признака

на N частей .



Рисунок 7 Деревья интегративных кодов дискретной системы А с числом элементов

На рисунке 7а непосредственное деление системы на части отсутствует , то есть все элементы системы характеризуются одним и тем же значением признака . Противоположная этому ситуация показана на рис.7в, где число частей системы равно количеству ее элементов , то есть в данном случае каждый элемент системы обладает индивидуальным значением признака . На рисунке 7б приведен наиболее общий случай деления системы на части , когда части соотносятся между собой по числу элементов произвольным образом, то есть, когда элементы системы по значениям признака могут образовывать множества с числом элементов от

до .

Анализ кодовых деревьев на рисунке 7б показывает, что в общем случае интегративные коды элементов, образующих дискретную систему, могут быть разделены на две части. Первая часть (нижняя) одновременно представляет собой, как фрагмент общесистемного интегративного кода элементов, так и собственно интегративный код соответствующей части системы, когда эта часть рассматривается автономно, то есть независимо от других частей. Вторая часть (верхняя), в свою очередь, является только фрагментом общесистемного кода. Отсюда следует, что, когда автономные конечные множества объединяются в систему, интегративные коды их элементов возрастают на некоторую величину, которая является показателем системной принадлежности множеств или, проще говоря, выражает собой системный эффект от объединения множеств в одно целое. Учитывая это, и принимая во внимание тот факт, что множество элементов, образующих ту или иную часть системы, можно также называть группой элементов с одинаковым значением определенного признака, дадим указанным частям интегративных кодов следующие названия. Нижняя часть кода - групповая часть, верхняя часть кода - системная часть. При этом можно сказать, что системная часть кода является надстройкой его групповой части.

Так как длину интегративного кода элементов принято обозначать символом L, то любой фрагмент кода будем обозначать символом . Соответственно, для групповой и системной частей кода принимаются обозначения и . Таким образом, общую длину интегративного кода любого элемента системы можно представить в следующем виде:

Обращаясь снова к рисунку 7, также отметим следующее. Когда в системе нет деления на части (рис.7а), системная составляющая в интегративных кодах ее элементов отсутствует и коды представлены только групповой частью . В противоположной ситуации (рис.7в), когда число частей системы равно количеству ее элементов, имеем обратную картину, то есть интегративный код каждого элемента состоит только из системной части . В наиболее общем случае деления системы на части (рис.7б) интегративные коды элементов состоят из обеих частей и , но при этом в тех отдельных частных случаях (части и на рис. 7б), когда , интегративные коды представлены только системной составляющей.

Рассмотрим теперь количественные аспекты интегративных кодов элементов в составе системы и начнем с их групповой части.

По определению (10) атрибутивная информация произвольного конечного множества равна средней длине интегративного кода его элементов, составленного с помощью двоичного алфавита. Соответственно, средняя величина групповой части кода элементов, образующих i-ю часть системы, равна:

(22)

Средневзвешенное значение групповой части кода (22) по всем частям системы, в свою очередь, выразится формулой:

Так как ,

то окончательно для имеем:

(23)

Определяя теперь среднее значение системной части кода, сначала с очевидностью отметим, что эта величина для элементов i-й части системы будет равна разности между средним значением общей длины кода всех элементов системы (10) и средней величиной групповой части кода элементов данной части системы (22), то есть:

(24)

Соответственно, средневзвешенная величина системной части интегративного кода по всем элементам системы равна:

(25)

При этом в том случае, когда все части системы равны между собой по числу элементов, то есть, когда , имеем:

(26)

Проводя теперь сравнительный анализ полученных характеристик интегративных кодов с информационными мерами комбинаторного, вероятностного и синергетического подходов к определению количества информации, можно сказать следующее.

Комбинаторный и вероятностный подходы. Наиболее известная мера информации - энтропийная мера Шеннона (6) - представляет собой средневзвешенную величину системной части интегративного кода элементов дискретной системы (25), разделенной по значениям произвольного признака на N частей:

(27)

При этом в том случае, когда все части системы равны между собой по количеству элементов (26), через средневзвешенную величину системной части интегративного кода выражается также комбинаторная мера информации Хартли (4):

(28)

Частная информация (7), фигурирующая в вероятностном подходе, в свою очередь, представляет собой среднее значение величины системной части кода (24) тех элементов системы, которые имеют одно и то же значение признака то есть:

(29)

Синергетический подход. Первоначально выводимая в этом подходе мера атрибутивной информации конечного множества (11) по определению представляет собой среднюю длину интегративного кода всех элементов системы (10), которая при отсутствии деления системы на части также является средней длиной групповой части интегративного кода элементов, то есть:

 (30)

Частная синтропия отражения системы какой-либо ее частью (13) с интегративно-кодовых позиций представляет собой соответствующее слагаемое в формуле средневзвешенного значения групповой части кода элементов системы (23) и с учетом равенства (22) может быть представлена в следующем виде:

(31)

Соответственно, аддитивная синтропия отражения (14), представляя собой отраженную часть атрибутивной информации (11), равна средневзвешенной величине групповой части кода всех элементов системы (23):

(32)

Энтропия отражения системы через совокупность своих частей (17), будучи неотраженной частью атрибутивной информации, также как и энтропия Шеннона, равна средневзвешенной величине системной части интегративного кода элементов системы (25), то есть:

(33)

Обобщением сказанного является таблица 3, в которой вместе с информационными мерами комбинаторного (4), вероятностного (6,7) и синергетического (11,13,14,17) подходов к определению количества информации приведены результаты их сравнительного анализа (27-33) с различными характеристиками интегративных кодов элементов дискретных систем (22-26).

Таблица 3 Информационные меры и их интегративно-кодовая интерпретация

Подход к определению количества информации	Информационная мера
	Оригинальный вид	Интегративно-кодовая интерпретация
Комбинаторный
Вероятностный
Синергетический

Приведенная таблица наглядно показывает, что информационные меры комбинаторного, вероятностного и синергетического подходов по своей сущности являются количественными характеристиками структурных особенностей интегративных кодов элементов дискретных систем, что говорит об их общем генетическом родстве. Именно в этом заключается глубинная природа взаимосвязи данных подходов к определению количества информации. При этом информационные меры комбинаторного и вероятностного подходов функционально связаны только с системной частью интегративных кодов, в то время как в мерах синергетического подхода фигурируют обе части кода, а также его общая длина.

Так как системная часть кодов является надстройкой групповой части и образуется только тогда, когда система делится на части по значениям какого-либо признака, а до этого деления интегративные коды элементов представлены только групповой частью, то сказанное свидетельствует о том, что в генетическом отношении информация, фигурирующая в синергетическом подходе, является первичной по отношению к информации, измеряемой в комбинаторном и вероятностном подходах. Это лишний раз подтверждает ранее сделанное утверждение об информационно-генетической первичности синергетической теории информации относительно теории Хартли-Шеннона, основанное на анализе последовательности получения формул атрибутивной информации, аддитивной синтропии и энтропии отражения, с учетом того, что последняя из них математически тождественна энтропии Шеннона.

Покажем на простых примерах как можно практически представить себе генетическую первичность информации синергетического подхода и вторичность информации комбинаторного и вероятностного подходов.

Пример 1. Известно [2], что при передаче текстовых сообщений по каналам технической связи среднее количество информации, приходящейся на одну букву, равно энтропии Шеннона, определенной на основе вероятностей появления букв в языке, на котором составлено сообщение. Эти вероятности выражают статистическую структуру языка и определяются на основе анализа представительного по объему текста, написанного на данном языке. То есть, прежде, чем вычислять энтропию Шеннона, нужно провести предварительную работу по определению общего количества букв анализируемого представительного текста (система А с числом элементов , в качестве которых выступают буквы) и числа появлений в тексте каждой буквы из используемого N-буквенного алфавита (части с числом букв , ). Только после этого можно оценить вероятность появления в тексте каждой буквы и перейти к непосредственному вычислению энтропии Шеннона. При этом нетрудно видеть, что уже на предварительном этапе работ мы можем сразу определить атрибутивную информацию анализируемого текста и такую же информацию каждой из его частей , равные, соответственно, среднему значению общей длины интегративного кода всех букв текста и средней величине групповой части кода одинаковых букв.

Пример 2. В работе [28] приводится следующая задача, связанная с определением энтропии Шеннона: «Имеются две урны, содержащие по 20 шаров - 10 белых, 5 черных и 5 красных в первой и 8 белых, 8 черных и 4 красных во второй. Из каждой урны вытаскивают по одному шару. Исход какого из этих двух опытов следует считать более неопределенным?» [28, с.76]. При этом задача решается через определение энтропии Шеннона для каждого из опытов.

Энтропия первого опыта:

Энтропия второго опыта:

На основе полученных значений авторы пишут: «Если оценивать (как это мы условились делать) степень неопределенности опыта его энтропией, то надо считать, что исход второго опыта является более неопределенным, чем исход первого» [28, с.77].

Покажем, что эта задача может быть решена также только на основе значений аддитивной синтропии. Дело в том, что аддитивная синтропия является противоположностью энтропии отражения S, которая математически равна энтропии Шеннона H и, соответственно, может рассматриваться в качестве меры определенности исхода того или иного опыта. Поэтому, отвечая на поставленный в задаче вопрос, можно сказать, что более неопределенный исход имеет тот опыт, аддитивная синтропия (14) системы шаров у которого имеет меньшее значение. Собственно решение задачи при этом выглядит следующим образом.

Аддитивная синтропия первого опыта:

Аддитивная синтропия второго опыта:

В результате имеем неравенство и соответственно можно утверждать, что неопределенность исхода второго опыта больше, чем первого. То есть мы пришли к такому же решению задачи, как и в случае использования энтропии Шеннона.

Решение поставленной задачи, полученное с помощью синтропии отражения, показывает, что сравнительный анализ величины энтропии Шеннона различных систем с одинаковым числом элементов можно проводить на уровне бинарных суждений «больше - меньше» без определения значений самой энтропии.

2.3 Интегративно-кодовая эквивалентность энтропии отражения и энтропии Шеннона

Выше уже говорилось о том, что энтропия отражения и энтропия Шеннона имеют различную информационную интерпретацию, а их расчетные формулы, будучи математически тождественными, получены различными путями. Именно на этом основании во введении был поставлен вопрос о том, почему различные представления об информации приводят к одинаковым математическим выражениям ее измерения. Ранее ответ на этот вопрос оставался открытым, но сейчас, вставая на интегративно-кодовые позиции, в качестве ответа можно сказать следующее.

Выражения (27) и (33), а также таблица 3 показывают, что энтропия Шеннона H и энтропия отражения S имеют один и тот же интегративно-кодовый эквивалент в лице средневзвешенной величины системной части интегративного кода элементов дискретной системы и по существу являются ее метафорами. Именно поэтому их количественные оценки, полученные различными путями, выражаются одной и той же формулой. При этом метафоричность энтропии отражения, как невоспроизводимой части атрибутивной информации, является очевидной, в то время как метафоричность энтропии Шеннона следует из того, что средневзвешенная величина системной части интегративного кода удовлетворяет всем трем условиям, которые априорно были предъявлены Шенноном к мере информации, как снятой неопределенности выбора одной из множества возможностей. Покажем это. (Сами условия приведены в разд. 1.2.)

В силу того, что и H математически подобны, удовлетворение первым двум условиям Шеннона со стороны является очевидным. В отношении же удовлетворения третьему условию, обратимся к поясняющему это условие примеру, который приводил сам Шеннон [2].

На рис. 8 показан выбор из трех возможностей, с помощью которого Шеннон разъяснял смысл третьего условия следующим образом.

Рисунок 8 Выбор из трех возможностей (Шеннон К., 1948 [2])

«Слева имеются три возможности ; ; . Справа производится выбор между двумя возможностями, причем каждая имеет вероятность 1/2, и в случае осуществления второй возможности производится еще один выбор между двумя возможностями с вероятностями 2/3; 1/3. Окончательные результаты имеют те же самые вероятности, как и прежде. Потребуем в этом случае, чтобы

. (34)

Коэффициент Ѕ является весовым множителем, введенным из-за того, что второй выбор осуществляется только в половине случаев» [2, с.260].

С позиций дискретных систем, рассматриваемых в синергетической теории информации, пример Шеннона в общем случае представляет собой выбор одного элемента из системы А с числом элементов , которая по значениям некоторого признака разделена на N частей с числом элементов в каждой части .



Если первоначальный выбор из элементов системы А разделяется на два последовательных выбора так, как это показано Шенноном, то с системных позиций это означает следующее.

Первый из двух последовательных выборов осуществляется из системы , состоящей из двух частей и . Если в результате выбора из элементов системы появляется элемент из части , то эта часть в дальнейшем рассматривается как автономная подсистема, из элементов которой осуществляется следующий выбор. Иллюстрацией этого является рис. 9, где выборы Шеннона из рис. 8 представлены как выборы из элементов систем A и и подсистемы .