Математическая сущность системной теории информации (Системное обобщение формулы Больцмана-Найквиста-Хартли, синтез семантической теории информации Харкевича и теории информации Шеннона)

Матрица частот

Алгоритм формирования матрицы абсолютных частот.

Объекты обучающей выборки описываются векторами (массивами) имеющихся у них признаков:

Первоначально в матрице абсолютных частот все значения равны нулю. Затем организуется цикл по объектам обучающей выборки. Если предъявленного объекта относящегося к j-му классу есть i-й признак, то:

Здесь можно провести очень интересную и важную аналогию между способом формирования матрицы абсолютных частот и работой многоканальной системы выделения полезного сигнала из шума. Представим себе, что все объекты, предъявляемые для формирования обобщенного образа некоторого класса в действительности являются различными реализациями одного объекта - "Эйдоса" (в смысле Платона), по-разному зашумленного различными случайными обстоятельствами. И наша задача состоит в том, чтобы подавить этот шум и выделить из него то общее и существенное, что отличает объекты данного класса от объектов других классов. Учитывая, что шум чаще всего является "белым" и имеет свойство при суммировании с самим собой стремиться к нулю, а сигнал при этом наоборот возрастает пропорционально количеству слагаемых, то увеличение объема обучающей выборки приводит ко все лучшему отношению сигнал/шум в матрице абсолютных частот, т.е. к выделению полезной информации из шума. Примерно так мы начинаем постепенно понимать смысл фразы, которую мы сразу не расслышали по телефону и несколько раз переспрашивали. При этом в повторах шум не позволяет понять то одну, то другую часть фразы, но в конце-концов за счет использования памяти и интеллектуальной обработки информации мы понимаем ее всю. Так и объекты, описанные признаками, можно рассматривать как зашумленные фразы, несущие нам информацию об обобщенных образах классов: "Эйдосах" [12, 13, 14, 15], к которым они относятся. И эту информацию мы выделяем из шума при синтезе модели.

Для выражения (11):

Для выражений (12) и (13):

Для выражений (11), (12) и (13):

В (16) использованы обозначения:

N_ij - суммарное количество наблюдений в исследуемой выборке факта: "действовало i-е значение фактора и объект перешел в j-е состояние";

N_j - суммарное количество встреч различных факторов у объектов, перешедших в j-е состояние;

N_i - суммарное количество встреч i-го фактора у всех объектов исследуемой выборки;

N - суммарное количество встреч различных факторов у всех объектов исследуемой выборки.

Матрица условных и безусловных вероятностей

Эквивалентность выражений (11) и (12) устанавливается, если подставить в них выражения вероятности P_ij, P_j и P_i через частоты наблюдения признаков по классам из (14), (15) и (16). В обоих случаях из выражений (11) и (12) получается одно и тоже выражение (17):

А из (13) выражение (18), с которым мы и будем далее работать.

При взаимно-однозначном соответствии классов и признаков в равновероятном детерминистском случае имеем (таблица 3):

Таблица 3

Получение матрицы знаний (информативностей).

На основе анализа матрицы условных и безусловных вероятностей (таблица 3) наблюдений признаков по классам и всей выборке можно сравнивать признаки друг с другом по их роли для сравнения классов друг с другом и конкретных объектов с обобщенными классами. При этом существует 3 основных группы признаков:

Группа 1-я. Которые в одном классе встречаются, а в других нет. Это детерминистские признаки, обнаружение такого признака у объекта однозначно определяет его принадлежность к соответствующему классу.

Группа 2-я. Которые в одном классе встречаются чаще, чем в других. Это статистические признаки, обнаружение такого признака у объекта несет некоторую информацию о его принадлежности к соответствующему классу.

Группа 3-я. Которые в разных классах встречаются одной и той же вероятностью. Это признаки, обнаружение которых у объекта не несет никакой информации о его принадлежности к тем или иным классам.

Таким образом мы видим, что если используя таблицу 3 анализировать условные вероятности (или процентные распределения) признаков по классам, то можно вынести правдоподобные суждения о принадлежности объектов, обладающих этими признакам к тем или иным классам.

Однако в таком методе сравнения есть по крайней мере два существенных недостатка:

1. Для того, чтобы отнести признак к одной из вышеперечисленных групп необходимо сравнивать вероятности его наблюдения по классам, т.е. каждый раз при таком сравнении выполнять соответствующую необходимую для этого работу.

2. При отнесении признака ко 2-й группе этого самого по себе еще недостаточно для его использования с целью идентификации объекта, а необходимо еще оценить количество информации, которое содержится в факте обнаружения у объекта этого признака о принадлежности этого объекта к каждому из классов, а для этого необходим соответствующий математический и численный метод.

Что касается 1-го недостатка, то о нем можно сказать, что для реальных задач большой размерности выполнение этого сравнения вручную практически невозможно, а значит тем более невозможно и использование результатов этого сравнения для решения задач идентификации, прогнозирования и поддержки принятия решений, а тем более для исследования предметной области путем исследования ее модели. Все это обусловлено тем, что результат сравнения вероятностей встречи признака по классам не представляется при ручной обработке в количественной форме некоторого одного числа: частного критерия, величина и знак которого отражали бы результат такого сравнения.

2-й недостаток преодолевается методом, который предложен А.Харкевичем в выражениях (11) и (12) и уточнен нами в системном обобщении этих выражений (18). В этом методе предложено сравнивать не условные вероятности наблюдения признаков по различным классам друг с другом, а условную вероятность наблюдения признака по классу с безусловной вероятностью его наблюдения по всей выборке.

Это предложение по своей сути полностью соответствует известному статистическому методу отклонений от средних и нормативному подходу, когда в качестве базы сравнения выбирается норма, т.е. среднее по всей группе. На основе этого подхода формируются и критерии сравнения, т.е. можно сказать, что критериальный подход изначально основан на нормативном.

Если такое сравнение провести по всем признакам и классам, то получится матрица, снимающая оба указанных недостатка: используя выражение (18) и данные таблицы 1 непосредственно прямым счетом получаем матрицу знаний (таблица 4):

Таблица 4

Количественные значения коэффициентов I_ij таблицы 4 являются знаниями о том, что "объект перейдет в j-е состояние" если "на объект действует i-е значение фактора".

Принципиально важно, что эти весовые коэффициенты не определяются экспертами на основе опыта интуитивным неформализуемым способом, а рассчитываются непосредственно на основе эмпирических данных на основе теоретически обоснованной модели, хорошо зарекомендовавшей себя на практике при решении широкого круга задач в различных предметных областях.

Когда количество информации I_ij>0 - i-й фактор способствует переходу объекта управления в j-е состояние, когда I_ij<0 - препятствует этому переходу, когда же I_ij=0 - никак не влияет на это. В векторе i-го фактора (строка матрицы информативностей) отображается, какое количество информации о переходе объекта управления в каждое из будущих состояний содержится в том факте, что данный фактор действует. В векторе j-го состояния класса (столбец матрицы информативностей) отображается, какое количество информации о переходе объекта управления в соответствующее состояние содержится в каждом из факторов.

Таким образом, матрица информативностей (таблица 4) является обобщенной таблицей решений, в которой входы (факторы) и выходы (будущие состояния объекта управления) связаны друг с другом не с помощью классических (Аристотелевских) импликаций, принимающих только значения: "Истина" и "Ложь", а различными значениями истинности, выраженными в битах и принимающими значения от положительного теоретически-максимально-возможного ("Максимальная степень истинности"), до теоретически неограниченного отрицательного ("Степень ложности").

Фактически предложенная модель позволяет осуществить синтез обобщенных таблиц решений для различных предметных областей непосредственно на основе эмпирических исходных данных и продуцировать на их основе прямые и обратные правдоподобные (нечеткие) логические рассуждения по неклассическим схемам с различными расчетными значениями истинности, являющимся обобщением классических импликаций.

Таким образом данная модель позволяет рассчитать какое количество информации содержится в любом факте о наступлении любого события в любой предметной области, причем для этого не требуется повторности этих фактов и событий. Если же эти повторности осуществляются и при этом наблюдается некоторая вариабельность значений факторов, обуславливающих наступление тех или иных событий, то модель обеспечивает многопараметрическую типизацию, т.е. синтез обобщенных образов классов или категорий наступающих событий с количественной оценкой степени и знака влияния на их наступление различных значений факторов. Причем эти значения факторов могут быть как количественными, так и качественными и измеряться в любых единицах измерения, в любом случае в модели оценивается количество информации которое в них содержится о наступлении событий, переходе объекта управления в определенные состояния или просто о его принадлежности к тем или иным классам.

Данная модель позволяет прогнозировать поведение объекта управления при воздействии на него не только одного, но и целой системы факторов:

В теории принятия решений скалярная функция I_j векторного аргумента называется интегральным критерием. Основная проблема состоит в выборе такого аналитического вида функции интегрального критерия, который обеспечил бы эффективное решение сформулированной выше задачи АСУ.

Учитывая, что частные критерии (18) имеют смысл количества информации, а информация по определению является аддитивной функцией, предлагается ввести интегральный критерий, как аддитивную функцию от частных критериев в виде:

В выражении (41) круглыми скобками обозначено скалярное произведение, т.е. свертка. В координатной форме это выражение имеет вид:

где:

- вектор j-го класса-состояния объекта управления;

- вектор состояния предметной области, включающий все виды факторов, характеризующих объект управления, возможные управляющие воздействия и окружающую среду (массив-локатор), т.е.:

В реализованной модели значения координат вектора состояния предметной области принимались равными либо 1 (фактор действует), либо 0 (фактор не действует).

Таким образом, интегральный критерий представляет собой суммарное количество информации, содержащееся в системе значений факторов различной природы (т.е. факторах, характеризующих объект управления, управляющее воздействие и окружающую среду) о переходе объекта управления в то или иное будущее состояние.

В многокритериальной постановке задача прогнозирования состояния объекта управления, при оказании на него заданного многофакторного управляющего воздействия I_j, сводится к максимизации интегрального критерия:

т.е. к выбору такого состояния объекта управления, для которого интегральный критерий максимален.

Задача принятия решения о выборе наиболее эффективного управляющего воздействия является обратной задачей по отношению к задаче максимизации интегрального критерия (идентификации и прогнозирования), т.е. вместо того, чтобы по набору факторов прогнозировать будущее состояние объекта, наоборот, по заданному (целевому) состоянию объекта определяется такой набор факторов, который с наибольшей эффективностью перевел бы объект управления в это состояние.

Предлагается еще одно обобщение фундаментальной леммы Неймана-Пирсона, основанное на косвенном учете корреляций между информативностями в векторе состояний при использовании средних по векторам. Соответственно, вместо простой суммы количеств информации предлагается использовать корреляцию между векторами состояния и объекта управления, которая количественно измеряет степень сходства этих векторов:

где:

- средняя информативность по вектору класса;

- среднее по вектору идентифицируемой ситуации (объекта).

- среднеквадратичное отклонение информативностей вектора класса;

- среднеквадратичное отклонение по вектору распознаваемого объекта.

Выражение (44) получается непосредственно из (42) после замены координат перемножаемых векторов их стандартизированными значениями:

Необходимо отметить, что выражение для интегрального критерия сходства (42) по своей математической форме является корреляцией двух векторов. Это означает, что если эти вектора являются суммой двух сигналов: полезного и белого шума, то при расчете интегрального критерия белый шум практически не будет играть никакой роли, т.е. его корреляция с самими собой равна нулю по определению. Поэтому интегральный критерий сходства объекта со случным набором признаков с любыми образами классов, или реального объекта с образами классов, сформированными случайным образом, будет равен нулю. Это означает, что выбранный интегральный критерий сходства является высокоэффективным средством подавления белого шума и выделения полезной информации из шума, который неизбежно присутствует в эмпирических данных.

Важно также отметить неметрическую природу предложенного интегрального критерия сходства, благодаря чему его применение является корректным и при неортонормированном семантическом информационном пространстве, каким оно в подавляющем количестве случае и является, т.е. в общем случае.