Системная теория информации и семантическая информационная модель

2. Измерение валидности модели на оставшемся подмножестве обучающей выборки, не использованном для синтеза модели.

Поскольку оба случайных подмножества имеют переменный состав по объектам обучающей выборки, то подобная процедура должна повторяться много раз, после чего могут быть рассчитаны статистические характеристики адекватности модели, например, такие как:

- средняя внешняя валидность;

- среднеквадратичное отклонение текущей внешней валидности от средней и другие.

Достоинство бутстрепного подхода к оценке адекватности модели состоит в том, что он позволяет измерить внешнюю валидность на уже имеющейся выборке и изучить статистические характеристики, характеризующие адекватность модели при изменении объема и состава выборки.

Непараметричность модели. Робастные процедуры и фильтры для исключения артефактов

Предложенная семантическая информационная модель является непараметрической, т.к. базируется на системной теории информации [64], которая никоим образом не основана на предположениях о нормальности распределений исследуемой выборки.

Под робастными понимаются процедуры, обеспечивающие устойчивую работу модели на исходных данных, зашумленных артефактами, т.е. данными, выпадающими из общих статистических закономерностей, которым подчиняется исследуемая выборка.

Критерий выявления артефактов, реализованный в СК-анализе, основан на том, что при увеличении объема статистики частоты значимых атрибутов растут, как правило, пропорционально объему выборки, а частоты артефактов так и остаются чрезвычайно малыми, близкими к единице. Таким образом, выявление артефактов возможно только при достаточно большой статистике, т.к. в противном случае недостаточно информации о поведении частот атрибутов с увеличением объема выборки.

В модели реализована такая процедура удаления наиболее вероятных артефактов, и она, как показывает опыт, существенно повышает качество (адекватность) модели.

Методика численных расчетов СК-анализа

В таблице 25 приведен детальный список базовых когнитивных операций системного анализа, которым соответствует 24 алгоритма, которые здесь привести нет возможности из-за их объемности. Но они все приведены в полном виде в работе [64].

Иерархическая структура данных семантической информационной модели СК-анализа

На рисунке 43 приведена в обобщенном виде иерархическая структура баз данных семантической информационной модели системно-когнитивного анализа. На этой схеме базы данных обозначены прямоугольниками, а базовые когнитивные операции системного анализа, преобразующие одну базу в другую - стрелками с надписями. Имеются также базовые когнитивные операции, формирующие выходные графические формы. Из этой схемы видно, что одни базовые когнитивные операции готовят данные для других операций, относящихся к более высоким уровням иерархии системы процессов познания. Этим определяется возможная последовательность выполнения базовых когнитивных операций.

Иерархическая структура баз данных семантической информационной модели системно-когнитивного анализа

Специальный программный инструментарий СК-анализа - система "Эйдос"

На таблице 26 показана обобщенная схема когнитивной аналитической системы "Эйдос", которая реализует математическую модель и численный метод системно-когнитивного анализа и, таким образом, является его инструментарием. В состав данной системы входит 7 подсистем.

Первые 3 подсистемы являются инструментальными, т.е. позволяют осуществлять синтез и адаптацию модели. Остальные 4 подсистемы обеспечивают идентификацию, прогнозирование и кластерно-конструктивный анализ модели, в т.ч. верификацию модели и выработку управляющих воздействий.

Система "Эйдос" является довольно большой системой: распечатка ее исходных текстов 6-м шрифтом составляет около 800 листов, она генерирует 54 графических формы (двумерные и трехмерные) и 50 текстовых форм. На данную систему и системы окружения получено 8 свидетельств РосПатента РФ.

Таблица- ОБОБЩЕННАЯ СТРУКТУРА УНИВЕРСАЛЬНОЙ КОГНИТИВНОЙ АНАЛИТИЧЕСКОЙ СИСТЕМЫ "ЭЙДОС"

Выводы

Интервальные оценки сводят анализ чисел к анализу фактов и позволяют обрабатывать количественные величины как нечисловые данные. Это ограничивает возможности обработки количественных величин методами обработки нечисловых данных. В математической модели СК-анализа, основанной на системной теории информации, наоборот, качественным, нечисловым данным, сопоставляются количественные величины. Это позволяет использовать все возможности количественных методов для исследования нечисловых данных.

Таким образом, в СК-анализе числовые и нечисловые данные обрабатываются единообразно на основе единой математической модели как числовые данные.

Рассматривается связь метода измерения адекватности модели в СК-анализе с бутстрепными методами.

Описывается робастная процедура выявления и устранения артефактов в СК-анализе.

Резюме

1. Сформулированы требования к математической модели и к численной мере. Затем на их основе обоснован выбор базовой численной меры. Для этого рассмотрены три вида информации: абсолютная, относительная и аналитическая информация. Предпочтение отдано аналитической форме информации, к которой принадлежат относительные вероятности, относительные проценты и количество информации. Вместо традиционных мер, основанных на понятии "стоимости" и "полезности" предложено использовать информационную меру. Рассмотрены различные аспекты применения теории информации для анализа процесса труда и средств труда как информационных систем. Показано, что принятие решения об управляющем воздействии есть обратный процесс по отношению к идентификации и прогнозированию, т.е. познанию. Установлена связь количества (синтаксиса) и качества (содержания, семантики) информации, записываемой в структуре предмета труда, с меновой и потребительной стоимостью. Сформулирована информационная теория стоимости, в которой информация рассматривается как сущность стоимости и как "первичный" и по сути единственный товар. Рассмотрены вопросы определения стоимости и амортизация интеллектуальных систем и баз знаний. Показано, что их стоимость как генераторов информации возрастает в процессе эксплуатации. С позиций теории информации раскрыт фундаментальный источник экономической эффективности АСУ и систем интеллектуальной обработки данных: понижение энтропии объекта управления как приемника сообщений в результате получения управляющей информации. Сделан вывод о целесообразности выбора в качестве базовой численной меры количества информации. Поставлена задача выбора или конструирования конкретной численной меры, основанной на понятии информации.

2. В классической теории информации Шеннона, созданной на основе обобщения результатов Больцмана, Найквиста и Хартли, само понятие информации определяется на основе теоретико-множественных и комбинаторных представлений путем анализа поведения классического макрообъекта, который может переходить только в четко фиксированные альтернативные редуцированные состояния. Однако, квантовые объекты и сложные активные рефлексивные системы могут оказываться одновременно в двух и более альтернативных для классических объектов состояниях. Такие состояния названы смешанными. Таким образом в реальности наблюдается картина последствий, не сводящаяся к простой сумме последствий альтернативных вариантов. Она больше напоминает квантовое физическое явление, которое называется интерференцией плотности вероятности. Это явление, безусловно имеющее системный характер, предлагается называть "интерференция последствий выбора".

3. Предлагается обобщение классической теория информации Хартли-Шеннона путем рассмотрения активных объектов в качестве объектов, на основе анализа которых формируется само основополагающее понятие информации. Обобщенную таким образом теорию информации предлагается называть системной или эмерджентной теорией информации (СТИ). Основным отличием эмерджентной теории информации от классической является учет свойства системности, как фундаментального и универсального свойства всех объектов, на уровне самого понятия информации, а не только в последующем изложении, как в классической теории.

4. Предложена системная модификация формулы Хартли для количества информации:

где:

W - количество чистых (классических) состояний системы;

- сочетания "по m" классических состояний.

Так как , то при M=1 выполняется принцип соответствия, являющийся обязательным для более общей теории. Данная формула дает верхнюю оценку возможного количества информации состоянии системы, т.к. возможны различные правила запрета и реальное количество возможных состояний системы будет меньшим, чем .

Предложено приближенное выражение для системной модификации формулы Хартли (при M=W):

При W>4 погрешность данного выражения не превышает 1%.

Дополнительная информация, которую мы получаем из поведения объекта в СТИ, по сути дела является информацией о множестве всех его возможных состояний, как системы, элементом которой является объект в некотором данном состоянии.

5. Численные расчеты и аналитические выкладки согласно СТИ показывают, что при возрастании количества элементов в системе доля системной информации в поведении ее элементов возрастает, причем возрастает ускоренно. Это установленное нами свойство систем названо "Законом возрастания эмерджентности".

6. Предложена системная модификация классической формулы А.Харкевича, являющееся нелинейной суперпозицией классических выражением для плотности информации Шеннона и количества информации Хартли.

где: - коэффициент эмерджентности Хартли (уровень системной организации объекта, имеющего W чистых состояний):

Установлено, что полученное выражение учитывает как взаимосвязь между признаками (факторами) и будущими, в т.ч. целевыми состояниями объекта управления, так и мощность множества будущих состояний. Эта мера отражает уровень системности и степень детерминированности объекта, объединяет возможности их интегрального и дискретного описания, что является основой формализации смысла, а также удовлетворяет принципу соответствия, т.е. преобразуется в формулу Хартли в предельном случае, когда каждому классу (состоянию объекта) соответствует один признак (фактор), и каждому признаку - один класс, и эти классы, а значит и признаки, равновероятны.

7. Все это делает семантическую меру целесообразности информации оптимальной по сформулированным критериям для целей построения семантической информационной модели активных объектов управления и для применения при синтезе рефлексивных АСУ активными системами.

8. В разработанной семантической информационной модели генерируется обобщенная таблица решений, в которой входы (факторы) и выходы будущие состояния активного объекта управления (АОУ) связаны друг с другом не с помощью классических (Аристотелевских) импликаций, принимающих только значения: "Истина" и "Ложь", а различными значениями истинности, выраженными в битах и принимающими значения от положительного теоретически-максимально-возможного ("Максимальная степень истинности"), до теоретически неограниченного отрицательного ("Степень ложности"). Синтез обобщенных таблиц решений для различных предметных областей осуществляется непосредственно на основе эмпирических исходных данных. На основе этих таблиц продуцируются прямые и обратные правдоподобные (нечеткие) логические рассуждения по неклассическим схемам с различными расчетными значениями истинности, являющимся обобщением классических импликаций. При этом в прямых рассуждениях как предпосылки рассматриваются факторы, а как заключения - будущие состояния АОУ, а в обратных - наоборот. Степень истинности i-й предпосылки - это количество информации I_ij, содержащейся в предпосылке о наступлении j-го будущего состояния активного объекта управления.

9. В качестве меры сходства объекта с классом, класса с классом и атрибута с атрибутом предложено использовать неметрический интегральный критерий, основанный на лемме Неймана-Пирсона, - суммарное количество информации. Если предпосылок несколько, то степень истинности наступления j-го состояния АОУ равна суммарному количеству информации, содержащемуся в них об этом:

Или в координатной форме:

где: - вектор j-го состояния объекта управления, координаты которого в информационном семантическом пространстве рассчитываются согласно системного обобщения формулы Харкевича, приведенной в п.6; - булев вектор состояния предметной области, включающий все виды факторов, характеризующих объект управления, возможные управляющие воздействия и окружающую среду (массив-локатор). Обоснована замена значений координат этих векторов их стандартизированными значениями.

10. Предложенная семантическая информационная модель позволяет решать задачи идентификации и прогнозирования развития активных систем (разложение вектора объекта по векторам классов - "Объектный анализ"), а также вырабатывать эффективные управляющие воздействия путем решения обратной задачи прогнозирования и применения элементов нетрадиционной логики и правдоподобных (нечетких) рассуждений. В ней объединены преимущества содержательных и статистических моделей, созданы предпосылки для реализации СК-анализа.

11. Исследована взаимосвязь примененной в модели семантической меры Харкевича со статистикой ², и, на этой основе, предложена новая статистическая мера наличия причинно-следственных связей в предметной области H, основанная на модифицированной формуле Харкевича:

где:

Обоснована устойчивость модели при малых и больших выборках, дано обоснование сопоставимости частных критериев, разработана интерпретация распознавания как объектного анализа (разложение вектора объекта в ряд по векторам классов), предложены робастные процедуры, а также процедуры обеспечения структурной репрезентативности выборки.

12. Предлагается модель нелокального нейрона, являющаяся обобщением классической модели Дж. Маккалоки и У. Питта. Суть нелокальности данной модели состоит в том, что весовые коэффициенты каждого нейрона зависят не только от нейронов, прямо или косвенно соединенных с ним синаптически, но и от всех остальных нейронов сети, не затрагиваемых при обратном распространении ошибки от данного нейрона. Предлагается новый класс нейронных сетей: "Нелокальные интерпретируемые нейронные сети прямого счета" (нелокальные нейронные сети - ННС). Организация ННС обеспечивает один из вариантов решения традиционных для нейронных сетей проблем: содержательной интерпретации смысла интенсивности входных сигналов и весовых коэффициентов ("проблема интерпретируемости весовых коэффициентов"); содержательной интерпретации и обоснования аддитивности аргумента и вида активационной (передаточной) функции нейрона ("проблема интерпретируемости передаточной функции"); "Комбинаторного взрыва" при определении структуры связей нейронов, подборе весовых коэффициентов и передаточных функций ("проблема размерности"). Математическая модель ННС основана на предложенной автором системной теории информации и семантической информационной модели автоматизированного системно-когнитивного анализа (АСК-анализ), и в отличие от известных нейронных сетей, обеспечивают автоматизацию всех 10 базовых когнитивных операций, образующих "когнитивный конфигуратор". Предложены не только математическая модель, но также и соответствующий численный метод (включая алгоритмы и структуры данных), а также программный инструментарий нелокальных нейронных сетей (универсальная когнитивная аналитическая система "Эйдос" версии 12.5), успешно апробированные в ряде предметных областей. Данная система обеспечивает практически неограниченное количество слоев ННС, рецепторов, выходных нейронов и связывающих их весовых коэффициентов (десятки миллионов), а также автоматическую визуализацию и запись в виде графических файлов сформированных моделей нелокальных нейронов и Паретто-подмножеств нелокальной нейронной сети.

13. Введено в научный оборот новое понятие: коэффициент эмерджентности Хартли , который представляет собой относительное превышение количества информации о системе при учете системных эффектов (смешанных состояний, иерархической структуры ее подсистем и т.п.) над количеством информации без учета системности, т.е. этот коэффициент отражает уровень системности объекта. Этот уровень системности объекта изменяется от 1 (системность минимальна, т.е. отсутствует) до W/Log₂W (системность максимальна). Для каждого количества элементов системы существует свой максимальный уровень системности, который никогда реально не достигается из-за действия правил запрета на реализацию в системе ряда подсистем различных уровней иерархии.

Введено в научный оборот новое понятие: коэффициент эмерджентности Харкевича , который изменяется от 0 до 1 и определяет степень детерминированности системы: =1 соответствует полностью детерминированной системе, поведение которой однозначно определяется действием минимальным количеством факторов, которых столько же, сколько состояний системы; =0 соответствует полностью случайной системе, поведение которой никак не зависит действия факторов независимо от их количества; 0<<1 соответствуют большинству реальных систем, поведение которых зависит от многих факторов, число которых превосходит количество состояний системы, причем ни одно из состояний не определяется однозначно никакими сочетаниями действующих факторов. Увеличение уровня системности влияет на семантическую информационную модель аналогично повышению уровня детерминированности. Понижение уровня системности, также как и степени детерминированности системы приводит к ослаблению влияния факторов на поведение системы, т.е. к своего рода "инфляции факторов".

Основной вывод:

В предложенном системном обобщении формулы Харкевича впервые непосредственно в аналитическом выражении для самого понятия "Информация" отражены такие фундаментальные свойства систем, как "Уровень системности" и "Степень детерминированности" системы, кроме того это выражение (как и формула Шеннона) удовлетворяет принципу соответствия с выражением Хартли в детерминистском случае, учитывает понятие цели и мощность множества будущих состояний объекта управления, объединяет возможности интегрального и дискретного описания объектов. По этим причинам полученное выражение является оптимальным и его целесообразно использовать в качестве основы для построения математической модели рефлексивных АСУ активными объектами.

Литература

1. Орлов А.И. "Высокие статистические технологии": http://antorlov.chat.ru.

2. Луценко Е.В. Автоматизированная система распознавания образов: математическая модель и опыт применения. //В сб.: "В.И. Вернадский и современность (к 130-летию со дня рождения)". - Краснодар: КНА, 1993. - С.37-42.

3. Луценко Е.В. Теоретические основы и технология адаптивного семантического анализа в поддержке принятия решений (на примере универсальной автоматизированной системы распознавания образов "ЭЙДОС-5.1"). - Краснодар: КЮИ МВД РФ, 1996. - 280с.

4. Луценко Е.В. Автоматизированный системно-когнитивный анализ в управлении активными объектами (системная теория информации и ее применение в исследовании экономических, социально-психологических, технологических и организационно-технических систем): Монография (научное издание). -Краснодар: КубГАУ. 2002. -605 с.

5. Пат. № 940217. РФ. Универсальная автоматизированная система распознавания образов "ЭЙДОС". /Е.В.Луценко (Россия); Заяв. № 940103. Опубл. 11.05.94. - 50с.

6. Пат. № 2003610986 РФ. Универсальная когнитивная аналитическая система "ЭЙДОС" / Е.В.Луценко (Россия); Заяв. № 2003610510 РФ. Опубл. от 22.04.2003. - 50с.

7. Луценко Е.В. Типовая методика и инструментарий когнитивной структуризации и формализации задач в СК-анализе. // Научный журнал КубГАУ. - 2004.- № 1 (3). -18 с. http://ej.kubagro.ru

8. Эфрон Б. Нетрадиционные методы многомерного статистического анализа. - М.: Финансы и статистика, 1988. - 263 с.

Размещено на Allbest.ru