Системная теория информации и семантическая информационная модель
Исследование теоретических основ системной теории информации. Семантическая информационная модель СК – анализа и свойства математической модели: сходимость, адекватность, устойчивость. Взаимосвязь математической модели СК - анализа с другими моделями.
| Рубрика | Программирование, компьютеры и кибернетика |
| Вид | книга |
| Язык | русский |
| Дата добавления | 26.08.2010 |
| Размер файла | 3,5 M |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
68
Размещено на http://www.allbest.ru/
Системная теория информации и семантическая информационная модель
Содержание
1. Теоретические основы системной теории информации
2. Семантическая информационная модель СК-анализа
3. Некоторые свойства математической модели (сходимость, адекватность, устойчивость и др.)
4. Взаимосвязь математической модели СК-анализа с другими моделями
1. Теоретические основы системной теории информации
Требования к математической модели и численной мере
Для практической реализации идеи решения проблемы необходимо сформулировать требования к математической модели и численной мере, вытекающие из когнитивной концепции и специфических свойств активного объекта управления в АПК (слабодетерминированность, многофакторность, активность).
Требования к математической модели предусматривают: содержательную интерпретируемость; эффективную вычислимость на основе непосредственно эмпирических данных (наличие эффективного численного метода); универсальность; адекватность; сходимость; семантическую устойчивость; сопоставимость результатов моделирования в пространстве и времени; непараметричность; формализацию базовых когнитивных операций системного анализа (прежде всего таких, как обобщение, абстрагирование, сравнение, классификация и др.); корректность работы на фрагментарных, неточных и зашумленных данных; возможность обработки данных очень больших размерностей (тысячи факторов и будущих состояний объекта управления); математическую и алгоритмическую ясность и простоту, эффективность программной реализации.
Требования к численной мере. Ключевым при построении математических моделей является выбор количественной меры, обеспечивающей учет степени причинно-следственной взаимосвязи исследуемых параметров. Эта мера должна удовлетворять следующим требованиям: 1) обеспечивать эффективную вычислимость на основе эмпирических данных, полученных непосредственно из опыта; 2) обладать универсальностью, т.е. независимостью от предметной области; 3) подчиняться единому для различных предметных областей принципу содержательной интерпретации; 4) количественно измеряться в единых единицах измерения а количественной шкале (шкала с естественным нулем, максимумом или минимумом); 5) учитывать понятия: "цели объекта управления", "цели управления"; "мощность множества будущих состояний объекта управления"; уровень системности объекта управления; степень детерминированности объекта управления; 6) обладать сопоставимостью в пространстве и во времени; 7) обеспечивать возможность введения метрики или неметрической функции принадлежности на базе выбранной количественной меры.
Для того, чтобы выбрать тип (класс) модели, удовлетворяющей сформулированным требованиям, необходимо решить на какой форме информации эта модель будет основана: абсолютной, относительной или аналитической.
Выбор базовой численной меры
Абсолютная, относительная и аналитическая информация.
Широко известны абсолютная и относительная формы информации. Абсолютная форма - это просто количество, частота. Относительная форма - это доли, проценты, относительные частоты и вероятности.
Менее знакомы специалисты с аналитической формой информации, примером которой является условные вероятности, стандартизированные статистические значения, эластичность и количество информации.
Очевидно, что и из относительной информации, взятой изолированно, вырванной из контекста, делать какие-либо обоснованные выводы не представляется возможным. Для того, чтобы о чем-то судить по процентам, нужен их сопоставительный анализ, т.е. анализ всего процентного распределения. Обычно для используется "база оценки", в качестве которой используется среднего по всей совокупности или "скользящее среднее" (нормативный подход: норма - среднее).
Аналитическая (сопоставительная) информация - это информация, содержащаяся в отношении вероятности (или процента) к некоторой базовой величине, например к средней вероятности по всей выборке. Аналитическими являются также стандартизированные величины в статистике и количество информации в теории информации.
Очевидно, именно аналитическая информация является наиболее кондиционной для употребления с той точки зрения, что позволяет непосредственно делать содержательные выводы об исследуемой предметной области (точнее будет сказать, что она сама и является выводом), тогда как для того, чтобы сделать аналогичные выводы на основе относительной, и особенно абсолютной информации требуется ее значительная предварительная обработка.
Выбор в качестве базовой численной меры количества информации
Как было показано в лекции 2, системный анализ представляет собой теоретический метод познания, т.е. информационный процесс, в котором поток информации направлен от познаваемого объекта к познающему субъекту. Процесс труда, напротив, представляет собой процесс, в котором поток информации направлен от субъекта к объекту. При этом информация передается по каналу связи, представляющему собой средства труда, и записывается в носитель информации (предмет труда), который в ходе этого процесса преобразуется в заранее заданную форму, т.е. в продукт труда. Таким образом, процесс труда по сути дела представляет собой информационный процесс, обратный по направлению потока информации процессу познания. Управление представляет собой процесс, на различных этапах которого выполняются функции, сходные с процессами труда (управляющее воздействие) и познания (обратная связь). По мнению автора, информационный подход к управлению является наиболее общим. Поэтому в качестве количественной меры взаимосвязи факторов и будущих состояний АОУ целесообразно использовать количество информации. Более подробное обоснование целесообразности выбора в качестве численной меры количества информации приведено в работе автора [64].
Однако, известно много различных информационных мер и, следовательно, возникает задача выбора одной из них, оптимальной по выбранным критериям. Различные выражения классической теории информации для количества информации: Хартли, Шеннона, Харкевича и др., учитывают различные аспекты информационного моделирования объектов (таблице 8):
Таблица - СООТВЕТСТВИЕ ТРЕБОВАНИЯМ ВЫРАЖЕНИЙ ДЛЯ КОЛИЧЕСТВА ИНФОРМАЦИИ
- формула Хартли учитывает количество классов (мощность множества состояний объекта управления) но никак не учитывает их признаков или факторов, переводящих объект в эти состояния, т.е. содержит интегральное описание объектов;
- формула Шеннона основывается на учете признаков, т.е. основывается на дискретном описании объектов;
- формула Харкевича учитывает понятие цели и также как формула Шеннона основана на статистике признаков, но не учитывает мощности множества будущих состояний объекта управления, включающего целевые и другие будущие состояния объекта управления и также как формула Шеннона основывается на дискретном описании объектов.
Как видно из таблицы 8, классическая формула Харкевича по учитываемым критериям имеет преимущества перед классическими формулами Хартли и Шеннона, т.к. учитывает как факторы, так и понятие цели, ключевое для системного анализа, теории и практики управления (в т.ч. АСУ). Поэтому именно выражение для семантической целесообразности информации Харкевича взято за основу при выводе обобщающего выражения, удовлетворяющего всем предъявляемым требованиям.
Конструирование системной численной меры на основе базовой
Системное обобщение формулы Хартли для количества информации
Классическая формула Хартли имеет вид:
Будем искать ее системное обобщение в виде:
где:
W - количество чистых (классических) состояний системы.
- коэффициент эмерджентности Хартли (уровень системной организации объекта, имеющего W чистых состояний);
Учитывая, что возможны смешанные состояния, являющиеся нелинейной суперпозицией или одновременной реализацией чистых (классических) состояний "из W по m", всего возможно состояний системы, являющихся сочетаниями классических состояний. Таким образом, примем за аксиому, что системное обобщение формулы Хартли имеет вид:
где: W - количество элементов в системе альтернативных будущих состояний АОУ (количество чистых состояний); m - сложность смешанных состояний АОУ; M - максимальная сложность смешанных состояний АОУ.
Выражение (1) дает количество информации в активной системе, в которой чистые и смешанные состояния равновероятны. Смешанные состояния активных систем, возникающие под действием системы нелинейно-взаимодействующих факторов, считаются такими же измеримыми, как и чистые альтернативные состояния, возникающие под действием детерминистских факторов. Так как , то при M=1 выражение (3.3) приобретает вид (3.1), т.е. выполняется принцип соответствия, являющийся обязательным для более общей теории.
Рассмотрим подробнее смысл выражения (3.3), представив сумму в виде ряда слагаемых:
Первое слагаемое в (3.4) дает количество информации по классической формуле Хартли, а остальные слагаемые - дополнительное количество информации, получаемое за счет системного эффекта, т.е. за счет наличия у системы иерархической структуры или смешанных состояний. По сути дела эта дополнительная информация является информацией об иерархической структуре системы, как состоящей из ряда подсистем различных уровней сложности.
Например, пусть система состоит из W пронумерованных элементов 1-го уровня иерархии. Тогда на 2-м уровне иерархии элементы соединены в подсистемы из 2 элементов 1-го уровня, на 3-м - из 3, и т.д. Если выборка любого элемента равновероятна, то из факта выбора n-го элемента по классической формуле Хартли мы получаем количество информации согласно (3.1). Если же при этом известно, что данный элемент входит в определенную подсистему 2-го уровня, то это дает дополнительное количество информации, за счет учета второго слагаемого, поэтому общее количество получаемой при этом информации будет определяться выражением (3.4) уже с двумя слагаемыми (M=2). Если элемент одновременно входит в M подсистем разных уровней, то количество информации, получаемое о системе и ее подсистемах при выборке этого элемента определяется выражением (3.4). Так, если мы вытаскиваем кирпич из неструктурированной кучи, состоящей из 32 кирпичей, то получаем 5 бит информации, если же из этих кирпичей сложен дом, то при аналогичном действии мы получаем дополнительное количество информации о том, из каких части дома (подсистем различного уровня иерархии) вытащен этот кирпич. Действия каменщика, укладывающего кирпич на место, предусмотренное проектом, значительно выше по целесообразности, чем у грузчика, складывающего кирпичи в кучу. Учитывая, что при M=W:
в этом случае получаем:
Выражение (3.5) дает оценку максимального количества информации, которое может содержаться в элементе системы с учетом его вхождения в различные подсистемы ее иерархической структуры.
Однако реально в любой системе осуществляются не все формально возможные сочетания элементов 1-го уровня иерархии, т.к. существуют различные правила запрета, различные для разных систем. Это означает, что возможно множество различных систем, состоящих из одинакового количества тождественных элементов, и отличающихся своей структурой, т.е. строением подсистем различных иерархических уровней. Эти различия систем как раз и возникают благодаря различию действующих для них этих правил запрета. По этой причине систему правил запрета предлагается назвать информационным проектом системы. Различные системы, состоящие из равного количества одинаковых элементов (например, дома, состоящие из 20000 кирпичей), отличаются друг от друга именно по причине различия своих информационных проектов.
Из выражения (3.5) очевидно, что I быстро стремится к W:
В действительности уже при W>4 погрешность выражения (3.5) не превышает 1% (таблица 9):
Таблица- ЗАВИСИМОСТЬ ПОГРЕШНОСТИ ВЫРАЖЕНИЯ (3.5) ОТ КОЛИЧЕСТВА КЛАССОВ W
График зависимости погрешности выражения (3.5) от количества классов W приведен на рисунке 24.
Зависимость погрешности приближенного выражения системного обобщения формулы Хартли от количества классов W
Приравняв правые части выражений (3.2) и (3.3):
получим выражение для коэффициента эмерджентности Хартли (терм. авт.):
Непосредственно из вида выражения для коэффициента эмерджентности Хартли (3.9) ясно, что он представляет собой относительное превышение количества информации о системе при учете системных эффектов (смешанных состояний, иерархической структуры ее подсистем и т.п.) над количеством информации без учета системности, т.е. этот коэффициент отражает уровень системности объекта.
С учетом выражения (3.9) выражение (3.2) примет вид:
или при M=W и больших W, учитывая (3.4 - 3.6):
Выражение (3.10) и представляет собой искомое системное обобщение классической формулы Хартли, а выражение (3.11) - его достаточно хорошее приближение при большом количестве элементов или состояний системы (W).
Коэффициент эмерджентности Хартли представляет собой относительное превышение количества информации о системе при учете системных эффектов (смешанных состояний, иерархической структуры ее подсистем и т.п.) над количеством информации без учета системности, т.е. этот коэффициент является аналитическим выражением для уровня системности объекта. Таким образом, коэффициент эмерджентности Хартли отражает уровень системности объекта и изменяется от 1 (системность минимальна, т.е. отсутствует) до W/Log2W (системность максимальна). Очевидно, для каждого количества элементов системы существует свой максимальный уровень системности, который никогда реально не достигается из-за действия правил запрета на реализацию в системе ряда подсистем различных уровней иерархии.
Например: из 32 букв русского алфавита может быть образовано не осмысленных 6-буквенных слов, а значительно меньше. Если мы услышим одно из этих в принципе возможных слов, то получим не 56=30 информации, содержащейся непосредственно в буквах (в одной букве содержится Log232=5 бит), а 30+19,79=49,79 бит, т.е. в 1.66 раз больше. Это и есть уровень системности иерархического уровня 6-буквенных слов русского языка. Уровень системности русского языка, как системы, состоящей из слов длиной от одной до 6 букв, согласно выражения (3.9) с учетом (3.5), равен примерно 6,4. Но при этом еще не была учтена информация, содержащаяся в последовательности слов, в последовательности предложений и т.д.
Итак, в предложении сдержится значительно больше информации, чем в буквах, с помощью которых оно написано, т.к. кроме букв информацию содержат слова, сочетания слов, последовательность предложений и т.д.. Буквы образуют 1-й иерархический уровень языка, слова - 2-й, предложения - 3-й, абзацы - 4-й, параграфы - 5-й, главы - 6-й, произведения - 7-й. Теория Шеннона концентрирует основное внимание на рассмотрении 1-го уровня, т.е. рассматривает тексты, прежде всего, как последовательность символов. Но именно иерархическая организация, не учитываемая в теории Шеннона и отраженная в системной теории информации, обеспечивает языку его удивительную мощь, как средства отражения и моделирования реальности.
Аналогично и в генах, этих своеобразных "символах генома", содержится значительно больше информации о фенотипе, чем предполагается в классической генетике Менделя, т.к. гены образуют ансамбли различных уровней иерархии в зависимости от влияния среды и технологий управления (явление адаптивности системы "генотип-среда", Драгавцев В.А., 1993). Если ген уподобить букве алфавита, а смысл фразы - фенотипическому признаку, то можно сказать, что возможно очень большое количество фраз с одним и тем же смысловым содержанием (тогда как в классической генетике считалось, что признак соответствует гену, хотя есть и такие).
После расшифровки генома человека мы настолько же приблизились к его пониманию, как изучивший русскую или немецкую азбуку англичанин, не знающий этих языков, приблизился к чтению в оригинале и пониманию содержания "Войны и Мира" Льва Толстого или "Феноменологии Духа" Георга В.Ф.Гегеля.
На уровне слов верхняя оценка уровня системности русского языка с учетом (3.5) составляет огромную величину: 2616,48 (предполагается, что в русском языке 40000 слов и предложения могут иметь любую длину). Необходимо отметить, что правила запрета на порядок слов в русском языке значительно слабее, чем, например в английском, поэтому в русском языке возможно гораздо больше грамматически правильных и несущих различную информацию предложений из одних и тех же слов, чем в английском. Это значит, что уровень системности русского языка на уровне предложений, по-видимому, значительно превосходит уровень системности английского языка. При длине предложения до 2-х слов системность русского языка на уровне предложений согласно (3.9) составляет: 52330916.
Анализ выражения (3.9) показывает, что при М=1 оно преобразуется в (3.1), т.е. выполняется принцип соответствия.
При М>1 количество информации в соответствии с системной теорией информации (СТИ) (3.9) будет превосходить количество информации, рассчитанное по классической теории информации (КТИ) (3.1). Непосредственно из выражения (3.2) получаем:
Первое слагаемое в выражении (3.12) отражает количество информации, согласно КТИ, а второе - СТИ, т.е. доля системной информации.
Представляет несомненный интерес исследование закономерностей изменения доли системной информации в поведении элемента системы в зависимости от количества классов W и сложности смешанных состояний M.
В таблице 10 приведены результаты численных расчетов в соответствии с выражением (3.9).
Сводные данные из таблицы 10 приведены в таблице 11, а в графическом виде они представлены на рисунке 25.
Рост количества информации в СТИ по сравнению с КТИ обусловлен системным эффектом (эмерджентностью), который связан с учетом смешанных состояний, возникающих путем одновременной реализации (суперпозиции) нескольких чистых (классических) состояний под действием системы нелинейно-взаимодействующих недетерминистских факторов. Выражение (3.9) дает максимальную возможную оценку количества информации, т.к. могут существовать различные правила запрета на реализацию тех или иных смешанных состояний.
Таблица - ЗАВИСИМОСТЬ I(W,M) ОТ КОЛИЧЕСТВА КЛАССОВ W И СЛОЖНОСТИ СМЕШАННЫХ СОСТОЯНИЙ М
Таблица - ЗАВИСИМОСТЬ КОЛИЧЕСТВА ИНФОРМАЦИИ I(W,M) ОТ СЛОЖНОСТИ СМЕШАННЫХ СОСТОЯНИЙ M ДЛЯ РАЗЛИЧНОГО КОЛИЧЕСТВА КЛАССОВ W
Зависимость количества информации I(W,M)
от сложности смешанных состояний M
для разного количества классов W
Фактически это означает, что в СТИ множество возможных состояний объекта рассматривается не как совокупность несвязанных друг с другом состояний, как в КТИ, а как система, уровень системности которой как раз и определяется коэффициентом эмерджентности Хартли (3.9), являющегося монотонно возрастающей функцией сложности смешанных состояний M. Следовательно, дополнительная информация, которую мы получаем из поведения объекта в СТИ, по сути дела является информацией о системе всех возможных состояний объекта, элементом которой является объект в некотором данном состоянии. Гипотеза о законе возрастания эмерджентности и следствия из него Численные расчеты и аналитические выкладки в соответствии с СТИ показывают, что при возрастании количества элементов в системе доля системной информации в поведении ее элементов возрастает. Это обнаруженное нами новое фундаментальное свойство систем предлагается назвать законом возрастания эмерджентности. Закон возрастания эмерджентности: "Чем больше элементов в системе, тем большую долю содержащейся в ней информации составляет информация, содержащаяся во взаимосвязях ее элементов".На рисунках и приведены графики скорости и ускорения возрастания эмерджентности в зависимости от количества элементов W в системе.
|
Возрастание доли системной информации в поведении элемента системы при увеличении количества элементов W |
Ускорение возрастания доли системной информации в поведении элемента системы от количества элементов W |
Более детальный анализ предполагаемого закона возрастания эмерджентности с использованием конечных разностей первого и второго порядка (таблица 11) показывает, что при увеличении количества элементов в системе доля системной информации в ней возрастает с ускорением, которое постепенно уменьшается. Это утверждение будем называть леммой 1. Продолжим анализ закона возрастания эмерджентности. Учитывая, что:
выражение (3.3) принимает вид:
где: 1<=М<=W.
и учитывая, что Log21=0, выражение (3.13) приобретает вид:
Где введены обозначения:
С учетом (3.14) выражение (3.9) для коэффициента эмерджентности Хартли приобретает вид:
Заменяя в (3.13) факториал на Гамма-функцию, получаем обобщение выражения (3.3) на непрерывный случай:
Или окончательно:
Для непрерывного случая обозначения (3.15) принимают вид:
Учитывая выражения (3.9) и (3.16) получим выражение для коэффициента эмерджентности Хартли для непрерывного случая:
И окончательно для непрерывного случая:
Анализируя выражения (3.14) и (3.16) видим, что количество информации, получаемое при выборке из системы некоторого ее элемента, состоит из двух слагаемых:
1) I(W), зависящего только от количества элементов в системе W (первое слагаемое);
2) I(W, M), зависящего как от количества элементов в системе W, так и от максимальной сложности, т.е. связности элементов подсистем M между собой (второе слагаемое).
Этот результат позволяет высказать гипотезы "О природе сложности системы" и "О видах системной информации":
- сложность системы определяется количеством содержащейся в ней информации;
- системная информация включает две составляющих: зависящее от количества элементов системы и зависящее также от характера взаимосвязей между элементами.
Изучим какой относительный вклад вносит каждое слагаемое в общее количество информации системы в зависимости от числа элементов в системе W и сложности подсистем M. Результаты численных расчетов показывают, что чем выше уровень системности, тем большая доля информации системы содержится во взаимосвязях ее элементов, и чем меньше элементов с системе, тем быстрее возрастает доля информации, содержащейся во взаимосвязях элементов при возрастании уровня системности. Эти утверждения будем рассматривать как леммы 2 и 3. Таким образом полная формулировка гипотезы о законе возрастания эмерджентности с гипотезой о видах информации в системе и тремя леммами приобретает вид:
ГИПОТЕЗА О ЗАКОНЕ ВОЗРАСТАНИЯ ЭМЕРДЖЕНОСТИ: "Чем больше элементов в системе, тем большую долю содержащейся в ней информации составляет информация, содержащаяся во взаимосвязях ее элементов" (рисунок 28).
Закон возрастания эмерджентности
Гипотеза 1: "О природе сложности системы": сложность системы определяется количеством содержащейся в ней информации.
Гипотеза 2: "О видах системной информации": системная информация включает две составляющие:
- зависящую от количества элементов системы;
- зависящую как от количества элементов системы, так и от сложности взаимосвязей между ними.
Лемма-1:
при увеличении количества элементов в системе доля системной информации в ней возрастает с ускорением, которое постепенно уменьшается.
Лемма-2:
чем выше уровень системности, тем большая доля информации системы содержится во взаимосвязях ее элементов.
Лемма-3:
чем меньше элементов в системе, тем быстрее возрастает доля информации, содержащейся во взаимосвязях элементов при возрастании уровня системности.
Системное обобщение классической формулы Харкевича, как количественная мера знаний
Это обобщение представляет большой интерес, в связи с тем, что А.Харкевич впервые ввел в теорию информации понятие цели.
Он считал, что количество информации, сообщенное объекту, можно измерять по изменению вероятности достижения цели этим объектом за счет использования им этой информации.
Рассмотрим таблицу 12, в которой столбцы соответствуют будущим состояниям АОУ (целевым и нежелательным), а строки факторам, характеризующим объект управления, управляющую систему и окружающую среду.
Таблица - МАТРИЦА АБСОЛЮТНЫХ ЧАСТОТ
Классическая формула А.Харкевича имеет вид:
где:
- W - количество классов (мощность множества будущих состояний объекта управления)
- M - максимальный уровень сложности смешанных состояний объекта управления;
- индекс i обозначает фактор: 1 i M;
- индекс j обозначает класс: 1 j W;
- Pij - вероятность достижения объектом управления j-й цели при условии сообщения ему i-й информации;
- Pj - вероятность самопроизвольного достижения объектом управления j-й цели.
Ниже глобальные параметры модели W и M в выражениях для I опускаются, т.к. они являются константами для конкретной математической модели СК-анализа. Однако: А.Харкевич в своем выражении для количества информации не ввел зависимости количества информации, от мощности пространства будущих состояний объекта управления, в т.ч. от количества его целевых состояний. Вместе с тем, один из возможных вариантов учета количества будущих состояний объекта управления обеспечивается классической и системной формулами Хартли (3.1) и (3.9); выражение (3.19) при подстановке в него реальных численных значений вероятностей Pij и Pj не дает количества информации в битах; для выражения (3.19) не выполняется принцип соответствия, считающийся обязательным для обобщающих теорий. Возможно, в этом состоит одна из причин слабого взаимодействия между классической теорией информации Шеннона и семантической теорией информации.
Чтобы снять эти вопросы, приближенно выразим вероятности Pij, Pi и Pj через частоты:
В (3.20) использованы обозначения: Nij - суммарное количество наблюдений факта: "действовал i-й фактор и объект перешел в j-е состояние"; Nj - суммарное количество встреч различных факторов у объектов, перешедших в j-е состояние; Ni - суммарное количество встреч i-го фактора у всех объектов; N - суммарное количество встреч различных факторов у всех объектов. Подставим в выражение (3.19) значения для Pij и Pj из (3.20):
Введем коэффициент эмерджентности в модифицированную формулу А.Харкевича:
где: - коэффициент эмерджентности Харкевича (как будет показано выше, он определяет степень детерминированности объекта с уровнем системной организации , имеющего W чистых состояний, на переходы в которые оказывают влияние M факторов, о чем в модели накоплено N фактов).
Известно, что классическая формула Шеннона для количества информации для неравновероятных событий преобразуется в формулу Хартли при условии, что события равновероятны, т.е. удовлетворяет фундаментальному принципу соответствия [64].
Естественно потребовать, чтобы и обобщенная формула Харкевича также удовлетворяла аналогичному принципу соответствия, т.е. преобразовывалась в формулу Хартли в предельном случае, когда каждому классу (состоянию объекта) соответствует один признак (фактор), и каждому признаку - один класс, и эти классы (а, значит и признаки), равновероятны. Иначе говоря факторов столько же, сколько и будущих состояний объекта управления, все факторы детерминистские, а состояния объекта управления - альтернативные, т.е. каждый фактор однозначно определяет переход объекта управления в определенное состояние.
В этом предельном случае отпадает необходимость двухвекторного описания объектов, при котором 1-й вектор (классификационный) содержит интегральное описание объекта, как принадлежащего к определенным классам, а 2-й вектор (описательный) - дискретное его описание, как имеющего определенные атрибуты. Соответственно, двухвекторная модель, предложенная в данной работе, преобразуется в "вырожденный" частный случай - стандартную статистическую модель. В этом случае количество информации, содержащейся в признаке о принадлежности объекта к классу является максимальным и равным количеству информации, вычисляемому по системной формуле Хартли (3.9).
Таким образом при взаимно-однозначном соответствии классов и признаков:
формула А.Харкевича (3.13) приобретает вид:
откуда:
или, учитывая выражение для коэффициента эмерджентности Хартли (3.8):
Смысл коэффициента эмерджентности Харкевича (3.25) проясняется, если учесть, что при количестве состояний системы W равном количеству фактов N о действии на эту систему различных факторов он равен 1. В этом случае факторы однозначно определяют состояния объекта управления, т.е. являются детерминистскими. Если же количество фактов N о действии на эту систему различных факторов превосходит количество ее состояний W, что является гораздо более типичным случаем, то этот коэффициент меньше 1. По-видимому, это означает, что в этом случае факторы как правило не однозначно (и не так жестко как детерминистские) определяют поведение объекта управления, т.е. являются статистическими.
Таким образом, коэффициент эмерджентности Харкевича изменяется от 0 до 1 и определяет степень детерминированности системы:
- =1 соответствует полностью детерминированной системе, поведение которой однозначно определяется действием минимального количества факторов, которых столько же, сколько состояний системы; =0 соответствует полностью случайной системе, поведение которой никак не зависит действия факторов независимо от их количества; 0<<1 соответствуют большинству реальных систем поведение которых зависит от многих факторов, число которых превосходит количество состояний системы, причем ни одно из состояний не определяется однозначно никакими сочетаниями действующих факторов (рисунок 29):
Интерпретация коэффициентов эмерджентности СТИ
Из выражения (3.25) видно, что в частном случае, когда реализуются только чистые состояния объекта управления, т.е. M=1, коэффициент эмерджентности А.Харкевича приобретает вид:
Подставив коэффициент эмерджентности А.Харкевича (3.25) в выражение (3.22), получим:
или окончательно:
Из вида выражения (3.25) для очевидно, что увеличение уровня системности влияет на семантическую информационную модель (3.28) аналогично повышению уровня детерминированности системы: понижение уровня системности, также как и степени детерминированности системы приводит к ослаблению влияния факторов на поведение системы, т.е. к понижению управляемости системы за счет своего рода "инфляции факторов".
Например: управлять толпой из 1000 человек значительно сложнее, чем воздушно-десантным полком той же численности. Процесс превращения 1000 новобранцев в воздушно-десантный полк это и есть процесс повышения уровня системности и степени детерминированности системы. Этот процесс включает процесс иерархического структурирования (на отделения, взвода, роты, батальоны), а также процесс повышения степени детерминированности команд, путем повышения "степени беспрекословности" их исполнения. Оркестр, настраивающий инструменты, также весьма существенно отличается от оркестра, исполняющего произведение под управлением дирижера. Необходимо отметить, что при повторном использовании той же самой обучающей выборки степень детерминированности модели уменьшается. Очевидно, с формальной математической точки зрения этого явления можно избежать, если перед расчетом информативностей признаков делить абсолютные частоты на количество объектов обучающей выборки.
С использованием выражения (3.28) непосредственно из матрицы абсолютных частот (таблица 12) рассчитывается матрица информативностей (таблица 13), содержащая связи между факторами и будущими состояниями АОУ и имеющая много различных интерпретаций и играющая основополагающую роль в данном исследовании.
Таблица- МАТРИЦА ИНФОРМАТИВНОСТЕЙ
Из рассмотрения основополагающего выражения (3.28) видно, что:
1. При выполнении условий взаимно-однозначного соответствия классов и признаков (3.23) первое слагаемое в выражении (3.28) обращается в ноль и при всех реальных значениях входящих в него переменных оно отрицательно.
2. Выражение (3.28) является нелинейной суперпозицией двух выражений: системного общения формулы Хартли (второе слагаемое), и первого слагаемого, которое имеет вид формулы Шеннона для плотности информации и отличается от него тем, что выражение под логарифмом находится в степени, которая совпадает с коэффициентом эмерджентности Харкевича, а также способом взаимосвязи входящих в него абсолютных частот с вероятностями.
Это дает основание предположить, что первое слагаемое в выражении (3.28) является одной из форм системного обобщения выражения Шеннона для плотности информации:
Поэтому вполне оправданным будет назвать степень в (3.29) коэффициентом эмерджентности Шеннона-Харкевича.
Генезис системной (эмерджентной) теории информации
Полученное системное обобщение формулы Харкевича (3.28) учитывает как взаимосвязь между признаками (факторами) и будущими, в т.ч. целевыми состояниями объекта управления, так и мощность множества будущих состояний объекта управления.
Кроме того она объединяет возможности интегрального и дискретного описания объектов, учитывает уровень системности и степень детерминированности описываемой системы (таблица 14):
Таблица- СООТВЕТСТВИЕ ТРЕБОВАНИЯМ ФОРМУЛ "КТИ / СТИ"
При этом факторами являются управляющие факторы, т.е. управления со стороны системы управления, факторы окружающей среды, а также факторы, характеризующие текущее и прошлые состояния объекта управления. Все это делает полученное выражение (3.28) оптимальным по сформулированным критериям для целей построения содержательных информационных моделей активных объектов управления и для применения для синтеза адаптивных систем управления (см. диаграмму: "Генезис системного обобщения формулы Харкевича для количества информации", рисунок 30).
Генезис системной (эмерджентной) теории информации
Итак, различные выражения классической теории информации для количества информации: Хартли, Шеннона и Харкевича учитывают различные аспекты информационного моделирования объектов.
Полученное системное обобщение формулы А.Харкевича (3.28) учитывает как взаимосвязь между признаками (факторами) и будущими, в т.ч. целевыми состояниями объекта управления, так и мощность множества будущих состояний. Кроме того она объединяет возможности интегрального и дискретного описания объектов, учитывает уровень системности и степень детерминированности системы.
Различие между классическим понятием информации и его предложенным системным обобщением определяется различием между понятиями множества и системы, на основе которых они сформированы. Система при этом рассматривается как множество элементов, объединенных определенными видами взаимодействия ради достижения некоторой общей цели.
Все это делает полученное выражение (3.28) оптимальным по сформулированным критериям для целей построения содержательных информационных моделей активных объектов управления и для применения для синтеза рефлексивных АСУ активными объектами.
2. Семантическая информационная модель СК-анализа
Основная проблема, решаемая в аналитической модели: выбор способа вычисления весовых коэффициентов, отражающих степень и характер влияния факторов на переход активного объекта управления в различные состояния.
Основное отличие предлагаемого подхода от методов обобщения экспертных оценок состоит в том, что в предлагаемом подходе от экспертов требуется лишь само решение, а весовые коэффициенты автоматически подбираются в соответствии с моделью таким образом, что в сходных случаях будут приниматься решения, аналогичные предлагаемым экспертами. В традиционных подходах от экспертов требуют либо самих весовых коэффициентов, либо правил принятия решения (продукций).
Формализм динамики взаимодействующих семантических информационных пространств. Двухвекторное представление данных.
Не всегда и не все классы являются атрибутами, также не всегда и не все атрибуты являются классами по смыслу (в данной модели это может быть так в многослойной нейронной сети) Поэтому традиционное представление данных в форме одной матрицы с одинаковыми строками и столбцами представляется нецелесообразным и предлагается более общее - двухвекторное представление. В предлагаемой математической модели формальное описание объекта представляет собой совокупность его интенсионального и экстенсионального описаний.
Интенсиональное (дискретное) описание - это последовательность информативностей (но не кодов) тех и только тех признаков, которые реально фактически встретились у данного конкретного объекта.
Экстенсиональное (континуальное) описание состоит из информативностей (но не кодов) тех классов распознавания, для формирования образов которых по мнению экспертов целесообразно использовать интенсиональное описание данного конкретного объекта.
Именно взаимодействие и взаимная дополнительность этих двух взаимоисключающих видов описания объектов формирует то, что психологи, логики и философы называют "смысл".
Таким образом, формальное описание объекта в предлагаемой модели состоит из двух векторов. Первый вектор описывает к каким обобщенным категориям (классам распознавания) относится объект с точки зрения экспертов (вектор субъективной, смысловой, человеческой оценки). Второй же вектор содержит информацию о том, какими признаками обладает данный объект (вектор объективных характеристик). Необходимо особо подчеркнуть, что связь этих двух векторов друг с другом имеет вообще говоря не детерминистский, а вероятностный, статистический характер.
Если объект описан обоими векторами, то это описание можно использовать для формирования обобщенных образов классов распознавания, а также для проверки степени успешности выполнения этой задачи.
Если объект описан только вторым вектором - вектором признаков, то его можно использовать только для решения задачи распознавания (идентификации), которую можно рассматривать как задачу восстановления вектора классов данного объекта по его известному вектору признаков.
Предлагаемая модель удовлетворяет принципу соответствия, т.е. в ней одновекторный вариант описания предметной области получается как некоторое подмножество из возможных в ней вариантов, определяемое двумя ограничениями:
- справочник классов распознавания тождественно совпадает со справочником признаков;
- наличие какого-либо признака у объекта обучающей выборки однозначно (детерминистским образом) определяет принадлежность этого объекта к соответствующему классу распознавания (взаимно-однозначное соответствие классов и признаков).
Очевидно, эти ограничения приводят и к соответствующим ограничениям, накладываемым в свою очередь на варианты обработки информации и анализа данных в подобных системах. Если говорить конкретнее, такая модель данных стирает различие между атрибутами и классами и не позволяет решать ряд задач, в которых эта абстракция является недопустимым упрощением. Эти задачи будут подробнее рассмотрены ниже.
Семантические пространства классов и атрибутов
Наглядно модель данных целесообразно представить себе в виде двух взаимосвязанных фазовых (т.е. абстрактных) пространств, в первом из которых осями координат служат шкалы атрибутов (пространство атрибутов), а во втором - шкалы классов (пространство классов).
В пространстве атрибутов векторами являются объекты обучающей выборки и обобщенные образы классов. Вектор класса представляет собой массив координат в фазовом пространстве, каждый элемент массива, т.е. координата, соответствует определенному атрибуту, а значение этой координаты - весовому коэффициенту, отражающему количество информации, содержащееся в факте наблюдения данного атрибута у объекта о принадлежности этого объекта к данному классу.
В пространстве классов векторами являются атрибуты. Вектор атрибута представляет собой массив координат в фазовом пространстве, каждый элемент массива, т.е. координата, соответствует определенному классу, а значение этой координаты - весовому коэффициенту, отражающему количество информации, содержащееся в факте наблюдения объекта данного класса о том, что у этого объекта будет определенный атрибут.
Таким образом, выбор смысла и математической формы значений весовых коэффициентов в виде количества информации вводит метрику в этих фазовых пространствах. Поэтому данные пространства являются нелинейными самосогласованными пространствами. Ясно, что линейная разделяющая функция в нелинейном пространстве является нелинейной функцией в линейном пространстве. Самосогласованность семантических пространств означает, что любое изменение одной координаты в общем случае связано с изменением всех остальных. Нелинейность и самосогласованность самым существенным образом отличает предложенные семантические информационные пространства классов и атрибутов от линейного семантического пространства, используемого в основном в психодиагностике [32], в котором осями являются признаки (шкалы), а значениями координат по осям являются непосредственно градации признаков.
Однако этого недостаточно. Чтобы над векторами в фазовых пространствах можно было корректно выполнять стандартные операции сложения, вычитания, скалярного и векторного умножения, выполнять преобразования системы координат, переход от одной системы координат к другой, и вообще применять аппарат линейной алгебры и аналитической геометрии, что представляет большой научный и практический интерес и является очень актуальным, необходимо корректно ввести в этих пространствах системы координат т.е. системы отсчета, удовлетворяющие определенным требованиям.
Требования к системам координат, свойства векторов классов и атрибутов, решение проблемы снижения размерности описания и ортонормирования
В качестве осей координат пространства атрибутов целесообразно выбрать вектора атрибутов, обладающие следующими свойствами:
1. Их должно быть минимальное количество, достаточное для полного описания предметной области.
2. Эти вектора должны пересекаться в одной точке.
3. Значения координат вектора должны измеряться в одной единице измерения, т.е. должны быть сопоставимы.
Для выполнения первого требования необходимо, чтобы математическая форма и смысл весовых коэффициентов были выбраны таким образом, чтобы модули векторов атрибутов в пространстве классов были пропорциональны их значимости для решения задач идентификации, прогнозирования и управления. Причем наиболее значимые вектора атрибутов не должны коррелировать друг с другом, т.е. должны быть ортонормированны. В этом случае при удалении векторов с минимальными модулями автоматически останутся наиболее значимые практически ортонормированные вектора, которые можно принять за базисные, т.е. в качестве осей системы координат. Второе требование означает, что минимальное расстояние между этими векторами в пространстве классов должно быть равно нулю.
Третье требование предполагает соответствующий выбор математической формы для значений координат.
Эти идеальные требования практически никогда не будут соблюдаться на практике с абсолютной точностью. Однако этого и не требуется. Достаточно, чтобы реально выбранные в качестве базисных атрибуты отображались в пространстве классов векторами, для которых эти требования выполняются с точностью, достаточной для применения соответствующих математических моделей и математического аппарата на практике.
Аналогично обстоит дело и с минимизацией размерности пространства классов. В качестве базисных могут выбраны вектора классов, имеющие максимальную длину и взаимно (попарно) ортонормированные.
Очевидно, задача выбора базисных векторов имеет не единственное решение, т.е. может существовать несколько систем таких векторов, которые можно рассматривать как результат действия преобразований системы координат, состоящих из смещений и поворотов.
Применение классической теории информации К.Шеннона для расчета весовых коэффициентов и мер сходства
Формально, распознавание есть не что иное, как принятие решения о принадлежности распознаваемого объекта или его состояния к определенному классу (классам) [9, 92]. Из этого следует внутренняя и органичная связь методов распознавания образов и принятия решений. Аналитический обзор позволяет сделать вывод, что наиболее глубокая основа этой связи состоит в том, что и распознавание образов, и принятие решений есть прежде всего снятие неопределенности. Распознавание снимает неопределенность в вопросе о том, к какому классу относится распознаваемый объект. Если до распознавания существовала неопределенность в вопросе о том, к какому классу относится распознаваемый объект или его состояние, то в результате распознавания эта неопределенность уменьшается, причем возможно и до нуля (когда объект идентифицируется однозначно). Принятие решения (выбор) также снимает неопределенность в вопросе о том, какое из возможных решений будет принято, если существовало несколько альтернативных вариантов решений и принимается одно из них.
Для строгого исследования процессов снятия неопределенности оптимальным является применение аппарата теории информации, которая как бы специально создана для этой цели. Из этого непосредственно следует возможность применения методов теории информации для решения задач распознавания и принятия решений в АСУ. Таким образом, теория информации может рассматриваться как единая основа методов распознавания образов и принятия решений.
Формальная постановка задачи
В рефлексивных АСУ активными объектами модели распознавания образов и принятия решений применимы в подсистемах идентификации состояния АОУ и выработки управляющего воздействия: идентификация состояния АОУ представляет собой принятие решения о принадлежности этого состояния к определенной классификационной категории (задача распознавания); выбор многофакторного управляющего воздействия из множества возможных вариантов представляет собой принятие решения (обратная задача распознавания).
Распознавание образов есть принятие решения о принадлежности объекта или его состояния к определенному классу. Если до распознавания существовала неопределенность в вопросе о том, к какому классу относится распознаваемый объект или его состояние, то в результате распознавания эта неопределенность уменьшается, в том числе может быть и до нуля (когда объект идентифицируется однозначно). Из данной постановки непосредственно следует возможность применения методов теории информации для решения задач распознавания образов и принятия решений в АСУ.
Информация как мера снятия неопределенности
Как было показано выше, теория информация применима в АСУ для решения задач идентификации состояния сложного объекта управления (задача распознавания) и принятия решения о выборе многофакторного управляющего воздействия (обратная задача распознавания).
Так в результате процесса познания уменьшается неопределенность в наших знаниях о состоянии объекта познания, а в результате процесса труда (по сути управления) - уменьшается неопределенность поведения продукта труда (или объекта управления). В любом случае количество переданной информации представляет собой количественную меру степени снятия неопределенности.
Процесс получения информации можно интерпретировать как изменение неопределенности в вопросе о том, от какого источника отправлено сообщение в результате приема сигнала по каналу связи. Подробно данная модель приведена в работе [64].
Количество информации в индивидуальных событиях и лемма Неймана-Пирсона
В классическом анализе Шеннона идет речь лишь о передаче символов по одному информационному каналу от одного источника к одному приемнику. Его интересует прежде всего передача самого сообщения.
В данном исследовании ставится другая задача: идентифицировать информационный источник по сообщению от него. Поэтому метод Шеннона был обобщен путем учета в математической модели возможности существования многих источников информации, о которых к приемнику по зашумленному каналу связи приходят не отдельные символы-признаки, а сообщения, состоящие из последовательностей символов (признаков) любой длины. Следовательно, ставится задача идентификации информационного источника по сообщению от него, полученному приемником по зашумленному каналу. Метод, являющийся обобщением метода К.Шеннона, позволяет применить классическую теорию информации для построения моделей систем распознавания образов и принятия решений, ориентированных на применение для синтеза адаптивных АСУ сложными объектами.
Для решения поставленной задачи необходимо вычислять не средние информационные характеристики, как в теории Шеннона, а количество информации, содержащееся в конкретном i-м признаке (символе) о том, что он пришел от данного j-го источника информации. Это позволит определить и суммарное количество информации в сообщении о каждом информационном источнике, что дает интегральный критерий для идентификации или прогнозирования состояния АОУ.
Подобные документы
Анализ существующих алгоритмов обработки информации человеком и современных моделей памяти. Разработка алгоритмов и математической модели ассоциативного мышления. Имитационная модель обработки информации. Компьютерный эксперимент по тестированию модели.
курсовая работа [2,3 M], добавлен 19.11.2014Понятие математической модели, свойства и классификация. Характеристика элементов системы Mathcad. Алгоритмический анализ задачи: описание математической модели, графическая схема алгоритма. Реализация базовой модели и описание исследований MathCAD.
реферат [1,0 M], добавлен 20.03.2014Разработка программы в среде Microsoft Visual C++ для вывода системной информации о компьютере, его оперативной памяти, процессоре, ip-адресе, принтерах, текущем видеорежиме и дисках. Использование программы Sysinfo для анализа работы компьютера.
курсовая работа [667,3 K], добавлен 24.04.2011Общая характеристика и свойства системы Matlab - пакета прикладных программ для решения задач технических вычислений. Разработка математической модели в данной среде, программирование функций для задающего воздействия. Проектирование GUI-интерфейса.
курсовая работа [1023,2 K], добавлен 23.05.2013Метод решения математической модели на примере решения задач аналитической геометрии. Описание согласно заданному варианту методов решения задачи. Разработка математической модели на основе описанных методов. Параметры окружности минимального радиуса.
лабораторная работа [310,6 K], добавлен 13.02.2009Формы представления моделей: модели материальные и модели информационные. Формализация текстовой информации, представление данных в табличной форме. Граф как совокупность точек, соединённых между собой линиями. Упорядочение информации в форме графа.
реферат [2,5 M], добавлен 10.04.2010Создание математической модели системы массового обслуживания на примере банка. Разработка имитационной модели на языке программирования С++. Блок-схема программы, перевод модели на язык программирования. Верификация и валидация имитационной модели.
курсовая работа [630,5 K], добавлен 01.06.2015Классификация угроз конфиденциальной информации. Концепция математической модели оценки ущерба конфиденциальной информации от внешних угроз. Реализация и исследование модели. Безопасность и экологичность работы. Расчет технико-экономической эффективности.
дипломная работа [1,5 M], добавлен 30.06.2011Структурное и функциональное моделирование. Информационная модель базы данных для проектирования. Разработка технического задания и проекта (Visio, MathCad, BPWin). Задача синтеза (оптимизация в проектировании). Построение математической модели объектов.
курсовая работа [1,5 M], добавлен 05.04.2014Построение концептуальной модели и метод имитационного моделирования. Определение переменных уравнений математической модели и построение моделирующего алгоритма. Описание возможных улучшений системы и окончательный вариант модели с результатами.
курсовая работа [79,2 K], добавлен 25.06.2011
