Методы информационного анализа материальных процессов

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Введение

Обоснование необходимости проведения данной дипломной работы. Использование меры определенности и неопределенности информации позволяет анализировать общие механизмы энтропийно-информационных закономерностей материальных процессов, являющихся фундаментальной основой всех самопроизвольно протекающих процессов накопления информации, приводящих также и к самоорганизации сложных систем. При этом самоорганизация с полным правом может быть отнесена и к материальным процессам, так как они по своей сути являются результатом творческих, а стало быть спонтанных решений авторов способов и схем на основе переработки ими исходной разрозненной информации. Это упорядочение разрозненности затем воплощается в организации переработки хаотизированного сырья в рафинированный продукт. Поэтому очень важно найти адекватные математические модели оптимального решения и постановки задач для информационного анализа материальных процессов с количественной оценкой их собственно синергетического совершенства, которое в проводимых исследованиях мы определим как технологическое. Рассмотренный подход, на наш взгляд, полностью соответствует основным требованиям системного энтропийно-информационного анализа, так как обеспечивает при моделировании иерархической системы материальных процессов целостность ее рассмотрения за счет общетеоретических и методических концепций, позволяющих удерживать в поле зрения всю систему в целом для решения задачи на всех уровнях. Кроме того, на основе учета основных элементов в системе и связей между ними обеспечиваются полнота и всесторонность рассмотрения. Предложенный алгоритм упрощения при моделировании позволяет адекватно отразить реальный материальный процесс и учесть определяющие факторы в иерархической системе.

Актуальность темы определяется отсутствием единого показателя, который отображал бы объективную комплексную технологическую ценность материальных процессов на основе фундаментальных законов сохранения. Совершенствование материальных процессов целесообразно проводить не только на основе традиционных методов вскрытия причинно-следственных связей в процессах общей технологической схемы с анализом их материальных и тепловых балансов. Возможен дополнительный анализ этих процессов на основе информационной энтропии Шеннона с целью объединения разрозненных до сих пор показателей по содержанию и извлечению ценных компонентов в материальных процессах.

Современное состояние решаемой проблемы. Энтропия - понятие, сыгравшее центральную роль в ряде областей науки, в частности в статистической механике и теории информации. Использование аппарата теории вероятностей позволило в последние годы прояснить связи между различными применениями энтропии. Сейчас стало возможным увидеть в казавшихся ранее изолированными результатов из различных дисциплин элементы более общей математической теории энтропии. Точные понятия энтропии и информации, появившиеся в конце 40-х годов ХХв. и утвердившиеся вначале в прикладных областях, а именно в теории связи (К.Шеннон) и кибернетике (Н.Винер), сразу же подверглись тщательной математической переработке и получили развитие в нескольких новых областях науки [1]. Быстрое, почти мгновенное проникновение этих понятий в различные разделы математических, технических, социальных дисциплин было обусловлено тем, что соответствующий математический аппарат для их анализа был уже подготовлен, и, главное, имелись задачи, словно ожидавшие понятия информационной энтропии в той или иной форме и решенные вскоре с его помощью. При разработке материальных процессов и их практической реализации широко используются открытые в XIXв. всеобщие законы сохранения. Так, закон сохранения и превращения энергии воплощен в началах термодинамики и применяется на практике для составления тепловых балансов процессов [2]. Закон сохранения массы обязательно учитывается в кинетике химических реакций и в материальных балансах процессов. Однако новый и столь же универсальный закон сохранения суммы информации и энтропии (или закон сохранения максимума энтропии), сформулированный в середине XXв., пока что используется только для абстрактного анализа любых сложных систем, но не для конкретных процессов при реализации сложных материальных процессов. Между тем этот закон можно было бы применить для определения баланса между неопределенностью и завершенностью материальных процессов, то есть для информационного баланса любых процессов. Конкурентоспособность ожидаемых результатов состоит в возможности прямого сравнения конкурирующих схем или отдельно усовершенствуемых операций по единому обобщенному критерию комплексной завершенности, а также неопределенности.

Методическим основанием для разработки темы является информационная энтропия Шеннона и ее свойства.

Научный уровень разработок состоит в использовании закона сохранения суммы информации и энтропии непосредственно для информационного анализа материальных процессов и технологических схем.

Метрологическая обеспеченность работы основана на использовании практических справочных данных и статистических критериев адекватности их описания.

Новизна темы состоит в том, что впервые к анализу технологии материальных процессов и схем применены объективные и фундаментальные информационные критерии, выраженные в универсальных единицах информации - битах.

Целью работы является разработка методов информационного анализа материальных процессов с единой количественной оценкой их синергетического совершенства на основе применения последнего из всеобщих законов сохранения - закона сохранения суммы информации и энтропии.

Предметом исследования являются методы исчисления информационной энтропии и структурной информации, анализ энтропийно-информационных закономерностей материальных процессов.

В задачи исследования входят:

- анализ существующих энтропийно-информационных закономерностей;

- анализ, теоретическое обоснование и использование математических моделей структуры самоорганизующихся систем в аспекте энтропийно-информационных закономерностей материальных процессов;

- вывод формул для оценки технологической неопределенности и завершенности материальных процессов с целью создания теоретических основ для их оптимизации;

- разработка программы на языке Delphi для реализации алгоритма определения всех видов информации иерархической системы.

Решение этих задач позволит применить закон сохранения максимума энтропии для определения баланса между неопределенностью и завершенностью любых производственных процессов, обеспечивающих достижение поставленной цели наиболее технологичным способом.

Методологическая база исследования основана на отображении свойств элементов с точки зрения общих закономерностей неопределенных, или случайных, событий, которым подчиняются любые вещественные объекты и которые описываются статистическими распределениями, в данном случае информационной формулой Шеннона. Исследования проведены на базе кафедры прикладной математики КарГУ им. академика Е.А.Букетова.

Положения, выносимые на защиту:

- анализ и теоретическое обоснование энтропийно-информационных закономерностей самоорганизующихся систем;

- новые аспекты энтропийно-информационного анализа применительно к материальным процессам и технологическим схемам в целом;

- энтропийно-информационный анализ материальных процессов по динамике повышения содержания целевого компонента;

- применение разработанных моделей для информационного анализа и совершенствования материальных процессов.

1. Обзор существующих методов исчисления количества информации и энтропии

1.1 Энтропия по Клаузиусу. Формулы Больцмана и Планка

Во второй половине XX века произошли два события, которые в значительной мере определяют дальнейшие пути развития науки, научного постижения мира, теоретического и практического совершенства любых объектов. Речь идет о создании теории информации, установлении свойств информационных мер и о начале анализа механизмов энтропийно-информационных закономерностей, для изучения которых синергетика привлекает все новейшие достижения неравновесной термодинамики, теории информации и общей теории систем. Стремление к детерминированному описанию реальных процессов неизбежно приводит к субъективному или объективному идеализму и тем самым вносит в процесс и результат познания - стохастичность, связанную с различием точек зрения, трактовок и версий разных авторов. Возникновение теории информации тесно связано с именем К. Шеннона, предложившего решение основной проблемы о нахождении скорости передачи информации, которую можно достичь при оптимальном методе кодирования и декодирования так, чтобы вероятность ошибки при передаче информации была как угодно мала. Теорию кодирования отличает то, что наряду со статистическими методами она использует для построения конкретных кодов глубокие алгебраические и комбинаторные идеи. Активно разрабатываются теория семантической информации, которая решает проблемы количественной оценки информации с учетом ее смысла, теория прагматической информации с учетом ее ценности [4].

Слово «энтропия» было впервые использовано в 1864г. Рудольфом Клаузиусом для названия величины, характеризующей процессы перехода тепловой энергии в механическую, и в термодинамике оно сохранило именно это значение. В своем главном научном труде, трехтомной монографии “Механическая теория тепла”, Рудольф Клаузиус подробно объясняет целесообразность введения этого совершенно особого нового понятия ссылкой на выполнение при так называемых обратимых круговых процессах следующего уравнения:

, (1.1)

где - элементарное количество теплоты; - абсолютная температура.

Под энергией понимается общая мера различных процессов и видов взаимодействия. Для выяснения физического содержания этого понятия рассматривают отношение теплоты , полученной телом в изотермическом процессе, к температуре теплоотдающего тела, называемое приведенным количеством теплоты. Приведенное количество теплоты, сообщаемое телу на бесконечно малом участке процесса, равно . На основании теоретического анализа установлено, что приведенное количество теплоты, сообщаемое телу в любом обратимом круговом процессе, равно нулю. Из равенства нулю интеграла (1.1), следует, что подынтегральное выражение есть полный дифференциал некоторой функции, которая определяется только состоянием системы и не зависит от пути интегрирования. Таким образом:

. (1.2)

Проинтегрируем обе части равенства (1.2):

, (1.3)

где - элементарное количество теплоты; - абсолютная температура; - энтропия.

Уравнение (1.3) дает еще одно выражение второго начала механической теории теплоты, очень удобное во многих исследованиях [5,6].

Предложенная Клаузиусом формула энтропии (1.3) не раскрывала внутренних механизмов процессов, приводящих к возрастанию энтропии. Данная проблема была решена Л.Больцманом (1872г.), предложившим формулу, связывающую энтропию с логарифмом вероятности состояний системы:

, (1.4)

где - постоянная Больцмана; - математическая энтропия.

Согласно Больцману, величина определяется:

(1.5)

где - общее число молекул газа; - число молекул, движущихся со скоростями, соответствующими i-ой ячейке, .

Данное условие означает, что все молекул распределены по соответствующим ячейкам пространства скоростей, в количествах , учитываемых уравнением (1.5). Согласно (1.5), применяя свойства логарифмической функции, заключаем, что перестановка молекул, находящихся внутри каждой из ячеек, не влияет на величину . Отсюда следует, что рассчитанная по формуле (1.5) математическая энтропия соответствует числу возможных микросостояний системы, при котором макросостояние системы остается неизменным [7]. М. Планк преобразовал формулу Больцмана (1.5), применяя для этого асимптотическое представление Стирлинга:

. (1.6)

В результате подстановки (1.6) в (1.5) получается соотношение:

.

С учетом условия выражение для математической энтропии приводится к виду:

. (1.7)

Далее Планк ввел в рассмотрение вероятности различных состояний молекул, определив их по формуле:

, (1.8)

где и - соответственно доля и число частиц с энергией ; - общее число частиц; - число учитываемых энергетических уровней.

Используя формулу (1.8), второе слагаемое в правой части (1.7) можно представить в виде суммы:

. (1.9)

С учетом известного из теории вероятностей условия нормировки подстановка (1.9) в (1.7) приводит выражение для математической энтропии Больцмана к виду:

. (1.10)

Выражение (1.10) соответствует полной энтропии системы [8]. Поделив подсчитанную по формуле (1.10) величину на , можно определить усредненную величину энтропии , относящуюся к одному элементу рассматриваемой системы:

. (1.11)

Для перехода к физической энтропии математическая энтропия умножается на постоянную Больцмана и на число частиц :

. (1.12)

Постоянная Больцмана относится к одной частице размерностью . Отсюда следует, что математическая -энтропия Больцмана, не зависит от общего числа частиц, поскольку оно не фигурирует ни под знаком суммы, ни в пределах суммирования. Тогда перемножение величин и является некорректным, так как если подставить в (1.11) значение , получим:

.

Откуда из свойств логарифмической функции следует при .

1.2 Формула Шеннона для определения количества информации

Анализировать общие механизмы энтропийно-информационных закономерностей материальных процессов, являющихся фундаментальной основой всех самопроизвольно протекающих процессов накопления информации, приводящих также и к самоорганизации технологических систем, возможно с помощью использования меры определенности и неопределенности информации. Важно найти адекватные математические модели оптимального решения и постановки задач для информационного анализа материальных процессов процессов с количественной оценкой их собственно технологического совершенства. Рассмотренный подход, на наш взгляд, полностью соответствует основным требованиям системного энтропийно-информационного анализа, так как обеспечивает при моделировании иерархической системы материальных процессов целостность ее рассмотрения за счет общетеоретических и методических концепций, позволяющих удерживать в поле зрения всю систему в целом для решения задачи на всех уровнях.

В своей работе К. Шеннон ввел понятие энтропии в качестве меры неопределенности знания о чем-либо, а сообщение как средство увеличения знания. Для удобства исчисления энтропии сообщений, передаваемых двоичным кодом, Шеннон заменил используемый термодинамикой натуральный логарифм логарифмом с двоичным основанием:

, (1.13)

где р_i - вероятность обнаружения какого-либо однородного элемента системы в их множестве , [9].

Пределами изменения функции, заданной равенством (1.13), являются нуль, когда один из элементов имеет вероятность обнаружения, равную единице, а остальные нулевую, и для случая, когда , :

. (1.14)

Действительно, в случае равной вероятности выполняется условие:

. (1.15)

В результате подстановки (1.15) в (1.13):

. (1.16)

За единицу количества информации принята величина информации, содержащаяся в сообщении об одном из двух равновероятных событий. До получения сообщения выполняются условия:

[10]. (1.17)

Подобный результат был впервые получен Хартли для оценки максимальной пропускной способности каналов связи:

[11] (1.18)

Для энтропийно-информационного анализа материальных процессов необходимо выбрать единую меру статистических и детерминистических начал в любом целом. Наиболее полно эта мера выражается в информации, которая может быть выражена в различных отношениях: свободная и связанная, субъективная и объективная, реальная и потенциальная и т.д. Столь же правомерно использование энтропии как меры неупорядоченности, которая также охватывает весь спектр состояний системы, включая полную упорядоченность.

Информация, как мера определенности, отражает функцию структурного начала в технологической системе, а энтропия, как мера неопределенности, ее бесструктурного дополнения

Для многоуровневой технологической иерархической системы важным является описание нижестоящего уровня как взаимодействие взаимосвязанных подсистем, каждая из которых обладает своими информационными свойствами. Поэтому при получении информационной оценки технологического совершенства основное внимание обращено на внутриуровневые и межуровневые взаимодействия системы.

Создание математической теории энтропии - одно из замечательных достижений математики нашего века. Точные понятия энтропии и информации, появившиеся в конце 40-х годов и утвердившиеся вначале в прикладных областях, а именно в теории связи (К. Шеннон) и кибернетике (Н. Винер), сразу же подверглись тщательной математической переработке и получили развитие в нескольких новых областях математики. Быстрое, почти мгновенное проникновение этих понятий в различные разделы математики было обусловлено тем, что соответствующий математический аппарат для их анализа был уже подготовлен, и, главное имелись задачи, словно ожидавшие понятии энтропии в той или иной форме и решенные вскоре с его помощью. Математическая теория энтропии, в основу которой легли фундаментальные работы Клода Шеннона, была создана трудами выдающихся современных математиков, в первую очередь А.Н. Колмогорова, а также А. Я. Хинчина, И. М. Гельфанда и их последователей. Эта теория дает замечательный пример плодотворного воздействия прикладных областей на фундаментальные направления математики. В самой же математике она сыграла объединяющую роль и дала толчок развитию того, что следовало бы назвать «энтропийным мышлением», пронизывающим многие области нашей науки. Под этим мы имеем в виду исследование характеристик и инвариантов экспоненциального роста - в самых различных ситуациях. Разумеется, в математике и ранее было немало наблюдений и фактов, свойственных такому мышлению, и даже понятие энтропии лишь с натяжкой можно было считать новым, однако нет сомнений, что именно работы Шеннона и Колмогорова и их продолжателей сформировали единый энтропийный подход к различным задачам.

1.4 Определение количества информации по Колмогорову

Рассмотрим основные идеи, лежащие в основе колмогоровского определения количества информации.

Введение колмогоровской меры имеет основной целью уточнение понятий энтропии и количества информации, во-первых, без привлечения теоретико-вероятностного подхода, во-вторых, применительно к индивидуальным объектам, а не ко множествам объектов. Кратко сформулируем идею подхода Колмогорова [12].

Будем считать, что мы обладаем информацией о некотором объекте тогда и только тогда, когда мы сможем воспроизвести объект по конечному набору его признаков. Получить полную уверенность в том, что мы располагаем всей необходимой информацией, можно только восстановив объект по его описанию.

Построение меры Колмогорова основывается на таких понятиях, как алгоритм, вычислимая функция, машина Тьюринга и т.д. Можно сказать, что алгоритм - это правило или совокупность правил, с помощью которого решение некоторой задачи или класса задач, достигается чисто механическим путем, если это решение существует. Внимательное рассмотрение понятия “алгоритм”, позволяет построить следующий набор характеристик, которыми он должен обладать.

- Для алгоритма определяются множества возможных исходных данных, возможных промежуточных и возможных конечных результатов. При этом для представления исходных данных, промежуточных и конечных результатов могут быть заданы соответственно входной, рабочий и выходной алфавиты. Объекты, которыми оперирует алгоритм, должны быть конструктивными. Конструктивный объект характерен тем, что он строится из конечного числа исходных элементарных объектов за конечное число шагов, т.е. он должен быть конечным и весь доступен для рассмотрения.

- Правила, или инструкции, согласно которым выполняется преобразование данных, должны иметь конечную длину, причем каждое правило, должно быть сформулировано таким образом, чтобы процесс его выполнения был осуществим, строго однозначно, то есть полностью детерминирован. В частности, для выполнения правила не должна требоваться какая-либо внешняя информация. Таким образом, для реализации алгоритма нужны лишь исходные данные и набор правил.

- Существенно наличие некоторого операционного устройства, способного воспринимать и выполнять инструкции алгоритма (в роли такого “устройства” может выступать человек). В процессе реализации алгоритма этому устройству может потребоваться память, на объем которой не накладывается никаких конкретных ограничений.

- Следует заметить, что алгоритм не обязательно должен давать должен давать результат для каждого возможного исходного данного. Кроме случая получения результата возможны еще два исхода. Во-первых, процесс поэтапного выполнения инструкций может прекратиться, не приведя к результату. Во-вторых, процесс выполнения инструкций может оказаться состоящим из бесконечно большого числа этапов. Таким образом, в множестве в множестве возможных исходный данных целесообразно выделить область применимости алгоритма - применение алгоритма к принадлежащему этой области объекту приводит к результату за конечное число шагов [13].

В пределах существующих математических представлений понятию “алгоритм” не может быть дано строгого определения. Однако предпринимались многочисленные попытки уточнить понятие алгоритма. Среди таких уточнений можно указать на общерекурсивные функции, машины Тьюринга и т.д. Известно, что все эти уточнения в определенном смысле эквивалентны друг другу, а согласно так называемому тезису Черча понятие алгоритма в интуитивном смысле можно отождествить с одним из строгих определений.

С понятием алгоритма тесно связано понятие вычислимой функции. Пусть - множество возможных исходных данных, - множество возможных конечных результатов применения алгоритма, причем и состоят, только из конструктивных объектов, а - область применимости алгоритма. Пусть также функция задает отображение , такое, что совпадает с результатом применения алгоритма к объекту . Тогда называют вычислимой функцией, которая задается данным алгоритмом.

Раскроем основное содержание понятия “машина Тьюринга”, которая состоит из:

- операционного устройства, которое может принимать одно из конечного множества состояний ; в выделяются начальное и конечное состояния;

- бесконечной ленты, разделенной на ячейки, в каждой из которых может содержаться не более одного символа конечного алфавита ;

- головки, которая способна выполнять считывание и запись символов алфавита и перемещать ленту вправо и влево на одну ячейку;

- программы, состоящей из конечного набора правил вида , где определяет характер перемещения ленты.

В процессе последовательного выполнения правил машины Тьюринга, можно изменять содержимое ячеек на ленте, сдвигать ее, переходить на новые состояния. При переходе в конечное состояние работа машины заканчивается. Таким образом, в процессе работы машины происходит преобразование исходных данных, записанных на ленте, причем в результате не обязательна остановка машины - может произойти ее зацикливание.

В результате проведенных рассуждений можно сказать, что понятие машины Тьюринга адекватно понятию алгоритма. Другими словами, всякий алгоритм может быть реализован на соответствующей машине Тьюринга (тезис Тьюринга). Если с помощью машины Тьюринга строится отображение некоторого множества слов алфавита в другое множество таких слов, то об этом отображении говорят как о функции, вычислимой по Тьюрингу. С учетом тезиса Тьюринга и сделанных выше замечаний о связи вычислимых функций с алгоритмами можно сказать, что понятия вычислимой функции и функции, вычислимой по Тьюрингу, в некотором смысле эквивалентны.

Пусть рассматривается некоторое исходное множество объектов, причем устанавливается взаимно-однозначное соответствие между этим множеством и множеством двоичных слов конечной длины, то есть слов вида , где есть 0 или 1 (). Установленное соответствие между множествами позволит в дальнейшем в качестве объектов без существенного ограничения общности рассматривать только двоичные слова; будет обозначать длину слова . Ясно, что конечное двоичное слово можно описать так, что это слово возможно будет восстановить по его описанию. Разные слова имеют разные описания, но одно слово может иметь бесконечно много описаний. Итак, возникает вопрос, как сравнивать между собой описания двоичного слова для того, чтобы выбрать из этих описаний самое простое.

Будем считать, что описание двоичного слова задается не в произвольной словесной форме, а в виде двоичного слова - аргумента некоторой (пока фиксированной) вычислимой функции . Пока на не накладывается никаких ограничений: она может быть определена не на всех двоичных аргументах; не для каждого двоичного слова , как может оказаться, имеется двоичный прообраз (такое слово , что ). Для некоторого двоичного слова рассмотрим множество всех двоичных слов, таких, что . Пусть

Назовем сложностью слова по . Таким образом, сложность слова по - это длина самого короткого двоичного слова, в котором содержится полное описание слова при фиксированном способе восстановления слов по их описаниям. Если для данного способа восстановления такого описания не существует, то сложность слова по считается бесконечно большой.

Недостатком данного определения сложности является произвол в выборе вычислимой функции . Избавиться от этого недостатка можно с помощью следующей теоремы: существует вычислимая функция (оптимальная), такая, что для любой другой вычислимой функции при любом выполняется неравенство

,

где - соответствующая функции и не зависящая от константа. С учетом этой теоремы определение сложности можно скорректировать следующим образом: сложностью слова называется сложность слова по некоторой фиксированной оптимальной вычислимой функции слова . Таким образом определение сложности стало инвариантным.

Аналогичным образом строится определение относительной сложности слова при заданном слове - это минимальная длина такого двоичного слова , что пара слов содержит всю информацию, необходимую для восстановления при фиксированном оптимальном способе восстановления. Способ восстановления задается вычислимой функцией от двух аргументов. Среди всех таких функций существует оптимальная, позволяющая брать самые короткие слова , добавляемые к и дающие вместе с полное описание [14].

Назовем и обозначим величины , соответственно алгоритмической энтропией и условной алгоритмической энтропией . Алгоритмическим количеством информации в индивидуальном объекте относительно индивидуального объекта называют

.

Определение колмогоровской меры информации не требует привлечения вероятностных понятий.

1.4 Детерминация по Седову, Сороко, Малышеву

Одной из важнейших работ, в которой дан анализ энтропийно-информационных характеристик различного вида систем, является монография Е. А. Седова «Эволюция и информация» [15]. В соответствии с предложенными определениями, что энергия - это мера интенсивности движения, а информация - мера его упорядоченности, он приводит выражение для информации:

,

где - исходная неопределенность; - остаточная неопределенность.

В своей работе Е.А.Седов анализирует вопрос о первичности стохастичности или причинности, показывает на примере достижения термодинамического равновесия, что требование изоляции системы эквивалентно устранению каких-либо причин, отклоняющих систему от равновесия, при котором максимальная энтропия достигается самопроизвольно и необратимо. В этой же работе рассмотрена еще одна грань зависимости детерминации и стохастичности или энтропийно-информационных закономерностей, но уже при самоорганизации, то есть в иерархической системе, и с учетом всех предыдущих особенностей и представлена на рисунке 1. Пусть нижний уровень иерархической схемы соответствует начальному состоянию системы, состоящему из различных элементов [16]. Тогда:

, (1.19)

где n - порядковый номер рассматриваемого уровня, ; - число элементов n - го уровня системы; k - число элементов предыдущего уровня, образующих один элемент данного уровня; - число элементов уровня системы, принятого за начало отсчета n=0.

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Рисунок 1 Иерархическая схема

Для упрощения математических выражений Е.А.Седов вводит следующие допущения:

.

Таким образом, с переходом на более высокие структурные уровни число элементов, образующих данный структурный уровень, имеющий различные признаки, увеличивается по закону:

. (1.20)

Величина максимальной энтропии для - го уровня иерархической схемы на основании формулы (1.18) определяется как:

.

Сопоставляя величину максимальной энтропии с величиной энтропии на нулевом уровне:

,

убеждаемся, что в результате перехода с нулевого уровня на уровень максимальная энтропия возросла в раз:

[17,18]. (1.21)

Особое значение в теории информации придается понятию гармонии и ее связи с понятием инварианта. Структурные инварианты системы можно обнаружить и на уровне элементов, и на уровне связей, и на уровне целостности. В своей работе Э. М. Сороко на основании всестороннего анализа различных подходов к решению проблемы гармонии приходит к выводу, что изучение процессов саморазвития систем необходимо проводить в диалектическом единстве энтропийных и информационных закономерностей. На основе закона сохранения суммы информации и энтропии можно получить его безразмерную форму, нормируя по :

, (1.22)

где и - относительные значения энтропии А и информации В [19].

Тогда, понимая гармонию как соразмерное отношение приращений мер для относительной энтропии и относительной информации, получим:

. (1.23)

Проинтегрируем равенство (1.23):

. (1.24)

Поделим обе части равенства (1.24) на :

, (1.25)

где . Из заданной необходимости целочисленного выражения, заключаем, что такое же свойство для обеспечения соразмерности должно обеспечиваться при . Таким образом, в равенстве (1.25) слагаемым с константой можно пренебречь, и равенство (1.24) запишется в виде:

. (1.26)

Пропотенцируем уравнение (1.26) и выразим через , полученное выражение подставим в уравнение (1.22), получим:

, (1.27)

где Для получения целочисленных решений этого уравнения Э.Сороко использует равенство:

, (1.28)

где Равенство (1.28) позволяет определить набор соразмерных сочетаний относительной энтропии и относительной информации . Для определения зон дисгармонии, равенство (1.28) преобразовывается к виду:

, (1.29)

следовательно, подставляя в уравнение (1.27) значение степени, выраженной формулой (1.29), получим:

.

В таблице 1 представлены соразмерные и несоразмерные значения и для нескольких уровней С позицией автора по тенденции изменения детерминированной и стохастической составляющих, выражает несогласие В. П. Малышев и в своей работе приводит детальное обоснование факта, что усложнение организации по мере эволюции, которое достигается за счет повышения иерархичности структуры систем, неизбежно увеличивает число связей, а значит и детерминацию объектов [21].

Таблица 1

Соразмерные и несоразмерные значения стохастической и детерминированной составляющих по Сороко в зависимости от уровня

0	0,5000	0,5000	0,5698	0,4302
1	0,6180	0,3820	0,6540	0,3460
2	0,6823	0,3177	0,7053	0,2947
3	0,7245	0,2755	0,7408	0,2592
4	0,7549	0,2451	0,7672	0,2328
5	0,7781	0,2219	0,7878	0,2122
6	0,7965	0,2035	0,8045	0,1955
7	0,8111	0,1889	0,8182	0,1818

Таблица 2

Соразмерные и несоразмерные значения детерминированной и стохастической составляющих по Малышеву в зависимости от уровня организации

0	0	1	0,2500	0,7500
1	0,5000	0,5000	0,5698	0,4302
2	0,6180	0,3820	0,6540	0,3460
3	0,6823	0,3177	0,7053	0,2947
4	0,7245	0,2755	0,7408	0,2592
5	0,7549	0,2451	0,7672	0,2328
6	0,7781	0,2219	0,7878	0,2122
7	0,7965	0,2035	0,8045	0,1955
8	0,8111	0,1889	0,8182	0,1818
9	0,8245	0,1755	0,8299	0,1701
10	0,8354	0,1646	0,8433	0,1667
11	0,8446	0,1554	0,8486	0,1514
12	0,8528	0,1472	0,8565	0,1435
13	0,8599	0,1401	0,8634	0,1366
14	0,8662	0,1338	0,8688	0,1312
15	0,8722	0,1278	0,8748	0,1252
16	0,8774	0,1226	0,8797	0,1203

Полученные Э. М.Сороко результаты относительно составляющей согласуются с независимым определением степени детерминации и стохастичности иерархических систем по мере их самоорганизации. В таблице 2 приведены уточненные значения детерминированной и стохастической составляющих в соответствии с приведенными расчетами.

2. Общетеоретические и методические концепции синергетического анализа сложных иерархических систем

2.1 Количество информации по Шеннону и Хартли. Связь между ними

Определение количества информации по Шеннону требует с самого начала привлечения теоретико-вероятностного подхода, в отличии от построения меры Хартли, где возможно ограничиться лишь понятиями комбинаторики. Это связано с тем, что исторически шенноновская теория информации выросла из потребностей теории связи, в которой приходится иметь дело со статистическими параметрами как передаваемых сообщений, так и каналов, по которым они передаются [22].

Таким образом, исходная постановка задачи определения количества информации теперь будет выглядеть следующим образом.

Пусть существует некоторое конечное множество событий , которые могут наступать с вероятностями соответственно, причем множество вероятностей удовлетворяет естественному условию нормировки

(2.1)

Исходное множество событий можно характеризовать присущей ему степенью неопределенности, или энтропией. В этом случае мощность исходного множества уже не будет единственным фактором, определяющим энтропию. Таким образом, степень неопределенности множества событий должна зависеть не только от их числа, но и от вероятностей, с которыми они наступают [23,24].

Прежде чем перейти к строгому обоснованию определения шенноновской энтропии, построим ее, воспользовавшись следующим приемом.

Пусть события исходного множества равновероятны: . Ясно, что для

(2.2)

Энтропию исходного множества по Хартли можно переписать в виде суммы слагаемых

С учетом (2.2)

(2.3)

Предположим, что в случае множества, состоящего из неравновероятных событий, формула энтропии не изменится по сравнению с (2.3), тогда ее окончательно можно записать в виде

(2.4)

Пусть какое-либо событие множества реализуется, то есть становится достоверным и приобретает, следовательно, вероятность . Согласно (2.4) энтропия множества, состоящего из единственного достоверного события, есть

Если аналогично тому, как это делалось при построении хартлиевой меры информации, измерять количество информации, сообщаемое при наступлении определенного события из множества , изменением степени неопределенности, которая уменьшается до нуля, то шенноновское количество информации также численно совпадает с энтропией исходного множества:

(2.5)

Как и в случае меры Хартли, в основу строгого вывода (2.4) необходимо положить определенную систему условий, которым должна удовлетворять мера Шеннона. Остановимся на системе условий, предложенной Шенноном, так как эта система наиболее наглядна и естественна в восприятии [1,25].

Для энтропии множества , содержащего событий, будем пользоваться обозначением .

1. Функция должна быть непрерывной относительно всех своих аргументов . Этим обеспечивается отсутствие резких, скачкообразных изменений энтропии при малых изменениях вероятностей.

2. Если все событий множества равновероятны, то функция , где , должна монотонно возрастать с ростом . Это условие совпадает с одним из требований, предъявляемых к мере Хартли. Таким образом, степень неопределенности множества, состоящего лишь из равновероятных событий, может зависеть только от мощности множества, с ростом которой степень неопределенности, как и в случае меры Хартли должна монотонно возрастать.

3. Значение функции не должно зависеть от порядка расстановки аргументов . Энтропия множества не изменяется при перестановке аргументов функции , так как энтропия должна определяться лишь мощностью множества и значениями вероятностей, с которыми наступают составляющие его события.

Прежде чем сформулировать последнее четвертое условие, приведем некоторые предварительные соображения. Воспользуемся примером, который в свое время рассмотрел Шеннон. Пусть имеется множество из трех событий , которые наступают с вероятностью соответственно , ,. Возможные пути реализации событий множества удобно представить в виде “дерева выборов 1”, показанного на рисунке 1. Энтропия множества определяется значением функции

Рисунок 2 Дерево выборов 1

Разобьем множество на два подмножества. Первое подмножество пусть состоит из событий ; обозначим его . Второе подмножество составит единственное событие . Такому разбиению исходного множества соответствует “дерево выборов”, изображенное на рисунке 3. Вероятность наступления нового события есть

(2.6)

Числа, которыми помечены ветви дерева, ведущие из узла в узлы и , суть условные вероятности и . Нетрудно заметить, что в случае второго “дерева выборов” окончательные результаты для вероятностей наступления событий не изменились. Они определяются значениями:

для события :

для события :

для события :

Предположим, что в этих условиях энтропии исходного множества и множества “с разбиением” одинаковы. Определим энтропию последнего из них. Степень неопределенности множества задается значением

.

Однако в случае реализации события неопределенность полностью не снимается - в соответствии с “деревом выборов 2” может наступить событие либо событие .



Рисунок 3 Дерево выборов 2

Степень неопределенности множества определяется как

Но так как реализуется с вероятностью , то есть лишь в половине всех случаев, для нахождения энтропии множества “с разбиением” необходимо к степени неопределенности множества добавить степень неопределенности множества , умноженную на весовой коэффициент . Таким образом, с учетом замечания о равенстве энтропий исходного множества и множества “с разбиением” можно записать

Преобразуем это равенство так, чтобы в него входили только значения вероятностей, определенные для элементов исходного множества . Условные вероятности события можно представить соответственно как

Или с учетом (2.6)

Тогда условие равенства энтропий окончательно запишется в виде

.

В данном примере исходное множество содержало три события. Видно, что аналогичные рассуждения можно провести применительно к множеству из элементов, если разбить его на подмножества и . Результат этих рассуждений сформулируем в виде условия 4.

4. Если в результате разбиения исходного множества на подмножества реализация событий производится в два последовательных этапа, то первоначальная энтропия должна быть взвешенной суммой индивидуальных энтропий этапов:

(2.7)

Теперь перейдем к доказательству того, что существует единственная функция, удовлетворяющая четырем перечисленным условиям, причем эта функция имеет вид (2.4).

Доказательство, следуя Шеннону, начнем с обобщения равенства (2.7), содержащегося в условии (4). Покажем, что

(2.8)

Для этого воспользуемся принципом математической индукции. При (2.8) сводится к (2.7), то есть выполняется. Допустим, что для некоторого (2.8) справедливо. Докажем, что это равенство выполняется для .

Разобьем множество событий на подмножества таким образом, что в первое подмножество войдут события . Тогда из условия 4 имеем

(2.9)

Кроме того, используя предположение о справедливости (2.8) для , запишем:

После умножения левой и правой частей последнего равенства на получим

[26]. (2.10)

Перепишем формулу для , заменив первое слагаемое первой части (2.8) правой частью (2.9):

С учетом (2.10) получаем

,

что доказывает справедливость (2.8) для значения , а, следовательно, для любого .

Согласно условию 3 значение функции не должно зависеть от порядка расстановки ее аргументов, что позволяет следующим образом преобразовать (2.8):

Здесь при реализации событий в два этапа из исходного множества выделяется подмножество элементов .

Последнее равенство можно обобщить на тот случай, когда исходное множество разбивается на подмножества событий

Равенство примет вид

(2.11)

Равенство (2.11) представляет собой общую форму условия 4.

Обозначим . Это означает, что энтропию множества, содержащего лишь равновероятные события, можно рассматривать как функцию одного переменного. Допустим также, что , где и - целые числа, и что подмножества событий , вероятности наступления которых входят в равенство (2.11) имеют одинаковую мощность . Таких подмножеств будет , причем для их вероятностей будут выполняться равенства

[27,28]. (2.12)

Каждый из аргументов функций , входящих в правую часть (2.11), начиная со второго слагаемого, с учетом (2.12) и того, что каждая вероятность равна , можно записать в виде

Таким образом, левую часть (2.11) можно представить как , первое слагаемое правой части - как , каждое слагаемое правой части, начиная со второго - как , причем этих слагаемых, как и подмножеств событий, имеется . Следовательно, при рассматриваемом разбиении исходного множества на равномощные группы событий равенство (2.11) приводится к виду

(2.13)

Покажем, что для функции справедливо равенство

, (2.14)

где и - целые числа.

Для этого снова воспользуемся методом математической индукции. При (2.14) выполняется: , что непосредственно следует из (2.13). Допустим выполнение (2.14) для некоторого значения .

С (2.13) , то есть (2.14) выполняется для значения , а значит и для любого .

Перепишем (2.14) для новых аргументов: . Будем считать, что здесь и также целые числа, причем в (2.14) выберем таким, чтобы оно удовлетворяло условию

(2.15)

Прологарифмируем последнее неравенство: и разделим, на , что дает

(2.16)

Согласно условию 2, требующему монотонности функции , и с учетом (2.15) получим , или в силу (14) . После деления на получаем

(2.17)

Из (2.16) и (2.17) видно, что величины и одинаково ограничены сверху и снизу. При достаточно большом эти отношения будут близки по значению, а так как ничто не мешает взять произвольно большим, можно сделать вывод о том, что

(2.18)

Зафиксируем, например, значение и обозначим . Тогда формула (2.18) примет вид

(2.19)

Так как логарифм возрастающая функция, а функция , согласно условию 2, должна быть возрастающей, можно прийти к выводу о положительности коэффициента .

Теперь откажемся от сделанного ранее допущения о равновероятности событий множества , а именно предположим, что вероятности - это дроби вида

, ,..,, (2.20)

где - целые числа. Если принять , то окажется что: ,

- рациональные числа. И для вероятностей выполняется необходимое условие нормировки (1), так как .

Рассмотрим новое множество, состоящее из равновероятных событий. Вероятность наступления любого события этого множества есть , а его энтропия

[29]. (2.21)

Произведем разбиение множества из элементов на подмножеств, содержащих соответственно элементов. Тогда согласно равенству (2.11)

Отсюда, с учетом (2.20) и (2.21) получаем

Используя условие нормировки (1), заменим множитель 2.1 перед первым слагаемым правой части последнего равенства на сумму вероятностей:

.

Перегруппировка слагаемых правой части дает

Согласно (2.18) и (2.20)

(2.22)

Ранее было принято допущение о том, что рациональные дроби. Однако условие 1, требующее непрерывности функции относительно своих аргументов, позволяет обобщить (2.22) и на случай иррациональных значений вероятностей. Это означает, что (2.22) справедливо для произвольных дробей . На этом вывод формулы (2.4) завершен, хотя она и отличается от (2.22) отсутствием коэффициента и основанием логарифмов. Также, как и в случае меры Хартли, выбор коэффициента определяет единицу энтропии. Если принять , то (2.22) полностью сведется к (2.4), а единицей энтропии и количества информации будет по-прежнему служить бит. Действительно, если множество состоит из двух равновероятных событий , то из (2.4) имеем

бит

В случае множества, содержащего равновероятных событий, (2.4) тривиально сводится к формуле энтропии, определяемой по Хартли, что видно из выкладок, предшествующих (2.4) и полностью согласуется с “физическим” смыслом второго условия, которому удовлетворяет мера Шеннона [11].

2.2 Информационная оценка технологического совершенства сложных иерархических схем

При общей характеристике энтропийно-информационного анализа любых объектов широко используется статистическая формула Шеннона для выражения неопределенности любой системы:

, (2.23)

где р_i - вероятность обнаружения какого-либо однородного элемента системы в их множестве ; , [30].

Мы рассмотрим применение данной формулы для количественной оценки неопределенности качества продукта или технологического передела через неопределенность главного элемента системы. В качестве вероятности обнаружения главного элемента технологической системы можно принять его содержание в продукте, выраженное в долях единицы. То же самое относится и к процессу извлечения элемента в тот или иной продукт, так как в этом случае показатель извлечения тождествен вероятности перехода данного элемента из одного состояния системы в другое состояние. Для оценки качества продукта или технологических переделов могут быть в равной степени использованы оба этих показателя - содержание и извлечение.

До опубликования созданной К.Шенноном теории Р.Хартли предложил определять количество информации по формуле:

, (2.24)

где - количество информации; - число элементов системы [11].

Собственной информацией назовем вещественную функцию операций обнаружения или извлечения элементов, зависящую только от вероятностей операций и удовлетворяющую следующим условиям:

1 ,

2 ,

3 .

Выразим количество информации или неопределенности через известные функции. Поскольку информация должна зависеть только от вероятности процессов, нам надо найти на отрезке функцию с вещественными значениями, которая будет удовлетворять условиям 1-3. Легко видеть, что если монотонно убывает на отрезке и , то условия 1,2 выполнены. Остается найти условие на , обеспечивающее выполнение условия 3.

Пусть имеется два независимых технологических процесса и . Тогда из условия аддитивности 3 следует:

,

и поскольку по теореме умножения вероятностей независимых событий выполняется равенство:

,

условие 3 равносильно выполнению соотношения:

.

Таким образом, функция должна удовлетворять функциональному уравнению:

.

То, что монотонные решения полученного уравнения исчерпываются кратными натурального логарифма - это классический результат. Поэтому мы должны взять , где . Эта функция обращается в нуль при для любого значения константы. Итак, если мы определим соотношением:

,

то функция , заданная равенством , обладает всеми свойствами неопределенности.

Ранее руководителем были сформулированы и доказаны следующие теоремы (2.1-2.9). Мною они использованы для проведения дальнейших научных исследований в этом аспекте.

Теорема 2.1 Пусть собственная информация элементов технологической системы, состоящей из элементов, равна:

. (2.25)

Тогда информационная энтропия данного дискретного множества определяется равенством:

, (2.26)

Из определения случайной величины можно заключить о целесообразности принять собственную информацию элементов системы за дискретную случайную величину, а ее среднее значение, или математическое ожидание, за информационную энтропию.

Для множества элементов , принимающих конечное число значений:

, (2.27)

собственная информация определяется равенством:

[31]. (2.28)

Теорема 2.2 Если множество дискретных вероятностных распределений имеет элементов, то информационная энтропия конечного дискретного вероятностного распределения удовлетворяет условию:

.

Более того, тогда и только тогда, когда дискретное множество содержит элемент вероятности единица, и тогда и только тогда, когда дискретное множество имеет равномерное распределение, то есть , [31,32].

Следствие 1 Информационная энтропия альтернативного выбора из двух равновероятных возможностей равна:

. (2.29)

Информационная энтропия обладает свойствами:

Следствие 2 Энтропия непрерывного множества элементов вычисляется по формуле:

, (2.30)

где - плотность распределения величины , представляющей непрерывное множество одномерного пространства событий.

Для энтропийно-информационного анализа технологического передела необходимо выбрать единую меру статистических и детерминистических начал в любом целом. Наиболее полно эта мера выражается в информации, которая может быть выражена в различных отношениях: свободная и связанная, субъективная и объективная, реальная и потенциальная и т.д. Столь же правомерно использование энтропии как меры неупорядоченности, которая также охватывает весь спектр состояний системы, включая полную упорядоченность.

Информация, как мера определенности, отражает функцию структурного начала в технологической системе, а энтропия, как мера неопределенности, ее бесструктурного дополнения [31].

Теорема 2.3 Если , - относительные значения информации , энтропии и на основании закона сохранения суммы энтропии и информации выполнено условие:

, (2.31)

то есть решение уравнения:

, (2.32)

В работах показано, что на основании закона сохранения максимума энтропии выполняется равенство:

(2.33)

По условию теоремы имеем:

, (2.34)

где , - относительное значение информации и энтропии [33].

Задача нахождения корней уравнения (2.31) решается в два этапа. Прежде чем переходить к решению уравнения (2.31), запишем его в виде:

, (2.35)

и отметим два простых приема отделения действительных корней уравнения (2.35). Предположим, что функция определена и непрерывна на отрезке . Первый прием состоит в том, что вычисляется таблица значений функции в заданных точках . Если обнаружится, что при некотором числа , имеют разные знаки, то это будет означать, что на интервале уравнение (2.35) имеет по крайней мере один действительный корень. Затем можно разбить интервал на более мелкие интервалы и с помощью аналогичной процедуры уточнить расположение корня. Более регулярным способом отделения действительных корней является метод бисекции или деления пополам]. Можно использовать прием выделения корней, а именно, если корень кратности найден, то рассматривается функция:

и для нее повторяется процесс нахождения корня.

Для нахождения решений уравнения (2.35) рассмотрим метод простой итерации. Для этого заменим уравнение (2.35) уравнением:

. (2.36)

Итерации в данном случае образуются с заданным начальным приближением по правилу:

, (2.37)

где

Для сходимости большое значение имеет выбор функции . Ее можно задавать различными способами. Пусть функция имеет вид: