Продуктивным направлением в методологии СКИС является математическое моделирование, являющееся в нашем случае следующей ступенью после дескриптивного моделирования. Следует отметить, что в настоящее время трудно создать адекватную математическую модель сложных объектов, как, например, ИС, тем более модель взаимодействия ИС и системы управления её качеством. Обычно для решения подобных задач прибегают к декомпозиции объектов и моделирование начинается с построения обобщённой (принципиальной) модели [12,172,197]. На основе этой модели может быть построен комплекс частных (маргинальных) моделей, объединенных логикой обобщённой модели. К математическим средствам разработки формализованных моделей СКИС можно отнести широкий спектр математических теорий, в частности, теорию управления, теорию вероятностей и математическую статистику, теорию планирования эксперимента, теорию множеств и др. [12,13,17,18,50,101,151,153,155,158,165].

В контуре СКИС имеются два основных взаимодействующих блока: субъект управления - КС УКИС и объект управления - ИС. (рис. 3.1). В этом контуре результаты функционирования ИС отображаются зависимостью следующего вида

= (, , ) , (3.1)

где - k-мерный вектор, определяющий совокупность начальных (входных) условий и внешних воздействий, определяемых режимом функционирования ИС; - q-мерный вектор, определяющий возможные внутренние состояния ИС; - l-мерный вектор, определяющий управление качеством ИС - h-мерный вектор выходных координат ИС.

Внешние

воздействия

- Управляющие

воздействия

- Начальные - Выходные

условия координаты

- Изменение внутреннего

состояния ИС

Рис. 3.1. Схема взаимодействия КС УКИС и управляемой ИС

Управляющие воздействия , вырабатываемые и реализуемые КС УКИС в процессе улучшения качества, определяются следующим соотношением

= (,) (3.2)

Обозначим через j(y) пространство выходных координат на j-м этапе управления, характеризующих поведение ИС с позиций критерия качества. После задания j(y) следует выбрать критерий качества ИС в зависимости от состояния ИС. В общем случае критерий качества Ij можно рассматривать как оценку математического ожидания от некоторого функционала Gj, определяемого на траекториях процесса Yhj(t)

Ij(t) = M[Gj (Yhj(t))] (3.3)

Поскольку ИС характеризуется, как сложная система, многомерностью и иерархичностью свойств, то адекватную оценку качества в соответствии с дескриптивной моделью необходимо проводить не одним показателем, а набором показателей. Здесь следует определить несколько типов функционалов, наблюдаемых на траекториях Yhj(t). Отсюда задача системы управления качеством в измерении и оценке качества ИС состоит в выработке таких значений и , чтобы от этапа к этапу критерий качества Ij улучшался до требуемого или максимально возможного значения. Таким образом, на каждом этапе ИС имеем n значений функционалов

G1j, ... , Gij, ... , Gnj, (3.4)

представляющих собой выборку n значений случайных событий, например, искажений значений показателей, которые можно подвергнуть обычной статистической обработке с применением ЭВМ для получения оценок качества.

В пространстве [Y(t)] можно выделить подмножество состояний, когда ИС не соответствует требованиям по качеству - н[Y(t)] и соответствует - c[Y(t)]. Функционал оценки качества может быть как качественным, так и количественным. Применение качественных показателей возможно, если, например, какой-либо из функционалов (3.4) принимает значение

В этом случае показатель качества характеризует соответствие ИС установленным требованиям за время t на j-м этапе ИС (Rj(t))

Ij(t) = M [Gij] = Rj(t) ( 3.6)

Если за значение функционала Gij принять время работы ИС до первого попадания Yij(t) в н , то показатель качества (3.3) равен среднему времени успешной работы на j-м этапе ИС

Ij = M [Gij ] = Tj (3.7)

В подобных случаях оценку качества ИС можно и целесообразно проводить посредством количественных показателей. При применении качественных показателей в результате управления ИС фиксируется только факт: событие E1 успешно, если отсутствует дефект, и неуспешно (E0), при наличии дефекта. Для случайной величины ij состояния обработки i-го документа на j-м этапе обработки получим

Эти величины применимы для оценки качества функционирования ИС через обозначения удовлетворительно/неудовлетворительно, выраженных через такую, например, величину как частота дефектов. Однако для определения состава показателей качества методом, например, кластер-анализа, расчета значений обобщенных показателей, требуется проводить квантификацию каждого наблюдаемого события. В этом аспекте результат или состояние i-го документа на j-м этапе обработки характеризуется случайной величиной ij, которая может принимать множество положительных значений. Результаты наблюдения серии из n документов на m этапах функционирования ИС можно отобразить матрицей размерности mn, каждый элемент которой представляет собой случайные величины ij

(3.9)

При условии испытания i-го документа на j-м этапе данная матрица представляется вектор-строкой 1n

[ij] =(i1, ..., ij, ..., in ) (3.10)

Для оценки КИС по сумме всех обрабатываемых документов на всех этапах обработки этой партии предлагается применить комплексный показатель следующего вида

(3.11)

где Kj, Ki, K - сумма столбцов, строк и всех элементов матрицы (3.9), которые являются соответственно числом неуспешных испытаний n документов на j-м этапе, i-й последовательности документов на m этапах, общим числом неуспешных испытаний. Эти величины могут быть применимы для определения значений, например, фактических, единичных, групповых, интегральных, относительных и других видов показателей оценки качества функционирования ИС.

В случае, когда результаты испытания ИС представляются случайной величиной ij , которая может принимать только два значения (3.8), то

P(ij =1) = P(E1) = 1 - P(Eo) (3.12)

является вероятностью успешной работы ИС и соответственно

P(ij =0) = P(E0) = 1 - P (E1) (3.13)

является вероятностью отказов, неуспешной работы ИС.

Исходя из существа рассматриваемой задачи, наиболее целесообразным и приемлемым представляется регистрация и измерение случайных событий E0, характеризующих отклонение ИС от установленных требований вероятностью P(E0), идентифицируемых частотой дефектов Kij в выборке документов n, взятых по этапам технологии m. Поэтому для отображения качества ИС в нашем случае лучше принять вероятность ее успешной работы по формуле (3.12), чем вероятность отказов (дефектов) - неуспешной работы по формуле (3.13). Следует отметить, что принципиального значения подобный выбор в измерении качества не имеет, так как оценку качества можно выполнить как тем, так и другим способами.

Эффективной оценкой для Pj(E0) является величина

(3.14)

Оценивая результаты испытаний на каждом этапе, получаем последовательность оценок

P1*( E0), ..., Pj*( E0), ..., Pm*( E0). (3.15)

Если предположить, что от этапа к этапу ИС улучшается, то оценки (3.15) с увеличением количества испытаний по вероятности будут приближаться к неизвестному значению вероятности P(E0), величина которой зависит от способности ИС находиться в состоянии, соответствующем установленным требованиям по качеству.

Важной оценкой P(E0) является величина интегрального характера

(3.16)

где k определяется по формуле (3.11).

Тогда P1*(E0) , ... , Pj*(E0) , ... , Pm*(E0) и, следовательно, их оценки (3.15) должны иметь тенденцию к улучшению, так как КС УКИС после некоторого объема наблюдений (измерений) в реальном масштабе времени определит необходимые мероприятия, направленные на улучшение КИС. Поэтому можно предположить, что значения фактических показателей качества (3.16) будут хуже на первоначальных этапах и выше на завершающих. По этой формуле может вычисляться средневзвешенное значение по всем этапам ИС относительно единичных, групповых и других значений показателя качества.

3.2 Модель определения состава показателей качества информационных систем

В рамках обобщенной модели СКИС рассмотрим теперь более конкретное развитие модели оценки качества ИС с позиций принципов квалиметрии [1,73]. Это рассмотрение целесообразно проводить с учетом требований к оценке качества ИС, рассмотренных в разделе 2.2.

Дефекты ИС могут быть заданы случайными величинами, каждая из которых характеризуется временем и (или) стоимостью обнаружения и исправления дефекта и отображаемые статистической структурой в соответствии с формулами (3.9) и (3.10). Исходя из характера ИС, наиболее приемлемым представляется провести сбор данных выборочно комбинированным методом. По каждому этапу должны быть взяты репрезентативные выборки серий обрабатываемых документов. В целях обеспечения репрезентативности, в частности, относительно запаздывания документов, сбор сведений можно выполнить с использованием технологических журналов регистрации поступления документов (пачек документов) по этапам, если таковые имеются в наличии. При условии сбора и регистрации сведений статистические данные о состоянии ИС подвергаются обработке на ЭВМ. Выбор пакета прикладных программ определяется целями оценки, характером решаемых задач, имеющимся парком ЭВМ и набором имеющихся пакетов.

Классификация дефектов и получение на этой основе состава и содержания показателей качества ИС могут быть выполнены методом агломеративного кластер-анализа посредством реализации соответствующих программ с применением ЭВМ. Исходя из существа кластер-анализа, дефекты, оказавшиеся в одной группе, должны быть сходными между собой, а дефекты, принадлежащие разным классам, разнородными, относящимися к различным ветвям дерева классификации. Критерием разнородности выберем некоторую метрику, посредством которой дефекты могут быть объединены в некоторый класс по количественному критерию сходства (различия) классифицируемых дефектов. Можно использовать различные критерии, например, евклидово расстояние [118,141,188]. Определение состава первичных показателей качества ИС выполним посредством агломеративного кластер-анализа. По существу кластер-анализа, дефекты, сходные между собой, должны быть в одной группе, а дефекты, принадлежащие разным классам, разнородными, относящимися к разным ветвям дерева классификации.

Пусть множество D={} отображает выборку, состоящую из дефектов, регистрируемых по этапам ИС. Имеется некоторое множество характеристик G={}, присущих каждому из . Количественное измерение j-ой характеристики дефекта обозначим , тогда вектор =[] размерности mx1 будет соответствовать каждому ряду измерений для каждого . Отсюда множество дефектов D располагает множеством векторов измерений , которые характеризуют множество D. Отметим, что множество D может быть отображено как n точек в p-мерном пространстве . Задача кластеризации дефектов заключается в том, чтобы для анализа некоторого целого числа S (s < n) на основе Х разбить множество D на конечное число подмножеств

(3.17)

где , так, чтобы

, i,j (3.18)

. (3.19)

Отправной точкой для определения состава и содержания показателей качества ИС является получение укрупненных классов дефектов, сформированных в результате кластеризации. Априори можно предположить, что в результате будут получены классы дефектов соответствующих оценкам по достоверности, полноте, своевременности и др.

Для дальнейшего рассмотрения существа иерархической агломеративной классификации статистической структуры дефектов ИС с учетом подходов к кластер-анализу, изложенных в [20,51,67,76,98], конкретизируем обозначения дефектов и процесс их кластеризации: - элементы (дефекты) матрицы исходных данных Х (ведомость дефектов), где i=1,2,..,n - номер строки (шифр, код дефекта), j=1,2,…,m - номер столбца (шифр, код признака - время и/или стоимость обнаружения и исправления дефекта); - среднее значение признака для n дефектов (среднее по столбцу j), определяемое по формуле

= (3.20)

-среднее квадратическое отклонение признака xj, определяемое по формуле

(3.21)

затем определяется - нормированный элемент матрицы Х

=()/ (3.22)

после чего матрица дефектов Х заменяется матрицей Z. Затем вычисляются всевозможные расстояния - квадрат евклидова расстояния между дефектами i и k.

=. (3.23)

После подсчета расстояния для всех пар дефектов матрица Z заменяется симметричной матрицей Q (матрица расстояний). На основе этой матрицы проводится кластеризация. Вначале кластеризации каждый дефект обозначается как отдельный кластер. На первом шаге кластеризации определяется пара дефектов, расстояние dij между которыми минимально. Эти дефекты объединяются в один кластер, в матрице расстояний «вычёркиваются» строка и столбец, соответствующие первому из этих дефектов. Затем матрица расстояний рассчитывается вновь, так как расстояние пары дефектов нового будущего кластера может измениться относительно оставшихся в матрице расстояний дефектов.

На втором шаге процедуры в матрице расстояний, уменьшенной на одну строку и один столбец, снова определяется минимальное расстояние и формируется новый кластер. Этот кластер может быть сформирован в результате объединения либо двух дефектов, либо одного дефекта с кластером, сформированном на первом (предыдущем) шаге. Снова в матрице расстояний вычёркивается одна строка и один столбец, снова пересчитывается матрица расстояний и т.д. После выполнения каждого шага число кластеров уменьшается на единицу, а матрица расстояний уменьшается на одну строку и один столбец.

Алгоритм заканчивает работу тогда, когда все дефекты будут объединены в один общий кластер, т.е. при условии сформирования ствола дерева классификации. При получении на ЭВМ распечатки дендрограммы можно будет путем анализа выявить состав и свойства классов дефектов. С учетом состава и свойств сформированных классов дефектов будут определяться показатели качества ИС. Более расширенное рассмотрение кластер-анализа статистической структуры дефектов ИС представлено в [98, 140].

Полученные в результате кластеризации однородные статистические структуры должны быть подвергнуты дальнейшей обработке на ЭВМ с целью получения статистических параметров, в частности, средних выборочных, среднеквадратических отклонений, оценок параметров в виде доверительных интервалов, выполняемых по векторам времени и стоимости. Кроме того, могут быть определены также типы эмпирических распределений случайных величин по времени и стоимости, наиболее согласующиеся с теоретическими [188].

В результате дальнейшей обработки должны быть получены оценки математического ожидания по времени и по стоимости относительно классов дефектов. Для этого потребуется определить также количество дефектов по их видам и этапам, на которых они зарегистрированы. Кроме того, на ЭВМ должны быть обработаны данные по причинам-факторам, обусловившим возникновение дефектов.

В результате измерения и обработки данных на ЭВМ получится определенный объем информации о качестве ИС. Затем, с целью рационализации дальнейшей работы, информацию о качестве необходимо представить в удобной для восприятия форме, т.е. в виде набора унифицированной технологической документации.

3.3 Модель расчета значений показателей оценки качества информационных систем