Теоретико-методологические основы качества информационных систем

При измерении качества ИС центральным аспектом является выявление и регистрация интенсивности свойств ИС. Для решения задач измерения качества ИС становится недостаточным традиционного понимания интенсивности свойств в измерении [67]. Необходимо более полное и инструментальное представление этого аспекта. Так, например, для решения задач экспериментального определения состава показателей качества ИС методом кластер-анализа необходимо измерение каждого дефекта по ряду шкал. В нашем случае это могут быть количество, время и стоимость обнаружения и исправления дефекта и др.[83,84,118,144].

Для обеспечения сопоставимости результаты измерений должны удовлетворять требованиям единства измерений. «Единство измерений качества ИС - это способ измерений, при котором значения измеряемых однородных величин отображаются в общепринятых единицах, обеспечивающих сопоставимость результатов измерений». Точность измерений и, следовательно, численных оценок сложных свойств ИС оценивается через погрешность измерений. Погрешности измерения могут обусловливать применяемые методики измерения, погрешности приборов, свойства процесса измерения, и др. С учетом трактовки термина «измерение качества ИС» примем «погрешность измерения качества ИС - это отклонение результата измерения качества от истинного значения измеряемой величины ИС». На основе рассмотрения измерения можно дать трактовку этого понятия «измерение качества информационной системы - это совокупность процедур, выполняемых при помощи средств измерений с целью нахождения численных значений свойств информационной системы в принятых единицах измерения».

Очень важной составляющей СКИС является оценка качества ИС. В моделировании и решении задач оценки качества используются эвристический, экспертный и аналитический подходы, базирующиеся на измерительном, расчетном, наукометрическом и социологическом способах получения значений показателей качества [1,101,220]. Эвристический метод строится, в основном, на базе профессионального опыта, интуиции, эвристики исследователя и не свободен от субъективности. Однако в определенных случаях он может выступать как единственно возможный метод определения показателей качества ИС, например, на этапе пилотажного исследования вопросов оценки качества ИС, необходимости экспресс-оценки качества.

Не отрицая положительных сторон экспертного метода в оценке качества, например, объектов вкусового, парфюмерного характера, отметим следующее. Необходимость привлечения группы высококвалифицированных специалистов, с одной стороны, рост количества и усложнение ИС, с другой, существенно ограничивают перспективность экспертного метода в оценке КИС. В экспертной оценке фактор субъективности является сравнительно более высоким, чем в аналитических методах [98]. Кроме того, имеется ряд задач, которые по определенным условиям нецелесообразно решать силами экспертов [155,194], например, жесткие ограничения по времени, по адекватности состава показателей качества, точности фактических значений показателей и др. Вместе с тем, имеются определенные задачи, решение которых целесообразно поручить экспертам. Так, например, представляется целесообразным определение экспертным путем формулирование основных параметров ИС на этапе пилотажного изучения её качества и др.

Расчетно-аналитический метод в СКИС представляется более адекватным [121]. Здесь состав и значения показателей качества определяются путем непосредственного, прямого наблюдения, регистрации и измерения состояния реально функционирующего объекта качества - ИС. Оценка выполняется на основе набора значений показателей качества, которые по агрегированию отображаемых свойств ИС составляют иерархическую систему.

Опорным понятием в оценке качества ИС является «показатель качества». В методологии оценки доминирующей задачей является определение системы показателей оценки КИС. На этой базе проводится последующие расчет значений показателей и оценка качества ИС. Важным этапом в оценке качества является получение значений единичных фактических показателей, так как с учетом указанных значений определяются значения других показателей, привлекаемых для оценки. Наиболее трудной задачей является определение адекватных первичных показателей, которые бы обладали способностью отражения не только содержания свойств системы СКИС, но также и проявления интенсивности и масштабности этих свойств. Наиболее рациональным определение показателей представляется в нашем случае путем прямого наблюдения и регистрации дефектов по этапам, участкам, устройствам ИС. С учетом сравнительно больших объемов обрабатываемой информации в ИС регистрацию дефектов целесообразно выполнить выборочным методом. Эффективность регистрации дефектов и последующее решение задачи определяется регламентом, например, методикой заполнения «Ведомости выявленных дефектов ИС» [97]. Состав показателей может быть определен путем устранения неоднородности статистической структуры дефектов, например, кластер-анализа, дискриминантного анализа и др. [20,50-52,181].

Оценка качества ИС проводится в соответствии с общими принципами СКИС. Вместе с тем целесообразно определить и собственные принципы оценки:

1. Обоснованность оценки качества ИС. Оценка качества выполняется только для такой ИС, которая способна выполнять полезные функции в соответствии с ее назначением. Если ИС не соответствует основным требованиям, например, её продукция никем не востребована, то оценка ИС становится проблематичной.

2. Системность оценки качества ИС. Оценка качества производится не отдельным показателем, а посредством системы показателей. Система показателей имеет свойство иерархичности. Показатель любого уровня обобщения определяется соответствующими показателями предшествующего иерархического уровня. Самым низким иерархическим уровнем показателей следует понимать единичные показатели. Более высокие иерархические уровни составляют групповые, интегральные, обобщенные и комплексные показатели качества.

3. Унифицированность единиц измерения качества ИС. При оценке качества двух и более ИС все разноразмерные показатели должны быть преобразованы и выражены в унифицированных системных единицах измерения.

4. Обязательность определения весомости показателя качества ИС. При определении обобщённого показателя качества важность каждого показателя отдельного свойства должна быть отображена коэффициентом его весомости.

5. Определенность суммы значений коэффициентов весомости. Сумма численных значений коэффициентов весомости всех показателей качества ИС на иерархических ступенях оценки имеет одинаковое значение, например 1, или 100%.

6. Учет эмерджентности в оценке качества ИС. Качество ИС обусловлено качеством её составных частей. При рассмотрении качества ИС в целом соблюдается условие ее эмерджентности, то есть на этапе синтеза ИС формируются её новые свойства, которые не принадлежат ни одному из элементов ИС в отдельности.

7. Устранение дублирующих показателей. При количественной оценке качества, особенно по комплексному показателю ИС, недопустимо использование дублирующих показателей одного и того же свойства.

8. Обязательность эталона качества ИС. Квалиметрия ИС и её продукции не может быть выполнена без наличия эталона ИС, как компонента относительной оценки. Относительная величина значений показателя качества определяется путем отношения фактического значения показателя к его базовому (эталонному) значению.

9. Приоритет заказчика в оценке качества ИС. В задачах практической оценки качества ИС и ее продукции приоритет в выборе определяющих показателей остается за рациональным потребителем, а не за производителем (разработчиком). В силу того, что полезный эффект от ИС достигается при её эксплуатации, то при оценке качества преимущественно используются показатели потребителя. Эти показатели отражают способность ИС соответствовать своему назначению, удовлетворять информационные потребности пользователя.

10. Достоверность оценки качества ИС. Оценка КИС обязана давать практике обоснованные и полезные методы достоверной квалифицированной и количественной оценки качества различных классов ИС. В отношении оценки качества информационной продукции проблема состоит в том, что у потребителей и производителей продукции интересы существенно различаются. Производитель не всегда заинтересован и часто не может создавать продукцию нужного качества, а продавать ее он стремится по наиболее высокой цене. Потребитель же заинтересован в дешевой продукции, но хорошего качества. Поэтому указанные подходы к оценке качества продукции могут быть разными. Методы и средства оценки КИС должны обеспечивать достоверность оценки, отвечать методологическим принципам СКИС, учитывать общественные интересы, гармонизировать интересы потребителей и производителей.

11. Универсальность оцениваемых свойств ИС. В контексте маркетинга в квалиметрии ИС приоритетным является определение потребительских свойств ИС не отдельным потребителем, а группой потребителей. Существуют универсальные и специфические свойства ИС. Объективно присутствует условие универсальности потребительских свойств, которое проявляется в наличии людей с пересекающимися требованиями к ИС. В силу объективности свойств ИС следует учитывать и случаи необходимости учета отдельного заказчика с его индивидуальными требованиями к ИС и ее компонентам, например, к программному обеспечению.

12. Ограниченность состава свойств ИС. В методологическом аспекте невозможно выявить полный (абсолютный) состав свойств, а следовательно и состав показателей КИС. В практической задаче количественная оценка качества осуществляется по редуцированному ряду наиболее значимых, определяющих, репрезентативных показателей. Редукция и достаточность состава показателей определяется условиями решения конкретной задачи оценки качества ИС.

13. Оценка качества ИС базируется на измерении качества через количество. Квантификация свойств ИС происходит путем придания числовой формы интенсивности проявления свойств, как отдельных компонент ИС, так и ИС в целом.

Вышеперечисленные методологические принципы оценки качества ИС не исчерпывают всех концептуальных положений этой задачи. Однако эти принципы являются основополагающими при решении общих и частных вопросов, связанных с методами оценки качества ИС.

Одним из сложных вопросов оценки качества является проведение сопоставительного анализа объективных свойств различных ИС в контексте субъективных во многом потребностей отдельных специалистов и их групп. Очевидно, что значительной категорией оценки качества ИС является понятие о потребностях специалистов в определенном качестве ИС и ее продукции и о количественной оценке этих потребностей. Потребность в информационной продукции требуемого качества - это то, что испытывают специалисты для решения своих профессиональных задач. Эти потребности конкретны и имеют свои границы.

Исходя из жизненного цикла ИС, оценка качества может быть выполнена на этапе ее проектирования, на этапе ее построения, на этапе ее эксплуатации и развития. Кроме того, оценка качества ИС может быть выполнена и на этапе выбора лучшего варианта среди других объектов подобного класса. Определить количественную значимость оценки качества по всем фазам жизненного цикла в настоящее время представляется проблематичным. В настоящее время еще не созданы методические средства, обеспечивающие адекватную оценку вышеуказанной значимости [98]. Вместе с тем, в практическом отношении чаще всего занимаются оценкой качества ИС на этапе ее эксплуатации, то есть проводится оценка качества реально функционирующей ИС, так как фаза эксплуатации ИС является наиболее прагматичной и длительной в жизненном цикле ИС.

С учетом вышеизложенного можно сформулировать основные требования к методике оценки качества ИС:

1. Определение расчетно-аналитическим путем обоснованного набора показателей качества, измеряемых в количественной форме, с возможностью применения ЭВМ.

2. Объективность оценки уровня качества и определение степени соответствия качества ИС установленным требованиям.

3. Сопоставимость значений показателей качества ИС, как по периоду времени эксплуатации отдельной ИС, так и нескольких ИС определенного класса между собой.

4. Возможность выбора предпочтительного варианта ИС в соответствии с заданными критериями качества.

5. Установление обоснованного подхода к разработке требований к модернизации эксплуатируемых и в определенной мере будущих (проектируемых) ИС.

6. Выявление и анализ факторов, влияющих на уровень качества ИС.

7. Обеспечение разработки организационно-технических и информационно-технологических мероприятий в решении задач совершенствования качества ИС.

В оценке качества ИС наиболее адекватным представляется расчетно-аналитический подход, базирующийся на измерительном и расчетном способах получения показателей качества [113,121]. При расчетно-аналитическом методе состав и значения показателей формируются по результатам непосредственного, прямого наблюдения, регистрации и измерения состояния реально функционирующего объекта качества, то есть ИС. С учетом вышеуказанных принципов и требований к оценке качества рассмотрим порядок применения аналитического метода оценки качества ИС в аспекте функционирования системы СКИС.

В результате измерения КИС должен быть получен набор числовых величин, характеризующих КИС, например, количество искажений (ошибок) в значениях обрабатываемых документов на этапе ввода данных в ЭВМ, стоимость обработки информации по элементарной акции, например «запрос-ответ» и др. Значения характеристик определяются с учетом параметрических и функциональных свойств контролируемой ИС [73,81,213]. Параметры всегда находятся в рамках определенной измерительной шкалы. Тип шкалы выбирается в зависимости от состава и содержания задачи оценки качества.

После измерения выполняется оценка качества ИС. При оценке качества ИС следует учитывать, что она всегда предназначена для применения в различных формах, в частности, для реализации как товар. При купле-продаже качество ИС выступает как предопределяющий фактор рыночного процесса и практической экономики ИС. В состав этой экономики включены проектирование, продажа и эксплуатация ИС, в том числе ЭВМ, программное обеспечение и др. Оценка КИС проводится для решения следующих основных задач:

· обеспечение и управление качеством ИС и ее продукции;

· аттестация ИС и ее компонентов;

· выбор наилучшего варианта ИС;

· контроль качества;

· анализ изменения уровня качества;

· планирование оргтехмероприятий по улучшению качества ИС и др.

Перед оценкой КИС устанавливают цель определения уровня качества ИС. Цель предопределяет метод аналитической оценки КИС. При этом первоначально классифицируют оцениваемую ИС. Примером аналитической оценки может быть редуцированная классификация свойств ИС (таблица 2.3).

Важным этапом в аналитической оценке КИС является рассмотрение результатов функционирования ИС. К основной форме результата ИС относятся различные категории информационной продукции и услуг (таблица 2.5). Продукция и услуги

Таблица 2.5

Классификация информационной продукции и услуг

ИС в определенных условиях предоставляются на рынок для получения прибыли от эксплуатации ИС. Таким образом, информационную продукцию и услуги в принципе можно идентифицировать как информационный товар с разнообразными содержанием и формами. Товар проходит систему производства, распределения, обмена и потребления в экономической сфере.

Разумеется, данная классификация не отображает полного состава свойств, характеризующих продукцию и услуги ИС. Каждый из этих свойств может быть детализирован в отдельную ветвь классификационного дерева. Имеется связь между деревом классификации информационной продукции и «деревом целей» системы СКИС. Указанные в таблице классы формируются, в основном, через выделение свойств, которые присущи информации, составляющей содержательную часть информационной продукции. При этом каждая единица продукции является носителем кортежа свойств (признаков) соответствующих классов. Например, аналитический обзор финансового рынка консультационной фирмы, подготовленный по заказу предприятия, может быть представлен заказчику с нарушением срока, содержит информацию по неполному составу аспектов обзора и т.д.

Очень важно в решении задач СКИС в процессе выделения свойств информационной продукции провести идентификацию информационного продукта как источника информации [6], в частности, определение атрибутов выпускника вуза в «БД-выпускник», экспоната в информационно-выставочной системе, термина в глоссарии, структуры отображения источника учебной и научной информации (ИУНИ) и др. [59,89,90,167,168,187,222]. Идентификация существенно улучшает структурированность источника, его информативность, прагматику и повышает тем самым конкурентоспособность среди определенных классов ИС. Для обеспечения этих условий, например, ИУНИ, как продукт функционирования ИС, должен иметь следующие структурные компоненты:

1. Определение понятия рассматриваемого вида документа.

2. Классификацию вида документа.

3. Определение назначения документа (цель, задачи, функции).

4. Описание структуры документа.

5. Описание технологии получения (обработки) документа.

6. Электронные базы данных, массивы, архивы, хранилища документов и адрес хранения.

7. Характеристику сравнительной эффективности документа в общей структуре документации и информации.

Проведенная идентификация относительно структуры ИУНИ позволяет существенно улучшить качество процесса отображения и коммуникации в системе информационных ресурсов, в частности, в высшем образовании и науки [90].

Выбор определяющих признаков для классификации информационной продукции с целью выделения свойств и определения этапов оценки ее качества является задачей СКИС. Оценка КИС состоит из следующих основных этапов:

1. Определение цели оценки КИС.

2. Определение набора показателей качества оцениваемой ИС и базового варианта ИС, обоснование репрезентативности набора показателей.

3. Выбор или разработка способов расчета (составление формул) значений показателей качества ИС.

4. Выбор и определение базовых значений показателей качества и поиск исходных данных для расчета фактических значений показателей качества оцениваемой ИС.

5. Расчет фактических значений показателей качества ИС и их сопоставление с базовыми значениями.

6. Оценка уровня качества функционирования ИС.

В основе оценки качества функционирования ИС лежит система показателей. Её можно представить в виде классификационного поля (таблица 2.6). В данной

Таблица 2.6

Классификация показателей оценки качества ИС

классификации основания деления выбраны с учетом их важности и частоты применяемости. В основе оценки качества лежит распознавание разносторонних свойств ИС - «свойство ИС - это объективная характеристика, отображающая отдельную сторону качества ИС». Количественная оценка качества ИС выполняется посредством выделения количественной формы проявления свойств, в частности, такой категории как параметр - «параметр качества ИС - это количественная величина, отображающая интенсивность проявления отдельного свойства ИС». С учетом взаимосвязи выделенного параметра определим понятие «показатель качества ИС - совокупность параметров, отображающая количественную характеристику свойства ИС, и обеспечивающая оценку определенной стороны качества ИС».

В иерархической системе показателей низший уровень занимают единичные показатели - «единичный показатель качества ИС - это количественная характеристика одного из свойств ИС, значение которой определяется на основе набора соответствующих параметров». Примером может служить значение достоверности информации по определенному виду обрабатываемой документации на отдельном этапе технологии обработки данных ИС. На основе единичных показателей могут быть построены групповые показатели качества ИС. «Групповой показатель качества ИС - это количественная характеристика качества ИС, значение которой определяется на основе набора единичных показателей ИС». Например, определить значение группового показателя можно путем расчета средневзвешенного значения своевременности обработки данных определенного вида документов по набору этапов технологического процесса ИС. На базе групповых показателей определяются значения интегральных показателей. «Интегральный показатель качества ИС - это количественная характеристика качества ИС, значение которой определяется на основе набора групповых показателей ИС». Так, например, средневзвешенная сумма значений показателей достоверности, полноты и своевременности информации отображает значение комплексного показателя качества по групповым фактическим, базовым и относительным показателям ИС.

Важную роль в квалиметрии ИС играют обобщенные показатели. Обобщенный показатель, как правило, отображает несколько свойств ИС и учитывает взаимовлияние параметров весомости всех входящих в него групповых (абсолютных или удельных) показателей». «Обобщенный показатель качества ИС - это количественная характеристика качества ИС, значение которой определяется функциональной зависимостью от набора значимых свойств ИС, близких по весомости и содержанию». В конкретных моделях определения значений обобщенных показателях весомость отображается через коэффициенты весомости того или иного показателя, включенного в структуру модели обобщенного показателя. Функциональная зависимость может быть отображена различными средствами, например, моделью регрессионной зависимости. Весомость в данном случае может быть отображена в форме удельных показателей, например, достоверность данных в рамках шкалы от 0 до 1. В форме абсолютных показателей весомость может быть представлена количеством дефектов по определенным показателям качества, например, достоверности, полноты, своевременности обработки информации и др. «Коэффициент весомости показателя качества ИС - это количественная характеристика значимости определенного показателя качества ИС в системе показателей ее качества».

На основе групповых, интегральных, обобщенных и других показателей можно определить значения комплексных показателей качества ИС. «Комплексный показатель качества функционирования ИС - это количественная характеристика качества ИС, значение которой определяется как средневзвешенная арифметическая величина набора различных по содержанию, но сопоставимых по измерению показателей качества ИС». В принципе комплексный показатель может быть определен по набору свойств на уровне отдельных компонентов (подсистем), ИС в целом и (или) набору ИС. Так, например, значение этого показателя можно рассчитать по набору базовых интегральных и обобщенных показателей, отображающих набор различных свойств ИС, но измеряемых по удельной шкале.

Очень часто приходится решать задачу оценки КИС по отдельному показателю, который играет доминирующую роль и является определяющим в системе показателей качества ИС. «Определяющий показатель качества ИС - это количественная характеристика качества ИС, по которой принимается окончательное решение об оценке качества ИС». Назначение статуса определяющего показателя может получить показатель, занимающий верхний уровень иерархии в системе показателей качества ИС. Чаще всего этот статус приобретают комплексные, обобщенные и интегральные показатели. В процессе совершенствования качества ИС в роли критерия может быть выбран, например, или обобщенный показатель производительности ИС, или интегральный показатель относительного уровня качества ИС и др. Выбор определяющего показателя обусловлен в большей степени прагматикой решения задач оценки и зависит от пространственно-временных характеристик конкретной задачи оценки. При оценке качества ИС в роли определяющего показателя может быть применен «показатель экономической эффективности - это отношение суммарного эффекта от эксплуатации ИС к суммарным затратам на её создание и эксплуатацию».

К разряду определяющих показателей качества ИС можно причислить «относительный показатель качества ИС - это отношение фактического значения показателя качества ИС к базовому значению этого показателя». Для общей оценки качества ИС по системе показателей в целом может быть применен показатель «относительный уровень качества ИС» или «уровень качества ИС - относительная характеристика качества ИС, получаемая путем сопоставлении фактических и базовых значений показателей качества ИС». С учетом сформулированного ранее определения понятия «оценка качества функционирования ИС» дадим определение понятия «оценка уровня качества ИС - это совокупность процедур по выбору номенклатуры показателей качества ИС, расчету фактический значений показателей и сопоставлению их с базовыми значениями эталонной ИС». На основе вышеприведенной дефиниции определим понятия оценки уровня качества отдельных подсистем ИС. Таким образом, «оценка информационного уровня качества ИС - это совокупность процедур по выбору номенклатуры показателей качества, характеризующих информационную составляющую ИС, определению фактических значений этих показателей и сопоставлению их с базовыми значениями», «оценка технического уровня качества ИС - это совокупность процедур по выбору номенклатуры показателей качества, характеризующих техническое состояние ИС, определению фактических значений этих показателей и сопоставлению их с базовыми значениями», «оценка программного уровня качества ИС - это совокупность процедур по выбору номенклатуры показателей качества, характеризующих состояние программного комплекса оцениваемой ИС, определению фактических значений этих показателей и сопоставлению их с базовыми значениями», «оценка организационно-правового уровня качества ИС - это совокупность процедур по выбору номенклатуры показателей качества, характеризующих организационно-правовое состояние ИС, определению фактических значений показателей и сопоставлению их с базовыми значениями».

Так как численный показатель уровня КИС может быть одновременно комплексной, интегральной и обобщенной характеристикой качества, то следует учитывать условие относительности. При расчете количественного значения показателя привлекаются как минимум два параметра качества ИС. Например, расчет достоверности информации, прежде всего, базируется на относительности количества ошибок и объема обрабатываемой информации, содержащего эти ошибки. Фактическое значение показателя должно определяться путем расчета по определенным формулам. В роли базовых значений обычно выступают значения показателей ИС, принятые за эталоны или образцы. Можно сказать, что «базовый образец ИС - это информационная система, представляющая передовые научно-технические достижения в развитии соответствующего класса ИС, и потенциально применяемая как эталон для оценки качества конкретных ИС соответствующего класса». Тогда «базовое значение показателя качества ИС - это значение показателя качества базовой ИС, принятое за основу при сравнительной оценке её качества». По своему назначению близко расположен к базовому значению показателя качества ИС другой показатель - «регламентированное значение показателя качества ИС - это значение показателя, которое устанавливается управляющим органом и фиксируется в нормативной документации».

В решении задач оценки КИС следует учитывать условия отклонений значений показателей качества. Эту особую группу составляют: номинальное значение, предельное значение и допускаемое отклонение показателя качества ИС. «Номинальное значение показателя качества ИС - это регламентированное значение показателя качества, от которого отсчитывается допускаемое отклонение в решении задач оценки качества ИС». По существу номинальное значение выступает в определенных случаях в роли условного базового значения показателя качества ИС. В соответствии с дефиницией понятия «номинальное значение показателя качества ИС» в практических задачах оценки КИС понятие «допускаемое отклонение показателя качества ИС» ничто иное, как степень свободы, или своеобразный «люфт» в задачах управления и оценки КИС. «Допускаемое отклонение показателя качества ИС - это отклонение фактического значения показателя качества ИС от номинального значения, находящееся в пределах, установленных нормативной документацией». Пределы определяются с учетом фактуры показателя и условий решения задачи СКИС. В задачах оценки ИС они обозначают предельные значения показателя. Таким образом, «предельное значение показателя качества ИС - это наибольшее или наименьшее регламентированное значение показателя качества ИС». Так, например, в контрольной карте СКИС предельные значения параметра качества обозначаются линиями пределов области допустимых значений или «фазового пространства ИС» (рис. 5.1).

В практике совершенствования качества ИС часто становится необходимым и важным выполнить оценку качества технического обеспечения ИС - средств вычислительной техники, аппаратуры передачи данных и других технических устройств, входящих в структуру ИС [7, 98, 170]. Качество технической составляющей ИС оценивается показателями ее технического уровня (ТУ) - уровня качества на всех этапах жизненного цикла техники: при проектировании и конструировании, при изготовлении и в процессе эксплуатации. «Технический уровень ИС - это относительная количественная характеристика качества технической составляющей ИС, получаемая путем сопоставления фактических и базовых значений технических показателей качества ИС».

При определении численного значения технического уровня учитывают совокупность технических, технологических, эксплуатационных и других показателей качества. Они призваны отображать степень совершенства технического компонента ИС и его соответствия установленным требованиям. Заметим, что в оценке качества ИС вполне правомерно наличие и такой категории как «экономический уровень ИС». Понятие «уровень качества» относится и к таким категориям как «программное обеспечение» - «программный уровень ИС», «информационное обеспечение» - «информационный уровень ИС», «организационное обеспечение» - «организационный уровень ИС» и др. Эти понятия по своему содержанию входят в вышерассмотренную группу понятия «оценка уровня качества функционирования ИС».

В оценке качества функционирования ИС значимыми оценочными показателями являются показатели работоспособности устройств ИС. В данном случае понятие «устройство» включает в себя широкий спектр: ЭВМ, ее отдельные компоненты, периферийные устройства, изделия, комплексы устройств, сетевые коммуникации, составляющие структуру подсистемы «Техническое обеспечение» ИС и др. Эти показатели могут отображать ТУ, а также могут быть задействованы в качестве исходных для определения комплексных показателей качества ИС в целом. Оценка ТУ отдельного устройства состоит в установлении соответствия мировому, региональному, национальному уровню качества или уровню качества отрасли. Соответствие оцениваемой продукции мировому или другому уровню устанавливается на основе сопоставления качества устройств оцениваемой ИС и соответствующих базовых образцов.

Следующим является этап определения численных значений показателей качества, характеризующих свойства оцениваемых и базовых образцов техники ИС. Этот этап выполняется путем сбора информации, измерений, испытаний, расчетов и т.д. Затем в соответствии с принятым методом оценки ТУ производятся расчеты показателей качества, а потом уровней качества, т.е. технического уровня оцениваемого и базового образца аналогичной техники.

Результаты определений всех показателей качества и технического уровня устройств отражается в специальной карте - «Карта технического уровня и качества изделий» или в сопоставительной «Таблице качества». Данные карты (таблицы) уровня анализируются по специальным методикам, учитывающим специфику устройства. Образцы аппаратных средств ИС для оценки их технического уровня могут иметь несколько градаций (таблица 2.7).

Таблица 2.7

Категории качества технических устройств ИС

Выбор методов и системы показателей для оценки качества относительно узкого класса технических устройств определяется в основном прагматической стороной оценки. Особенно это проявляется в решении маркетинговых задач. При этом можно выявить зависимость, чем проще класс устройств, тем менее обширным и более конкретным представляется состав применяемых показателей для оценки качества. Так, например, были протестированы 7 лазерных принтеров, появившихся на рынке в 2001 году [7]. 1-е место в номинации «Самый качественный принтер» одержал Brother HL-1450 по параметрам - высокая производительность, качество отпечатков и лучшие оценки за базовую конфигурацию. В номинации «Оптимальный принтер» победил Samsung ML-1210. Признак «Оптимальный принтер», в принципе, не противоречит пониманию «Самый качественный принтер». Видимо, такое разделение обусловлено, скорее всего, соображениями стоимостной оценки задачи маркетинга. В частности, при оценке современных модификаций репрографических комплексов по соотношению «производительность/цена» на первое место выходят иногда модификации отнюдь не самые лучшие по производительности [170].

Можно строить и другие структуры критериев и параметров качества отдельных компонентов ИС. Оценка качества программного обеспечения (ПО), как научная и практическая проблема обозначена достаточно давно [10]. Существуют различные взгляды относительно подходов к оценке качества ПО [16,154,156,205,214]. Проводятся работы по интеграции и стандартизации некоторых категорий качества ПО [25,34,43,44,128,133,134,135]. При этом указывается, что эти категории могут быть приняты как рекомендации относительно конкретного ПО. Фирмы-разработчики могут принять собственные системы оценок при условии, что они будут соответствовать общим требованиям стандарта. Отобразим возможные характеристики качества ПО (таблица 2.8).

При решении практических задач создания ИС некоторые фирмы разрабатывают собственные методики оценки качества программных продуктов, имеющихся на рынке. Имеются подходы поэтапной оценки программного продукта. Сначала проводится формирование требований к программному продукту по определенным категориям - общесистемные (адаптивность, система управления доступом к данным и т.п.), функциональные (по подсистемам управления предприятием) и прочие (наличие подробной документации, простота эксплуатации и др.) Затем на основе разработанных требований выполняется непосредственная оценка и выбор программ. Далее принятое ПО оценивается по двум направлении-ям: функциональному и стоимостному. В некоторых случаях комплексной оценки качества программных продуктов их отдельные свойства могут оказаться

Таблица 2.8

Характеристика качества программного обеспечения

принципиальными. Так, например, механизмы файловой системы Unix расцениваются как достаточные для большинства прикладных задач [204,214,224]. Однако специалисты сочли, что существует ряд приложений, где эти механизмы неэффективны, поскольку в них отсутствует понятие качества обслуживания. Для устранения этого недостатка были выделены такие важные прикладные классы свойств: хранение и поиск в непрерывной мультисреде - аудио, видео, анимация. В результате предложена методология анализа файловых систем с позиции качества обслуживания.

Для оценки потребности в хорошем качестве ИС можно допустить, что качество ИС является обобщенным показателем степени её удовлетворения или соответствия требованиям заказчика. Эта степень возможного удовлетворения требованиям первоначально определяется наибольшей ценой, которую платит потребитель за лучший, с его точки зрения, информационный товар. А лучшей для каждого потребителя ИС будет та, которая дает возможность получить наибольший положительный эффект при меньших затратах. Удовлетворение потребности в ИС характеризуется ее полезностью. Полезность, в свою очередь, оценивается потребительной стоимостью, обусловленной, в основном, потребительскими свойствами. Совокупность основных потребительских свойств составляет определенное качество ИС. Следовательно, потребность взаимосвязана с качеством через назначение, полезность, потребительские свойства и потребительную стоимость ИС. Можно считать, что «экономическая оценка качества ИС - это совокупность процедур по определению экономического уровня ИС путем соотношения достигаемого положительного эффекта к суммарным затратам на приобретение или создание и эксплуатацию ИС».

В оценке качества интерес представляют аспекты оптимизации качества ИС, в частности, оптимальное значение показателя - «оптимальное значение показателя качества ИС - это значение показателя качества ИС, при котором достигается наибольший эффект от эксплуатации ИС при заданных ограничениях на её эксплуатацию». Некоторые проекты создания и развития комплексных ИС оцениваются в 1 и более млн. долларов [200]. Разработчик желает получить максимум экономической отдачи от произведённых инвестиций на создание ИС. Здесь могут иметь место и другие условия оптимальности - заданный эффект при наименьших затратах [15]. При оценке КИС можно предположить, что лучшие параметры качества обеспечиваются понижением себестоимости обработки данных. Затраты на единицу продукции могут быть минимизированы при оптимальном уровне качества. Сопоставляя затраты можно определить оптимальные параметры качества ИС, которые обусловят минимальные суммарные затраты на создание и эксплуатацию ИС (рис. 2.1).

Если на рисунке отложить линию экономического эффекта от эксплуатации ИС, то картина оптимизации параметров качества будет более полной. В определенных случаях улучшение качества может и не совпадать с требованием оптимизации суммарных затрат на весь жизненный цикл ИС. Если принимать иллюстративно рассматриваемое здесь условие оптимальности за принцип, то улучшение качества может стремиться лишь до границ оптимального состояния. Тогда процесс развития теории и практики СКИС может зайти в тупик. Следует учитывать, что оценка качества ИС категория многокритериальная. Улучшение качества ИС не может измеряться только экономическими показателями. Комплексное и непрерывное улучшение качества ИС способствует повышению престижа фирмы, улучшает психологический климат, что иногда трудно или невозможно измерить только стоимостными категориями.

Y - Затраты (руб. на единицу работы)

Параметр качества X

Обозначения: - эксплуатационные затраты на весь период эксплуатации ИС; - затраты на создание ИС (НИР, проектирование и построение); - суммарные затраты на жизненный цикл ИС; - критерий оптимальности.

Рис. 2.1. Оптимизация значений показателей качества ИС

Корректность решения задачи КИС в аспекте оптимизации, на наш взгляд, требует выверенного подхода. Признавая полезность оптимизации ресурсов, например, относительно загрузки и времени работы аппаратных средств и других задач следует отметить следующее. Необходимость оптимизации как принципа СКИС в аспекте качества управления социальными объектами представляется на данном этапе сомнительной. Это касается, прежде всего, таких ИС, функционирование которых непосредственным образом связано с жизнедеятельностью и безопасностью людей [3,46,149,159]. Более того, по мнению Росса Г.В. эффективность многомерно измеряемых организационно-экономических систем в пространстве показателей качества обусловливает практическую невозможность строгого решения задачи оптимизации этих систем [172].

В решении задачи оценки КИС принципиальное значение имеет определение системы показателей оценки. В квалиметрии ИС уровень качества в значительной мере определяется статистикой дефектов ИС и её компонентов. Анализ структуры дефектов может обеспечить выделение основных показателей качества, их весомость, факторы, влияющие на качество ИС и др. На аксиоматическом уровне гипотетически можно предположить, что статистическая структура дефектов будет неоднородной. Это затруднит последующее уточнение природы дефектов, их типизацию и определение состава и значений показателей качества. В методологическом отношении неоднородность какой-либо совокупности можно устранить путем классификации [83,98,121,122]. В решении задач классификации применяются, например, такие способы классификации - монотетический, политетический, кластер-анализ.

Первые два способа относятся к группировке соответственно по одному и нескольким признакам классифицируемых объектов. Чаще всего группировка выполняется по произвольным признакам, и она не всегда свободна от субъективности исследователя. Монотетическая классификация выполняется сравнительно небольшими трудозатратами. Политетическая классификация проводится по нескольким признакам и в логическом отношении более адекватна. Однако иногда политетическая классификация по большому объему признаков в определенных случаях становится неразрешимой, как в содержательном, так и в ресурсном отношениях.

Способы кластерного анализа основаны на более строгой количественной оценке признаков классифицируемых объектов и в этом плане являются более предпочтительными относительно первых двух способов. Способы кластер-анализа разделяются на два класса - агломеративные и дивизивные [20,51,87,105]. Агломеративная классификация результируется произвольным количеством кластеров. В дивизивной классификации разбиение может происходить на заданное исследователем количество кластеров. Кластеризация может быть выполнена по сравнительно большому объему классифицируемых объектов и оснований деления, то есть критериев разбиения.

В нашем случае наиболее целесообразным представляется классификация дефектов по двум признакам - времени и стоимости обнаружения и исправления дефектов или по одному из них [91,140]. Поскольку объем выборки дефектов может быть довольно значительным, то классификация посредством кластерного анализа в данной задаче представляется более адекватной. При условии обширной выборки дефектов и трудоемкости алгоритма выполнение кластерного анализа проводится с применением ЭВМ и соответствующих программ. Поскольку статистическая структура дефектов в нашем случае является неоднородной и априори нам неизвестно, какие группы (классы) дефектов могут проявиться, то автоматическую классификацию дефектов целесообразно выполнить по агломеративной иерархической схеме. По результатам кластеризации полученные классы дефектов могут обеспечить определение соответствующих видов показателей. Затем классы дефектов могут быть подвергнуты статистической обработке на ЭВМ с целью получения значений единичных и групповых фактических показателей. Такими значениями могут быть, например, вероятность дефекта достоверности, среднее выборочное дефекта достоверности по времени и стоимости обнаружения и исправления, взятые по отдельным этапам и по ИС в целом.

Адекватность оценки в значительной мере зависит от возможности сравнения ИС и соответствующих показателей между собой. Сравнительность может быть показана через уровень качества, определяемый как отношение фактических и базовых значений показателей соответствующего вида [98]. Отсюда, одним из ключевых этапов оценки качества является определение фактических и базовых значений показателей для оценки качества ИС. В теоретическом ракурсе эта задача может быть идентифицирована, рассмотрена и возможно решена в рамках так называемого концептуального метамоделирования, рассматриваемого как теоретико-методологическая основа взаимоотношений материального и идеального миров [160]. Решение задачи предполагает прохождение нескольких этапов с выполнением теоретических и практических работ.

В квалиметрии ИС в роли значений базовых показателей целесообразно применять значения, достигнутые в условиях передового отечественного и зарубежного опыта разработки и эксплуатации так называемых «эталонных» ИС. Эти значения и (или) требования к параметрам качества ИС должны указываться в нормативно-технической документации, в частности, международных стандартах, ГОСТах, ОСТах, СТП, технических требованиях, руководящих технических материалах. К сожалению, указанные категории нормативной документации, по причине недостаточной разработанности проблемы, редко, а иногда и вовсе не содержат значения базовых показателей качества ИС.

На первоначальном этапе функционирования системы КИС в роли значений базовых показателей можно взять значения лучших отечественных и зарубежных ИС [98], по которым имеются достоверные сведения по их качеству. Кроме того, за исходные значения могут быть приняты планируемые значения показателей в перспективе эксплуатации ИС, или найденные экспериментальным или теоретическим путем. На последующих этапах эксплуатации ИС, при условии репрезентативной выборки статистических данных о значениях показателей качества ИС, то есть достигнутые значения показателей в предыдущих периодах времени, можно будет получить значения базовых показателей расчетным способом.

Значения интегральных показателей могут быть определены как средневзвешенные величины. Эти величины принимаются соответственно по единичным, групповым, базовым, относительным показателям качества. Значения показателей могут быть просчитаны как по отдельным этапам, так и в целом по ИС. Значения групповых показателей могут быть взяты по набору единичных показателей, входящих в систему показателей, принятых в целом для ИС. Таким образом, эти групповые показатели будут отображать как иерархичность, так и многосвязность свойств.

Значения обобщенных показателей по своей природе зависят от соответствующих фактических значений единичных и (или) групповых показателей, то есть находятся в причинно-следственной связи. С учетом содержания таких обобщенных показателей как, например, производительность технологического процесса ИС и себестоимость обработки информации можно сказать, что они взаимосвязаны и в значительной мере зависят от дефектов обработки. Определить значения производительности и себестоимости можно путем установления функциональной зависимости между значениями обобщенных показателей, с одной стороны, и значениями показателей, формируемых с учетом дефектов обработки по достоверности, полноте, своевременности, с другой. Априори можно предположить, что указанная зависимость может существовать в форме закономерности. Это должно быть подтверждено экспериментально. В работах по совершенствованию качества ИС необходимо, в частности, решать задачи управления, прогнозирования значений показателей качества при определенных условиях. Тогда становится необходимым определение значимости или «веса» каждого класса дефектов, которые при измерении могут быть обозначены как переменные величины в указанной выше функциональной зависимости, или закономерности.