Перспективы повышения качества процесса добровольной сертификации программной продукции

Размещено на http://www.allbest.ru/

Перспективы повышения качества процесса добровольной сертификации программной продукции

Поляков С.Д.

Разработка качественного программного обеспечения в различных областях науки и техники является основой создания наукоемких технологий, позволяющих в современных условиях значительно увеличить долю высокотехнологичного сектора экономики России и в целом обеспечить конкурентоспособность ее продукции на внутреннем и международном рынках.

В соответствии с российской и международной практикой [4-7, 9] создание качественной программной продукции обеспечивается на основе комплексного подхода на всем протяжении ее жизненного цикла.

Качество программной продукции (рис. 1) обеспечивается системой менеджмента качества и зрелостью процессов жизненного цикла программных средств (ПС) в соответствии с требованиями международных и национальных стандартов ГОСТ Р ИСО 9001, ISO/IEC 90003, ГОСТ Р ИСО/МЭК 12207-99, ISO/IEC 15504 и др. Однако требования этих стандартов не могут в полном объеме обеспечить гарантию качества конечной программной продукции, которое должно подтверждаться в рамках процедур добровольной сертификации в соответствии с Федеральным законом «О техническом регулировании».

Рисунок 1. Качество программной продукции

Программная продукция является сложным, наукоемким объектом и может являться компонентом информационной или информационно-управляющей системы, обеспечивающей технологии информационной поддержки жизненного цикла изделий (ИПИ-технологии - CAD, CAM, CAI, CAPP, ERP). Это обуславливает высокую трудоемкость и сложность решения задачи разработки требований и методологии оценки соответствия программной продукции. Указанные обстоятельства влияют на формирование рынка сертификационных услуг в этой области, который в настоящее время достаточно ограничен.

Рост конкуренции на рынке информационных технологий предполагает сокращение жизненного цикла программной продукции при условии постоянного повышения ее качества. В сложившихся условиях процедура сертификации, являясь компонентой этого жизненного цикла, может быть конкурентоспособной услугой лишь в случае существенного сокращения сроков полных циклов сертификации при обеспечении высокого уровня качества оценки соответствия.

Рассматривать процедуру сертификации можно как систему мероприятий по подтверждению соответствия объектов установленным требованиям. Такая система нуждается в обеспечении качества и улучшении деятельности для повышения эффективности ее функционирования. Тогда к такой системе применим процессный подход, определенный стандартом ГОСТ Р ИСО 9001.

Детальный анализ процесса добровольной сертификации программной продукции в различных системах сертификации ГОСТ Р, РОСИНФОСЕРТ, ИНКОМТЕХСЕРТ позволил выделить его критичные компоненты:

выбор нормативно-технической базы для подтверждения соответствия;

разработка нормативных документов для сертификации;

разработка методического обеспечения для сертификационных испытаний и оценки соответствия.

Анализ нормативно-технической базы систем добровольной сертификации позволяет говорить об ограниченном применении международных и национальных стандартов при подтверждении соответствия программной продукции, поскольку основная их масса не содержит требований к конечной программной продукции, что необходимо при ее сертификации. Среди основных стандартов, на соответствие требованиям которых органами по сертификации осуществляется подтверждение соответствия, следует отметить: ГОСТ Р ИСО/МЭК 12119-2000, ГОСТ Р ИСО 9127, ГОСТ Р ИСО/МЭК 9126-93, ГОСТ 28195-89 и ряд других стандартов, преимущественно в области документирования: ГОСТ Р ИСО/МЭК ТО 9294, ГОСТ Р ИСО/МЭК 15910. Причем стандарты ГОСТ Р ИСО/МЭК 9126-93 и ГОСТ 28195-89 содержат только модели качества (упорядоченный набор характеристик и подхарактеристик) и не содержат конкретных требований. Стандарты ГОСТ Р ИСО/МЭК ТО 9294, ГОСТ Р ИСО/МЭК 15910 в основном содержат требования к процессам документирования и создания документации пользователя программной продукции. Стандарты ГОСТ 12119 и ГОСТ Р ИСО 9127 содержат требования к программной продукции, готовой к коммерческой реализации, и более всего подходят для оценки соответствия. Однако основной недостаток этих стандартов - общий характер требований по отношению к различной по функциональному назначению программной продукции, что осложняет учет ее уникальной специфики при сертификации. В связи с этим некоторые органы по сертификации, предпочитают разрабатывать собственные требования, оформленные в виде технических условий или требований системы сертификации на функциональный класс программной продукции. Такие требования позволяют более полно учитывать функциональные особенности программных продуктов, однако процесс их разработки существенно увеличивает время, а также стоимость полных циклов сертификации (поскольку требования по факту создаются на один, максимум на два программных продукта, потом они безнадежно устаревают).

Еще одна категория требований - спецификации требований в технических заданиях, определенные как условия договоров между двумя сторонами (как правило - разработчик и заказчик). Эти требования используются при квалификационных испытаниях программного обеспечения и поэтому могут быть применены при независимой оценке третьей стороной, в том числе органом по сертификации. Основной недостаток - невозможность применения таких требований при сертификации другой программной продукции, а также единичные заказы на сертификацию.

Таким образом, в качестве нормативной базы для сертификации можно выделить следующие категории требований, характеризующиеся различной степенью обобщения по отношению к специфике конкретных программных продуктов:

требования национальных стандартов;

требования систем сертификации (например, технические условия);

требования условий договоров (например, спецификации требований в технических заданиях).

При создании нормативной базы для сертификации представляется необходимым основной упор делать на полноту и качество разработки общих требований на уровне стандартов и специфических требований к классам программной продукции общего функционального назначения. Достаточная полнота требований нормативных документов имеет существенное значение, влияющее на уровень качества оценки соответствия программных продуктов.

Разработка нормативно-технических требований является необходимой, но достаточно сложной и трудоемкой задачей. В связи с этим, в ближайшей перспективе не следует ожидать кардинальных изменений в сторону существенного увеличения качественной нормативной базы, содержащей требования к программной продукции, приемлемой для ее сертификации.

Методическая база научно-методических центров и органов по сертификации является также недостаточной, поскольку действующие международные и национальные стандарты в области менеджмента качества, жизненного цикла информационных систем, оценки качества и документирования (см. рис. 1) содержат достаточно общие методические рекомендации по оценке программного обеспечения в процессе его разработки и сопровождении и менее всего адаптированы к технологии оценки программной продукции при ее сертификации.

Как отмечалось ранее, существующие нормативно-технические документы имеют различный характер обобщения требований по отношению к специфике программной продукции, что затрудняет разработку единых методических подходов к ее оценке соответствия. Отсутствие единых методических подходов приводит к частичной или полной несопоставимости результатов испытаний в различных системах сертификации, а также затрудняет или полностью исключают взаимное признание сертификатов соответствия.

Отсутствие типового методического обеспечения оценки соответствия обуславливает применение органами по сертификации и испытательными лабораториями оригинальных методик, локализованных под конкретные нормативные документы и программные продукты, что значительно повышает трудоемкость и временные параметры полного цикла сертификации.

Фактическое отсутствие обработки и обобщения результатов сертификационных испытаний в отчетных документах по сертификации предполагает оценку соответствия нижнего уровня иерархии в декомпозиции требований нормативного документа и не предусматривает комплексную оценку соответствия программного продукта высшим уровням иерархии требований, что существенно затрудняет локализацию оценочных факторов и принятие решений о соответствии достаточно сложных программных продуктов.

В связи с изложенным, одной из ключевых задач повышения качества и эффективности процесса сертификации программной продукции на настоящий момент является разработка единых методических подходов, позволяющих на основе существующей нормативной базы осуществлять оценку соответствия программной продукции с учетом различных типов требований, установленных в нормативных документах, и с учетом ее специфики.

Единые методические подходы, в конечном итоге, должны быть реализованы как универсальное, научно-обоснованное, комплексное нормативно-методическое и информационное обеспечение процесса сертификации программной продукции.

Научно-методическим центром (НМЦ) системы сертификации информационно-коммуникационных технологий в образовании (Система ИНКОМТЕХСЕРТ), базовая организация ГОУ ВПО Московский государственный технологический университет «Станкин», предложены общие методические принципы оценки соответствия программной продукции и разработаны на их основе стандартизованные процессы создания типовых методических и отчетных структур документов для поддержки процедур сертификации.

Для учета специфики конкретных программных продуктов и обеспечения тестового покрытия при сертификационных испытаниях разработаны методические принципы построения специальных моделей оценки соответствия различным категориям требованиям нормативно-технических документов.

Эти модели строятся на основе неформальной трансформации компонентов требований нормативного документа в компоненты модели оценки. Компоненты требований нормативных документов в общем случае могут быть иерархически и семантически не согласованы между собой. В связи с этим, формальное применение компонентов для оценки соответствия программной продукции может привести к их недостаточному учету, снижая качество процесса сертификации. Модели оценки, построенные на основе иерархической и семантической согласованности, позволяют избежать этого недостатка и обеспечить иерархию компонентов в модели оценки сильными связями. К такой иерархии компонентов в модели оценки могут быть адаптированы стандартные математические инструменты для обработки и обобщения результатов сертификационных испытаний.

НМЦ предложены взаимосвязанные модели: модель оценки соответствия требованиям нормативного документа, которая строится без учета специфики конкретного программного продукта, и модель оценки соответствия, создаваемая с учетом этой специфики.

Модель оценки соответствия, учитывающая специфику конкретного программного продукта, строится на основе мнений компетентных экспертов, которые должны определить необходимость адаптации и доработки модели оценки соответствия требованиям нормативного документа под эту специфику. Для обработки мнений экспертов предложены методы экспертной оценки, например, метод экспертного ранжирования, метод непосредственной оценки, метод экспертных предпочтений.

Предложены принципы тестирования при сертификационных испытаниях программной продукции, включающие принципы разработки тестов и тестовых случаев, принципы формирования оценочных шкал и определения результатов выполнения тестов в соответствии с моделью оценки. Тестируются при сертификационных испытаниях только компоненты нижнего уровня декомпозиции (элементы) в построенной модели оценки соответствия.

Эти компоненты могут иметь различную размерность (например: время ответа, частота отказов, частота ошибок устройств ввода-вывода, экспертные значения свойств). Для последующей комплексной обработки значения компонентов нижнего уровня декомпозиции (элементы оценки) должны быть приведены к одинаковой размерности. Для этих целей предложены принципы линейной нормализации оцененных элементов.

Оценку степени несоответствия допускаемым значениям компонентов предложено осуществлять только на нижнем уровне их декомпозиции в модели оценки. Для получения оценок таких компонентов (элементов) с учетом специфики программной продукции наиболее приемлемы формулы линейной зависимости между значением элемента оценки и, собственно, его оценкой. В качестве таких формул рекомендовано использовать формулы линейной нормализации элементов оценки. Таким образом, нормализованное значение элементарного свойства (компонент нижнего уровня декомпозиции или элемент модели оценки) является его оценкой, которая идентифицируется как оценка элемента. Оценки компонентов в отличие от оценок элементов относятся к компонентам более высоких иерархических уровней, чем нижний. Их предложено определять на основе комплексного метода квалиметрии [1] средневзвешенным арифметическим, геометрическим или гармоническим способом.

Стандартизованные процессы создания типовых методических и отчетных структур документов при сертификации программной продукции разработаны на основе предложенных методических принципов и реализованы как функциональные модели, обеспечивающие информационные потоки разработки:

моделей оценки соответствия требованиям специфических нормативных документов;

моделей оценки соответствия требованиям специфических программных продуктов;

типовой методики тестирования и типового протокола испытаний;

типовой методики получения нормализованных и комплексных оценок компонентов программной продукции;

типовой формы регистрации результатов сертификации и типового отчета о сертификационных испытаниях программной продукции.

Указанные методические принципы и функциональные модели оценки соответствия программной продукции реализованы на основе современных научных методов и системных подходов (методы теории систем и системного анализа, менеджмента качества, квалиметрии, анализа иерархий, линейной нормализации, функционального моделирования процессов [1, 2, 3, 6, 8]).

По мнению НМЦ, только на основе применения органами по сертификации единых методических подходов к оценке соответствия, в сегодняшних условиях можно добиться быстрого и реального повышения качества процесса сертификации и динамичного развития в Российской Федерации рынка услуг по подтверждению соответствия программной продукции.

Создание указанного комплекса принципов, моделей, процессов и методик должно, в конечном счете, способствовать повышению качества и конкурентоспособности программной продукции на внутреннем и международном рынках.

Литература

качество программный добровольный сертификация

1. Азгальдов, Г.Г. Теория и практика оценки качества товаров (основы квалиметрии) [Текст] / Г.Г. Азгальдов. - М.: Экономика, 1982. - 236 с.

2. Бешелев, С.Д. Математико-статистические методы экспертных оценок [Текст] / С.Д. Бешелев, Ф.Г. Гурвич. - 2-е изд., перераб. и доп. - М.: Статистика, 1980. - 263 с., ил.

3. Волкова, В.Н. Основы теории систем и системного анализа [Текст]: учебник для студентов вузов, обучающихся по направлению «Системный анализ и управление» / Волкова В.Н., Денисов А.А. - Изд. 3-е, перераб. и дополн. - СПб.: Издательство СПбГПУ, 2003. - 520 с.

4. Калбертсон, Р. Быстрое тестирование [Текст]: [пер. с англ. ]/ Роберт Калбертсон, Крис Браун, Гери Кобб. - М.: Издательский дом «Вильямс», 2002. - 384 с.: ил.

5. Костогрызов, А.И. Стандартизация, математическое моделирование, рациональное управление и сертификация в области системной и программной инженерии [Текст] / А.И. Костогрызов, Г.А. Нистратов. - М.: Изд. «Вооружения и конверсия», 2004. - 395 с.

6. Липаев, В.В. Программная инженерия. Методологические основы [Текст]: учебник / В.В. Липаев. - М.: ТЕИС; ГУ-ВШЭ, 2006. - 608 с.

7. Агапов, А.С. Оценка и аттестация зрелости процессов создания и сопровождения программных средств и информационных систем (ISO/IEC TR 15504-CMM) [Текст] / А.С. Агапов, Н.Э. Михайловский, А.А. Мкртумян. - М.: Книга и бизнес, 2001. - 384 с.

8. Саати, Т. Принятие решений. Метод анализа иерархий [Текст]: [пер. с англ.] / Т. Саати. - М.: «Радио и связь», 1993. - 320 с.: ил.

Размещено на Allbest.ru