Проблемные вопросы оценивания результатов межлабораторных сличений в сфере судебно-экспертной деятельности

Размещено на http://www.allbest.ru/

УДК 640.6:658.562

НИЛ методического сопровождения СЭД НПЦ

Государственного комитета судебных экспертиз Республики Беларусь

Проблемные вопросы оценивания результатов межлабораторных сличений в сфере судебно-экспертной деятельности

С.Н. Нефедов

В последние годы большинство судебно-экспертных учреждений (СЭУ) в мире используют в своей деятельности (либо планируют использовать) международный стандарт ISO/IEC 17025 «Общие требования к компетентности испытательных и калибровочных лабораторий», одним из требований которого по обеспечению качества испытаний (п. 5.9 стандарта) является участие лабораторий в программах межлабораторных сличений (МЛС)1.

Межлабораторные сличения могут проводиться для различных целей:

— оценивания способности отдельных лабораторий проводить специальные испытания или измерения;

— выявления различий между лабораториями и инициирования корректирующих мероприятий по улучшению работы;

— установления эффективности и сравнимости новых методов и определения их характеристик;

— определения приписываемых значений эталонным (референсным) стандартным образцам и др.

Одним из основных применений МЛС является оценивание компетентности лаборатории в проведении испытаний или измеренийАналогичные требования содержаться в руководстве для СЭУ Международной кооперации по аккредитации лабораторий - ILAC-G19:2002 «Guidelines for Forensic Science Laboratories», а также в руководстве Управления Организации Объединенных Наций по наркотикам и преступности (UNODC) - «Руководство по применению системы управления качеством в лабораториях экспертизы наркотиков». -- Вена, 2009 (официальный документ UNODC на русском языке). Далее будем использовать только термин «испытание».. Такие МЛС называют проверкой квалификации, либо профессиональным тестированием (ПТ)На английском языке эта процедура называется proficiency testing..

Порядок организации и проведения МЛС регламентируется стандартом ISO 17043:2010 «Оценка соответствия. Основные требования к проведению проверки квалификации»ISO/IEC 17043:2010 «Conformity assessment. General requirements for proficiency testing». Этот стандарт заменяет две части Руководства ISO Guide 43-1(-2):1997 «Proficiency testing by inter-laboratory comparisons», которыми ранее руководствовались при проведении МЛС.. Существуют несколько типов программ, в большинстве из них используется такой подход, как сличение результатов испытаний, полученных двумя или более участниками МЛС. Лаборатории проводят испытания одного и того же объекта (либо идентичных объектов) и представляют свои результаты организатору МЛС - провайдеру.

Формы представления результатов МЛС могут быть различными, они охватывают широкий диапазон типов данных, могут характеризоваться различными статистическими распределениями.

При обработке результатов МЛС выполняют следующее:

— находят приписанное значение - обычно среднее значение результатов испытаний всех участников МЛС (при проведении ПТ приписанное значение, как правило, заранее известно провайдеру - результат испытания эталонной лаборатории или др.);

— рассчитывают показатель, характеризующий качество работы лаборатории (характеристику функционирования) - это некоторый количественный параметр, который показывает степень близости результата конкретной лаборатории к приписанному значению (абсолютная разность, относительная или процентная разность, количественный показатель, нормированный относительно стандартного отклонения всех участников либо неопределенности результата и др.);

— оценивают характеристику функционирования лаборатории - по значению показателя качества участника можно судить о его квалификации (профессиональной компетентности, речь идет о компетентности всей лаборатории в смысле понятий ISO/IEC 17025).

Эти данные представляются всем участникам ПТ, причем каждая лаборатория получает информацию только о своей работе. Лаборатория использует эти данные по своему усмотрению, прежде всего для улучшения качества своей работы. Данные о результатах работы всех лабораторий являются конфиденциальной информацией.

В стандарте ISO 17043 рассматривается три основных типа лабораторных исследований: количественный, качественный и интерпретационный. межлабораторный сличение судебный экспертиза

Результаты количественных испытаний являются численными (представляются по шкале интервалов или отношений), в этом случае применяют статистические методы обработки. Такой подход позволяет найти однозначные значения показателей качества для каждой лаборатории и применить объективные критерии их оценивания. Например, для характеристики качества работы лаборатории участника ПТ может использоваться показатель z, который рассчитывается по формуле

z = (x - X)la,

где x - результат испытания участника; X- приписанное значение: a - оценка стандартного отклонения всех участников.

При оценке результатов ПТ полагают, что показатель z распределен по стандартному нормальному закону, тогда считают:

— при - результат работы удовлетворительный и не требуется принятия мер по улучшению;

— при - результат работы приемлемый, однако требуется принять меры по улучшению;

— при - результат работы неудовлетворительный, требуется принять меры по улучшению.

Кроме того, по значению неопределенности измерения и близости результата испытаний лаборатории к предписываемому значению, можно сравнивать лаборатории между собой. Подробно статистические методы обработки результатов ПТ, в том числе графические способы их интерпретации, приведены в стандарте ISO 13528ISO 13528:2005 «Statistical methods for use in proficiency testing by interlaboratory comparisons»..

Результаты качественных испытаний являются описательными и представляются по номинальной или порядковой шкале. Это может быть задача идентификации (например, идентифицировать микроорганизмы), определение присутствия заданного вещества (например, наличие наркотика), или классификация свойства объекта испытания. Качественные данные иногда называют «номинальными», или «категорийными» (для номинальной шкалы), или «полуколичественными» (semi-quantitative values), или «порядковыми» (для порядковой шкалы).

Для интерпретационных исследований результатом испытаний может быть определенный вывод (например, формулировка описательной морфологии), набор данных (например, чтобы определить некоторую характеристику) или другой набор информации относительно интерпретируемого признака, находящегося в компетенции участника МЛС (например, исследование определенной проблемы).

Для качественных и интерпретационных результатов невозможно использовать общепринятые методы статистического анализа, поскольку для них неприменимы арифметические операции.

Полуколичественные результаты часто представляются в виде чисел: баллы экспертных, либо органолептических оценок, сила химической реакции (например, 1+, 2+, 3+ и т. д.) и др. Однако в этом случае также нельзя использовать обычные статистические методы, ибо арифметические операции с такими числами некорректны. Например, разность между 1 и 2 может быть не эквивалентной разности между 3 и 4.

При определении приписанного значения для таких данных стандартом ISO 17043 рекомендуется использовать экспертное оценивание или процедуру изготовления объекта испытания. Рассчитать характеристику функционирования, аналогичную (1), не представляется возможным.

При оценивании характеристик функционирования рекомендуется сравнивать результаты с приписанным значением. Если они идентичны, то испытание выполнено на приемлемом уровне, если - нет, то рекомендуется использовать экспертную оценку для определения степени приемлемости результатов испытаний, а следовательно, и квалификации (компетентности) лаборатории.

При таком подходе к оцениванию компетентности лаборатории достаточно сложно выявить проблемы, которые могут быть в лабораториях участниках ПТ. Кроме того, результаты испытаний могут принимать только два значения (результаты идентичны или нет), поэтому невозможно сравнивать уровень квалификации различных лабораторий, за исключением мнения эксперта, который анализировал результаты ПТ, но такие оценки имеют субъективный характер.

Европейская сеть судебно-экспертных учреждений (ENFSI)1 рекомендует всем членам сети участвовать в программах МЛС и ПТ в соответствии с областью своей деятельности. Политика и руководство по проведению таких работ в рамках ENFSI регламентированы специальными документами Постоянного комитета по контролю качества и компетентности (Standing committee for quality and competence - QCC)European Network of Forensic Science Institutes (ENFSI) - Европейская сеть судебно-экспертных учреждений. См.: «Policy on Proficiency Tests and Collaborative Exercises within ENFSI». QCC-PTCE-002. 2010, «Guidance on the conduct of Proficiency Tests and Collaborative Exercises within ENFSI». QCC-PT-001. 2005..

Руководство QCC-PT-001 по проведению МЛС и ПТ в рамках ENFSI основывается на соответствующих документах общего применения (это прежде всего ISO Guide 431 и стандарт ISO 13528). В нем реализованы рассмотренные выше подходы с учетом специфики судебной экспертизы. Отчеты о проведенных ПТ публикуются на сайте и доступны членам ENFSI, при этом сохраняется анонимность участников.

Подобные работы проводятся в рамках сотрудничества Совета Министров юстиции государств-членов ЕврАзЭСДокумент был разработан до принятия стандарта ISO 17043. См.: ОмельянюкГ. Г. Методические подходы к проведению оценки компетентности судебно-экспертных лабораторий посредством межлабораторного профессионального тестирования / Г. Г. Омельянюк, Г. И. Бебешко, С. Г. Король // Теория и практика судебных экспертизы. -- М. : Наука, 2011. -- № 4(24). -- С. 52-62.. В мае 2011 г. был утвержден «Регламент по проведению межлабораторного профессионального тестирования в государственных судебно-экспертных учреждениях». Он также основывается на тех же документах общего применения и учитывает опыт ENFSI.

В период с 2011 по 2013 г. были проведены первые профессиональные тесты в рамках ЕврАзЭС: по компьютерно-технической и судебно-почерковедческой экспертизе (2011), по судебно-технической экспертизе документов (2012) и по криминалистической экспертизе волокнистых материалов (2013), в которых принимали участие лаборатории ГУ «Центр судебных экспертиз и криминалистики Министерства юстиции Республики Беларусь».

Следует отметить, что документы ENFSI и ЕврАзЭС по проведению ПТ и МЛС содержат очень краткие рекомендации по обработке результатов. Поэтому следует руководствоваться стандартами ISO 17043 и ISO 13528, а также аналогичными документами общего применения, которые в основном ориентированы на количественные результаты.

Однако результаты судебных экспертиз (по классификации ISO 17043) в большинстве случаев являются качественными или интерпретационными. Поэтому проблемными вопросами при оценивании результатов ПТ для СЭУ являются выявление различий между лабораториями и выработка рекомендаций по корректирующим мероприятиям, направленным на улучшение качества работы.

При разработке программ ПТ Руководство QCC-PT-001 рекомендует, чтобы испытания были не слишком простыми и не чрезмерно амбициозными. Если испытания будут очень сложными, то многие участники ПТ могут дать неправильные результаты либо откажутся от участия в ПТ (не представляется возможным дать заключение - НПВ). Если испытания будут очень простыми, то участники с невысокой квалификацией могут быть оценены так же, как самые компетентные лаборатории. Самое главное - не будут выявлены реально существующие проблемные вопросы лаборатории.

Одним из возможных путей решения отмеченных проблемных вопросов является использование количественных показателей достоверностиСм.: Нефедов С. Н. Показатели достоверности методик судебной экспертизы и их использование в судебно-экспертной деятельности / С. Н. Нефедов, А. В. Кады- шев // Вопросы криминологии, криминалистики и судебной экспертизы : сб. науч. тр. -- Мн. : Право и экономика, 2013. -- Вып. 1/33. -- С. 121-129. при разработке программ и последующей обработке результатов ПТ.

Качественные, либо интерпретационные, испытания будем называть «испытания с бинарным откликом», поскольку результат может принимать одно из двух альтернативных значений. В качестве показателей достоверности таких испытаний обычно используют вероятности ошибок I-го и II-го рода. Под ошибкой I-го рода будем понимать ошибочное отклонение объективно правильного решения, а под ошибкой II-го рода - ошибочное принятие объективно неправильного решения.

Однако более удобно использовать другой поход, основанный на изучении зависимости вероятности принятия положительного решения Р от значения некоторого количественного параметра S. Эти зависимости обычно называют кривыми эффективности1 (рис. 1).

Рис. 1. Криваяэффективности для испытаниясбинарнымоткликом

Такой подход иногда используют в химическом анализе (качественный анализ) См.: Метрологические характеристики методик анализа с бинарным откликом / [Ю. В. Холин, Н. А. Никитина, А. В. Пантелеймонов и др.]. -- Х. : Тимченко, 2008. -- 1 28 с., в качестве параметра S, например, может быть принято изменение цвета лакмусовой бумаги. В судебной экспертизе решение обычно принимается по совокупности нескольких признаков или свойств, поэтому под S следует понимать некоторый латентный параметр, характеризующий внутреннее убеждение эксперта, на основе которого он делает окончательный категорический вывод.

Очевидно, что вероятности ошибок I-го (а) и II-го (в) родов равны:

а = 1 - P(S); в = P(S).

Вычисления по формулам (2) не проводят, ибо реальная кривая эффективности обычно неизвестна, однако они показывают взаимосвязь различных показателей достоверности. Оценки а и в можно найти путем статистической обработки результатов испытаний (вычисляют относительные частоты ошибочных решений), но для получения достоверных оценок необходим достаточно большой объем результатов, что на практике обычно сложно реализовать.

В идеальном случае кривая эффективности представляет собой единичную смещенную функцию Хевисайда:

- { 0 S ; і.*;

где S* - некоторое критическое значение параметра.

На рис. 1 такая характеристика показана штриховой линией.

В этом случае, методика с бинарным откликом всегда приводит к принятию положительного решения при S > S* и его отклонению при S < S* (при нулевых вероятностях ошибок I-го и II-го родов). Неоднозначной является ситуация при S = S*, но это идеализированный случай. На практике пороговое значение размывается в интервал ненадежности (AS).

Интервал ненадежности - интервал значений параметра, в котором для некоторого количества идентичных объектов приходят к принятию положительного решения, а для части - к его отклонению. В судебно-экспертной практике будет сделан вероятный вывод либо эксперт откажется от принятия решения по объективным причинам.

При таком подходе ширина интервала ненадежности AS может характеризовать уровень квалификации СЭУ: чем меньше AS, тем выше квалификация.

В большинстве случаев рассчитать S невозможно, поскольку параметр S латентный Задача нахождения количественного значения S может быть решена с использованием методов квалиметрии и репрезентативной теории измерений., поэтому анализ на основе кривой эффективности следует рассматривать как наглядную интерпретацию ситуации. Значение параметра S характеризует степень сложности решаемых экспертных задач. Чем сложнее задача, тем ближе значение параметра S к критическому значению S*.

При планировании программы ПТ СЭУ необходимо, чтобы программа обязательно включала решение экспертных задач различной сложности, причем обязательно с положительным и отрицательным правильным результатом. В зависимости от степени сложности экспертной задачи и квалификации лаборатории результаты испытаний будут характеризоваться различными значениями вероятностей ошибок I-го и II-го родов.

На рис. 2 поясняется принцип организации программы такого ПТ. Для примера приведены кривые эффективности двух СЭУ - СЭУ1 (штриховая линия) имеет более высокую квалификацию, чем СЭУ2 (сплошная линия), AS< AS2. Цифрами в квадратах обозначены экспертные задачи, причем стрелка указывает значение параметра S, характеризующее уровень сложности задачи. Ожидаемыми результатами такой программы ПТ будут следующие:

-- по задачам 1 и 5: СЭУ1 и СЭУ2 сделают правильные заключения (наиболее простые экспертные задачи);

— по задачам 2 и 4: СЭУ1 сделает правильные заключения, СЭУ2 - неправильные заключения, либо НПВ;

— по задаче 3: СЭУ1 и СЭУ2 сделают неправильные заключения, либо НПВ (наиболее сложная экспертная задача).

Если до начала ПТ вероятности ошибок неизвестны (в большинстве практическихаучнев будет таж),тсих оценку провавдер может найтипосле получения результатов от участников ПТ по количеству ошибочных решений или НПВ.

Рис. 2. Пояснение принципа программы ПТ с экспертными задачами различного уровня сложности

Вероятности ошибок могут не рассчитываться, а с помощью предложенного подхода можно классифицировать экспертные задачи по уровню сложности. Тогда квалификация СЭУ будет характеризоваться способностью решать экспертные задачи соответствующего уровня сложности.

Использование такого подхода, по нашему мнению, позволит более эффективно проводить ПТ СЭУ и получать более объективную информацию о квалификации участников.

Аннотация

Ключевые слова: судебная экспертиза, лаборатория, стандарт ISO/IEC 17025, компетентность, межлабораторные сличения, провайдер, программа профессионального тестирования, испытания с бинарным откликом.

Проаналізовано особливості оцінювання результатів міжлабораторних звірень для лабораторій судової експертизи. Запропоновано підхід, що дозволяє підвищити ефективність програм професійного тестування для якісних результатів (з бінарним відгуком) випробувань.

Ключові слова: судова експертиза, лабораторія, стандарт ISO/IEC 17025, компетентність, міжлабораторні звірення, провайдер, програма професійного тестування, випробування з бінарним відгуком.