Оценка методологического качества клинических исследований

Размещено на http://www.allbest.ru/

Оценка методологического качества клинических исследований

1. Достоверность результатов исследований

Всякие исследования, исходя из надёжности и достоверности полученных результатов и их применимости в клинической практике, характеризуются с двух позиций - достоверности (внутренней валидности) и обобщаемости (внешней валидности, применимости).

Случайная ошибка - возникает из-за отклонения результата отдельного наблюдения или измерения от его истинного значения, что обуславливается случайностью. Случайные вариации проявляются на любом этапе исследования и связаны с индивидуальной вариабельностью биологических свойств изучаемых людей или животных, случайными ошибками измерения и недостаточным объёмом выборки.

В отличие от систематических ошибок случайные ошибки нельзя устранить, но можно свести к минимуму. Этого достигают правильным планированием исследования, увеличением числа пациентов в исследовании, повторением измерений несколько раз, и, кроме того, путём оценки вероятности случайной ошибки с использованием статистических методов. Именно минимизация случайных ошибок является одной из главных задач статистического анализа результатов, полученных в медико-биологических исследованиях.

В тех случаях, когда обнаруживаются систематические ошибки разных типов при формировании выборок, создаётся так называемая смещенная (нерепрезентативная) выборка. Эта выборка систематическим образом отличается от популяции, представляющей объект исследования, или от популяции, по отношению к которой должны применяться результаты исследования.

Достоверность (внутренняя валидность) результатов исследования определяется тем, насколько структура исследования соответствует поставленным задачам, и в какой степени полученные данные справедливы в отношении изучавшейся выборки. Исходя из этого, достоверным нужно считать исследование, в котором возможность возникновения систематических и случайных ошибок сведена к минимуму.

Используемый обычно уровень статистической значимости (величина р) отражает вероятность справедливости гипотезы об отсутствии статистически значимых различий в оцениваемых эффектах. Если в результате статистического сравнения экспериментальной и контрольной групп установлено значение р < 0,05, то вероятность различий, возникших вследствие случайности, составляет не более 5%. Различия между величинами, имеющими такую вероятность ошибки, считаются статистически значимыми.

При проведении КИ обычно используют следующие общепринятые критерии оценки значения р:

р > 0,05 - статистически не значимое различие;

р < 0,05 - статистически значимое различие;

р <0,01 - статистически высоко значимое различие.

Например, если относительный риск (ОР, отношение вероятности неблагоприятного исхода в группе вмешательства к вероятности его в группе контроля) составляет 0,8 при р<0,05, то такое различие между группами статистически значимо.

Диапазон, в пределах которого может лежать истинное значение показателя в популяции, из которой сформирована выборка данного исследования, называется доверительный интервал (ДИ, confidence interval, CI). Он рассчитывается для сравнения величины эффекта, оценки степени эквивалентности двух вмешательств, которые характеризуют диапазон изменений параметра в пределах границ погрешностей определений, мер статистической связи. Обычно при этом указывают границы, в пределах которых истинный эффект находится с вероятностью 95% (95-процентные границы доверительного интервала). Например, в приведенном выше примере точечная оценка составляет 0,8, а 95% ДИ может быть 0,6 - 0,99. Потенциально клинически значимый эффект - снижение частоты неблагоприятного исхода, например, флеботромбоза, на 20% - может оказываться при таком представлении результатов исследования не очень убедительным, ведь его величина может составлять только 2-3%.

Оценка статистической значимости и ДИ относятся только к случайной ошибке. Систематическая ошибка возникает в результате погрешностей дизайна и анализа данных исследования и обычно не может быть оценена статистическими средствами.

Именно достоверностью результатов исследования определяется его ценность. В КЭ разработаны рекомендации об оптимальных вариантах структуры исследований, проводимых для решения различных задач, которые ставятся исследователями. Следует отметить, что в нижеследующей таблице приведены типы исследований, оптимальные для того или иного случая, однако на практике допускаются отступления от указанной схемы, прежде всего потому, что в ряде случаев «оптимальный» дизайн недоступен. Например, применительно к редким болезням невозможны РКИ, а применительно к вредным воздействиям невозможны РКИ и ограничены когортные исследования. Следует критически относится к результатам исследования, структура которого не соответствует его задаче.

Обобщаемость (внешняя валидность) - степень, в какой результаты данного исследования применимы к другим группам больных, например, другого пола, популяции и т.п. Поскольку существует представление об общих свойствах больных одной болезнью, возможности лечить их сходными средствами, считается возможным проводить исследование на ограниченной группе больных, а затем на основании результатов исследования лечить подобных больных.

Таблица 1. Основные варианты оптимальной структуры исследования в зависимости от его задачи

Иными словами, допускается обоснованность того, что испытуемые, включенные в исследование, сравнимы с другими, подобными им. При этом структура научного исследования подразумевает, что участники исследования соответствуют пациентам, которых предполагается лечить с учетом результатов исследования. Например, участников выбирают из исследуемой случайным образом. На практике выполнить это сложно, например, поскольку в исследование могут включать новых, еще не лечившихся больных, а у врача находятся на лечении в основном пациенты, болеющие уже много лет. Поэтому в большинстве случаев для повышения обобщаемости результатов стремятся к тому, чтобы выборка была хотя бы репрезентативна, т.е. соответствовала по основным характеристикам исследуемой популяции. Для этого следовало бы избегать работы с группами, значительно отличающимися от общей популяции. Однако, производители лекарственных средств могут специально проводить исследования таким образом, чтобы наиболее ярко продемонстрировать эффективность своего ЛС, например, подбирая пациентов с особенными характеристиками. В результате, часть вполне доброкачественных исследований имеют низкую обобщаемость.

С целью повышения обобщаемости применяются также многоцентровые исследования с включением больных из разных географических регионов, т.е. выборка оказывается репрезентативной по отношению к более широкой географической зоне. Поэтому результаты этих исследований могут затем более обоснованно применяться в отношении населения этой зоны.

При критическом чтении следует обязательно оценить репрезентативность описываемой в статье выборки.

Обычно качество обобщаемости результатов исследования достигается сведением к минимуму систематических ошибок.

2. Систематические и случайные ошибки

Систематическая ошибка -- это систематическое (неслучайное, однонаправленное) отклонение результатов исследований от истинных значений. Выделяют несколько основных видов систематических ошибок.

Систематическая ошибка, обусловленная нарушением правил подбора пациентов (selection bias). Она чаще всего возникает на этапе формирования исследуемых групп в результате отбора для включения в исследование лиц, которые не являются репрезентативными для общей совокупности больных. Эта систематическая ошибка создаётся в результате того, что сравниваемые группы испытуемых различаются не только по основным признакам, но и по другим факторам, влияющим на результат исследования, т.е. участники фактически отбираются из разных популяций.

Пример: в том случае, когда в качестве группы контроля используются ранее набранные больные, а методика их обследования с течением времени претерпела изменения, наступает хронологическое смещение.

Пример: в исследование включаются добровольцы, сами откликнувшиеся на объявление об исследовании.

Систематическая ошибка отбора может приводить в ИСК к формированию контрольной группы, плохо сопоставимой с основной группой. Например, при формировании контрольной группы из больных с другим заболеванием вмешиваются привходящие факторы, связанные с этой болезнью. С другой стороны, если контрольная группа формируется из общей популяции, то результаты могут оказаться несопоставимыми с основной группой, например, по возрасту и полу. Для предотвращения этой ошибки нужно подбирать пациентов попарно в контрольную и основную группы по нескольким признакам, потенциально влияющим на изучаемые показатели. Другой вариант предотвратить ошибку - использовать несколько контрольных групп.

Ошибка подбора, более характерная для ИСК, может возникать и в РКИ, если, например, из контрольной группы теряются самые тяжелые пациенты.

Систематическая ошибка, возникающая при измерении, вследствие неудачно выбранного метода оценки результатов исследования. Подобная ошибка появляется тогда, когда пациенты в сравниваемых группах обследуются неодинаково (разные методы диагностики, частота обследований) или используются нестандартизованные схемы получения данных и субъективные оценки.

Субъективная оценка в большинстве случаев даёт завышенный результат по сравнению с оценкой независимого эксперта и/или объективными методами.

Пример: ошибка вследствие различия в степени подробности сбора анамнеза в группах больных и здоровых.

Пример: рентгенологи, если проводят оценку рентгенограмм, зная дополнительную информацию о пациенте, могут более пристально и критически оценивать «контрольных» пациентов, по сравнению с «получающими активное лечение».

Систематическая ошибка, обусловленная действием вмешивающихся факторов (confounding), проявляется тогда, когда изучаемые факторы взаимосвязаны, и одни из них искажают эффекты других. Это может произойти из-за систематической ошибки при отборе, под действием случайности или из-за реального взаимодействия факторов, что должно учитываться при анализе результатов исследования.

Пример: при проведении исследования влияния потребления овощей на возникновение заболевания, не была учтена разная распространенность второго фактора риска (например, курения) в сравниваемых группах.

Систематическая ошибка, обусловленная эффектом плацебо. «Эффект пустышки» - систематическое улучшение состояния пациентов при имитации лечения. Если в контрольной группе проводится лечение, внешне не отличимое от активного в группе вмешательства, то разница между этими группами исключает эффект плацебо.

В ходе наблюдения за больными у них наблюдается улучшение состояния. Часть этого эффекта объясняется естественным течением болезни, часть - неспецифическим влиянием лечения (эффект плацебо), а разница между группами соответствует дополнительной пользе, приносимой активным лечением. РКИ специально планируются так, чтобы отсеять все эффекты, за исключением собственно эффекта активного лечения.

Рисунок 1. Выявление эффекта активного лечения по сравнению с плацебо

Способы устранения систематических ошибок

Наиболее частыми источниками погрешностей при проведении КИ являются ожидания исследователей и испытуемых, влияние которых можно уменьшить путём использования стандартных способов контроля с использованием: анамнез лечение плацебо

грамотного отбора испытуемых в контрольные группы;

метода «ослепления» (маскирование вмешательства);

рандомизации (со стратификацией или без неё) при формировании различных групп испытуемых;

методов статистического моделирования.

Испытания с самоконтролем - для экспериментальной и контрольной групп привлекается один объект, например, пациент в отдельные дни получает лечение, в другие - плацебо.

Перекрестное испытание - одни пациенты выбираются для экспериментальной группы, другие - для контрольной; после остановки лечения в новом периоде группа лечения становится контрольной, а контрольная - группой лечения. При обобщенном рассмотрении результатов получается, что каждый пациент был сам себе контролем.

Рисунок 2. Источники систематических ошибок и методы борьбы с ними

Испытания с подобранным контролем - проводятся путём подбора контроля к каждому случаю так, чтобы они не отличались ни по одному из подозреваемых факторов. Это позволяет избежать различий между группами, связанных с известными факторами, которые не интересны в данном исследовании. Например, при изучении связи болезни с особенностями питания путем подбора контрольных лиц можно исключить влияние на здоровье дохода и курения. При подборе сравниваются различия не между всеми случаями и контролем, а совокупность различий внутри отдельных пар.

Метод маскирования вмешательств («слепое» исследование, ослепление)

Немаскируемый (открытый) метод выполнения РКИ - испытуемый и исследователь знают о лечении, которое получает испытуемый. При этом, например, испытуемый в контрольной группе может начать лечиться другими средствами и разница между группами исчезнет.

Простой слепой метод - испытуемый не знает, какое лечение он получает. Метод чреват ошибками, связанными с тем, что врач и другие медицинские работники будут относиться по-разному к ведению пациентов, получающих активное лечение и плацебо (старое и новое вмешательство).

Двойной слепой метод - исследователь и пациент не знают, какое лечение получает он или группа.

Тройной слепой метод - исследователь, пациент и руководители КИ, организующие исследование и анализирующие его результаты, не знают, какое лечение получает группа.

Рандомизация - способ распределения испытуемых в группы в случайной последовательности - с использованием таблицы случайных чисел или иного правильного метода. Рандомизация - обязательное свойство правильного проведения КИ, которое в таком случае называется рандомизированным. Использование случайных чисел гарантирует, что вероятность попадания в конкретную группу лечения одинакова для всех испытуемых. Рандомизация используется не только при проведении КИ, но и при проведении исследований на экспериментальных животных.

В настоящее время РКИ стали стандартом клинических испытаний. Разработаны разные методы рандомизации -рандомизация пациентов по группам, парная рандомизация, факторная, адаптивная и ряд других.

Рисунок 3. Схематическое изображение РКИ

Правильными методами рандомизации являются использование таблиц случайных чисел и компьютерных программ, а также иногда бросание монеты, т.е. методы, которые генерируют случайную последовательность распределения пациентов по группам.

Однако надо отметить, что, несмотря на всеобщее признание, суть рандомизации нередко понимают неверно и вместо случайного распределения испытуемых прибегают к упрощенным способам (по алфавиту, датам рождения, дням недели и т.д.) и даже допускают произвольное распределение в группы. Подобная «псевдорандомизация» не даёт ожидаемых результатов.

Стратификация - используется с целью обеспечения равного распределения испытуемых по группам лечения с учетом факторов, существенно влияющих на исход, например, возраста, длительности болезни и т.д. Иными словами, например, пациенты-мужчины рандомизируются независимо от женщин. Стратификация гарантирует одинаковое распределение указанных факторов в группах лечения.

Статистическое моделирование - применяется для оценки силы связи и эффекта воздействия с одновременным учётом действия множества переменных. Наиболее распространенным методом статистического моделирования вероятности качественных событий (госпитализация, смерть) является множественная логистическая регрессия.

3. Проверка гипотезы

Использование статистических методов тесно связано с представлениями о процессе познания. При столкновении с неизвестными явлениями ученые сначала описывают их, классифицируют, наблюдают. В результате возникают правдоподобные идеи относительно возможных причин наблюдаемых событий, например, необычного заболевания, или возможного способа управления этими событиями, например, лечения. Знания механизмов развития заболевания - обычный источник гипотез о том, как можно повлиять на развитие болезни.

Научная гипотеза - это предположение или утверждение, требующее рассмотрения для подтверждения или опровержения его на основании результатов исследования.

Проверка гипотез (hypothesis testing) осуществляется в исследовании, результаты которого затем становятся материалом статистического доказательства гипотезы, например, о равенстве средних величин или о наличии связи.

Обычно ученый начинает с формулирования гипотезы, кажущейся ему наиболее правдоподобной (основной гипотезы). Например, это может быть гипотеза о том, что при равных условиях результат при лечении будет лучше, чем без лечения. Для того, чтобы воспользоваться инструментами статистического доказывания формулируется нулевая гипотеза, которая предполагает отсутствие различий между двумя репрезентативными выборками из одной популяции, получавшими разное лечение. Исследователи придерживаются данной гипотезы до проведения опыта, т.е. до тех пор, пока она не будет опровергнута результатами проведенных исследований. Отклонение нулевой гипотезы означает принятие альтернативной гипотезы, суть которой в том, что выявленные различия между группами не случайны, т.е. основной гипотезы исследователя.

Альфа - ошибкой называется вероятность ошибочного отклонения нулевой гипотезы, а бета-ошибкой - вероятность ошибочного принятия нулевой гипотезы.

Поскольку основным инструментом проверки гипотезы-является статистический анализ, он должен дать ответ на вопрос «Соответствуют ли полученные данные нулевой гипотезе?».

При статистическом анализе результатов исследований используют разнообразные статистические критерии, выбор которых зависит от особенностей исследуемого объекта, дизайна исследования и измеряемых признаков. Результаты применения различных критериев выражаются в виде индекса величины различия (расстояния) или силы связи и в виде вероятности случайного возникновения такого различия или такой силы связи. Последняя вероятность называется статистической значимостью и выражается величиной р. Если значение р достаточно мало (условно принято менее 0,05), то найденное различие, тенденция, связь признаются статистически значимыми. Сама величина критерия (z - критерий, критерий %² , критерии Фишера, Мана-Уитни, МакНемара, коэффициент корреляции и др.) говорит о величине различия, силе связи. Величина р зависит также от численности исследованных пациентов. Например, на небольшой выборке связь, измеренная коэффициентом корреляции, может быть тесной (если есть только два объекта, то коэффициент корреляции всегда равен единице!), но она будет статистически незначимой.

Наоборот, самое малое различие между группами может быть показано с высоким уровнем статистической значимости, если группы достаточно однородны, а численность их велика. Например, у мужчин среднего возраста с высоким риском сердечнососудистых заболеваний применение статинов приводит к снижению сердечно-сосудистой смертности, но абсолютное снижение риска очень невелико.

Более детальное обсуждение методов статистического анализа в данном пособии не приводится. Однако те, кого интересует эта проблема, могут найти необходимую и доступную информацию в других источниках.

В последнее время многие исследователи приходят к пониманию ограничений проверки гипотез. Всё более популярным становится альтернативный подход к сравнению данных, полученных в исследовании, а именно, расчет точечных значений и доверительных интервалов.

Размещено на Allbest.ru