Непараметрические методы обнаружения и оценивания сигналов и изображений

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

АВТОРЕФЕРАТ

диссертации на соискание ученой степени

доктора технических наук

Непараметрические методы обнаружения и оценивания сигналов и изображений

Специальность 05.13.17 - Теоретические основы информатики

Райфельд М.А.

Новосибирск - 2009

Работа выполнена в Государственном образовательном учреждении высшего профессионального образования «Новосибирский государственный технический университет»

Научный консультант: доктор технических наук, профессор

Спектор Александр Аншелевич

Официальные оппоненты: доктор технических наук, профессор

Лбов Геннадий Сергеевич

доктор технических наук, профессор

Рябко Борис Яковлевич

доктор физико-математических наук, профессор

Воскобойников Юрий Евгеньевич

Ведущая организация: Институт автоматики и электрометрии СО РАН, г. Новосибирск

Актуальность темы. Важной особенностью многих современных систем радиолокации и навигации, связи, робототехники является наличие в их составе блоков или подсистем, предназначенных для цифровой обработки информации. За последние годы круг прикладных задач, решаемых при помощи цифровой обработки сигналов и изображений, существенно расширился и включает в себя области от исследований в медицине, судебной экспертизе, геологии, связи до задач автономного обнаружения, навигации и классификации объектов в военном деле и охране стратегически важных объектов. Развитие цифровых систем обработки информации обусловлено с одной стороны необходимостью автоматизации переработки гигантских объемов информации, а с другой - прогрессом в области вычислительной техники, в частности, связанным с развитием сигнальных процессоров. Последнее обстоятельство обеспечивает базу для создания высокоэффективных информационных систем для широкого круга прикладных задач. Наряду с развитием вычислительных средств и технологий не менее важной составляющей для успешного решения таких задач является разработка эффективных в вычислительном плане алгоритмов обработки данных. Повышение степени автоматизации обработки информации часто требует создание алгоритмов, качественные характеристики которых были бы устойчивы по отношению к неизвестным (либо меняющимся в процессе наблюдений) параметрам и свойствам регистрируемых сигналов. Это свойство является особенно важным для автоматических систем, исключающих присутствие оператора, корректирующего параметры системы. Однако, создание устойчивых алгоритмов актуально и для систем, элементом которых является человек - оператор. Основной задачей здесь является снижение затрат высококвалифицированного, либо утомительного и непроизводительного человеческого труда и затрат на обучение обслуживающего систему персонала. В условиях априорной неопределённости разработчики сложных информационных комплексов достаточно часто идут по пути создания самообучающихся систем, либо систем, использующих обучение с учителем. В ряде случаев использование таких подходов затруднительно из-за значительных временных затрат, связанных с обучением (например, при использовании нейросетевых алгоритмов), либо вследствие значительной сложности алгоритмов самообучения (использующих, например, таксономию).

В работах Н.Винера, А.Н.Колмогорова, Б.Р.Левина, В.И.Тихонова, Г.Ван-Триса обосновывается статистический подход к синтезу алгоритмов обработки сигналов. Основные достоинства указанного подхода заключаются в следующем.

Во-первых, статистический подход выпукло отражает информационный аспект проблемы, что является весьма важным для решения задач, связанных с обнаружением, классификацией объектов, а также с оцениванием параметров сигналов. Понятия априорной неопределённости в рамках данного подхода приобретает ясный математический смысл.

Во-вторых, применение данного подхода позволяет использовать соответствующий математический аппарат, разработанный для различных приложений и включающий в себя такие средства как, например, байесовская теория построения оценок и принятия решений, винеровская и калмановская фильтрация, теория непараметрического обнаружения и оценивания сигналов, теория марковских процессов и т.д. Теоретические основы указанных подходов изложены в работах Э.Лемана, Г.Ван-Триса, П.Хьюбера, Б.Р.Левина, Ю.Г.Сосулина, В.И.Тихонова, И.К.Кульмана, Р.Л.Стратановича.

В-третьих, статистический подход является достаточно универсальным средством для создания широкого класса моделей сигналов и изображений.

Одной из основных проблем статистического подхода является синтез алгоритмов обнаружения, оценивания или классификации в условиях априорной неопределенности (неполной информации о вероятностных свойствах модели). В теоретических работах по статистической обработке сигналов П.С.Акимова, В.А.Богдановича, П.А.Бакута, Б.Р.Левина, а также в работах по математической статистике Я.Гаека, Г.Дэйвида, Э.Лемана, П.Хьюбера излагаются способы построения эффективных алгоритмов в условиях априорной неопределённости. Одним из очевидных способов преодоления априорной неопределённости является использование процедуры обучения на основе регистрируемых наблюдений, восполняющей неполноту информации о статистических свойствах модели. Однако использование подобного подхода имеет ряд недостатков, связанных с необходимостью контролировать качество и устойчивость получаемых оценок, проблемой формирования обучающих выборок, возможностью использования подобных алгоритмов в режиме реального времени и увеличение их вычислительной сложности. В статистической теории проверки гипотез существует развитый аппарат, который позволяет синтезировать оптимальные решающие правила в условиях параметрической априорной неопределённости (когда тип распределения считается известным) без использования процедур обучения. Оптимизация при этом осуществляется по критерию Неймана - Пирсона, который обеспечивает максимальную вероятность правильного обнаружения при фиксированной вероятности ложной тревоги для любых значений неизвестных параметров. Правило, удовлетворяющее такому критерию, называется равномерно наиболее мощным (РНМ). Во многих задачах обработки сигналов и изображений (задачах с непараметрической априорной неопределённостью) вид распределения исходных наблюдений не известен, либо может меняться в процессе наблюдения. В этом случае обычно используют статистики, инвариантные к виду распределения исходных данных. Примером таких статистик являются, например, ранговые и знаковые статистики, статистики, основанные на превышающих наблюдениях. Использование подобных статистик применительно к ряду задач обработки сигналов и изображений (сегментации изображений, построению непараметрических оценок некоторых параметров сигналов и изображений, обнаружению полезных сигналов в задачах обработки сейсмоакустических и речевых сигналов) позволило получать алгоритмы, эффективные как в плане качества, устойчивости, так и вычислительной сложности. Данное направление теории обработки сигналов составляет основное содержание работы.

Цель работы состоит в развитии непараметрического подхода направленном на повышения эффективности непараметрических критериев, разработки универсального подхода к построению непараметрических правил для альтернатив различного типа, адаптации ранговых алгоритмов обнаружения при работе с зависимыми наблюдениями, синтеза и исследования характеристик непараметрических алгоритмов обработки цифровых сигналов и изображений для решения ряда задач:

§ непараметрической сегментации полутоновых и цветных изображений, а также сегментации одномерных сигналов;

§ непараметрического оценивания параметров сигналов и изображений (общей площади занимаемой локальными объектами на изображении, степени зависимости исходных наблюдений сигналов и изображений);

§ непараметрического обнаружения и классификации в задачах обработки сейсмоакустических и речевых сигналов;

Практическое применение разработанных непараметрических алгоритмов позволяет существенно расширить область использования методов цифровой обработки в автономных системах, эксплуатируемых в реальных условиях, таких как охранные системы, системы автоматической регистрации буквенно-цифровой информации, системы кодирования речи, стабилизировать и гарантировать рабочие характеристики подобных систем при значительном разбросе статистических характеристик входных данных.

Методы исследований, используемые в работе, базируются на теории

вероятностей и математической статистике. Использовались следующие статистические подходы к обработке сигналов: байесовские алгоритмы проверки гипотез и максимально - правдоподобного оценивания, алгоритмы принятия решений по критерию Неймана - Пирсона, теория марковских процессов, теория ранговых критериев, классические и авторегрессионные методы спектрального оценивания. Широко использовались методы статистического моделирования с применением математических пакетов MatLab и Mathematica. Проводились экспериментальные исследования синтезированных алгоритмов по реальным сигналам и изображениям. Работоспособность ряда алгоритмов была исследована в составе программного обеспечения реальных информационных систем.

Научная новизна диссертационной работы состоит в следующем:

§ разработан непараметрический подход к бинарной и многоуровневой сегментации полутоновых и цветных изображений и к сегментации одномерных сигналов. Получаемые на базе данного подхода алгоритмы работают в условиях априорной неопределённости относительно распределения наблюдений классов (требуются только общие представления о различии соответствующих распределений). Указанные алгоритмы обеспечивают устойчивые характеристики сегментации;

§ на основе непараметрического подхода к сегментации изображений синтезирован устойчивый алгоритм оценивания общей площади локальных, в том числе малоразмерных объектов;

§ предложен и развит метод, позволяющий увеличивать эффективность непараметрических критериев масштаба, основанный на предварительной группировке исходных данных;

§ предложен универсальный подход к построению непараметрических решающих правил для альтернатив различного вида, основанный на вычислении проекций эмпирических оценок плотностей вероятностей в функциональном базисе, построенном на основе оценок распределения исходных выборок при основной гипотезе. Решающие правила, построенные для этих проекций (являющихся, по существу, формой редукции исходных данных), обладают непараметрическим свойством и характеризуются высокой мощностью;

§ для зависимых наблюдений предложены и развиты методы описания статистической зависимости исходных наблюдений. Структура получаемых моделей сохраняет устойчивость при произвольных изменениях многомерных распределений исходных данных. Предложены методы оценивания параметров этих моделей и принципы их использования для стабилизации характеристик непараметрических обнаружителей (адаптации непараметрических обнаружителей).

Перечисленные выше подходы, методы и модели являются новыми и впервые были использованы при решении ряда прикладных задач.

Практическая ценность. Разрабатываемые подходы и методы обработки сигналов и изображений являются непараметрическими, что позволяет использовать их в условиях априорной неопределённости относительно вероятностных свойств сигналов. Указанное условие использования характерно для широкого круга автономных охранных систем, систем локации, навигации, связи, машинного зрения, предназначенных для эксплуатации в заранее неизвестных условиях. Достаточно часто при синтезе алгоритмов обработки сигналов намеренно делается предположение о наличии априорной неопределённости относительно распределения исходных данных, что может быть связано с возможным быстрым изменением статистических свойств поступающих данных и необходимостью стабилизации в указанных условиях изменчивости важнейших характеристик системы (таких, например, как вероятность ложной тревоги). Использование непараметрических подходов позволяет существенно снизить требования к настройке и развёртыванию системы, условиям её работы, исключить зависимость качества обработки от ряда внешних факторов (например, сезонных). Устойчивость качественных характеристик предложенных алгоритмов позволяет повысить степень автоматизации системы, достоверность и надёжность её функционирования. Алгоритмы, синтезируемые на базе предлагаемых подходов, при определённых условиях являются достаточно простыми и не требуют использования операций с плавающей точкой. На практике было показано, что в ряде задач одномерной обработки сигналов они могут работать на базе таких популярных шестнадцатиразрядных сигнальных процессоров как Texas, BlackFin или Shark в реальном масштабе времени. Обработка видеоинформации, выполняемая в темпе поступления кадров, требует более мощных вычислителей. В частности, алгоритмы сегментации изображений были реализованы с использованием отечественного нейроматричного процессора NM6403 фирмы «Модуль».

Реализация результатов диссертации. Научные и практические результаты диссертации нашли применение в ряде хоздоговорных и госбюджетных НИР, выполненных в разные годы на кафедре Теоретических основ радиотехники Новосибирского Государственного Технического Университета: ТОР 01-02 (ООО КТЦ «Сигнал»), ТОР 02-03 (шифр «Форшлаг НВ»), ТОР 01-05 (шифр «Звезда»), ТОР 02-05 (шифр «Циркуль ПО»), ТОР 05/07 (ФГУП ПО «Север»), грант Российского фонда фундаментальных исследований №99-0100489, грант Министерства образования РФ №97-5-5.1-56. Результаты диссертации внедрены в следующих научных и научно-производственных организациях: ФГУП ГосНИИПП (г. С.-Петербург), ФГУП ПО «Север» (г. Новосибирск), «Урал-СибНИИОС» (Новосибирский филиал ФГУП ПО «УОМЗ», г. Екатеринбург), ООО «Электроконнект» о чём имеются соответствующие акты внедрения.

Основные положения, выносимые на защиту:

§ метод непараметрической сегментации полутоновых изображений и многомерное развитие данного метода применительно к сегментации цветных изображений;

§ метод повышения мощности непараметрических критериев масштаба, основанный на процедуре предварительной группировки исходных данных;

§ подход к синтезу непараметрических алгоритмов, основанный на вычислении проекций оценки функции плотности вероятности в специальном функциональном базисе;

§ метод адаптации непараметрических алгоритмов в условиях зависимых наблюдений, основанный на оценивании устойчивых параметров зависимости.

Апробация работы.

Результаты работы докладывались и обсуждались на 8 всероссийских и 7 международных конференциях, в том числе:

§ Российская научно-техническая конференция «Информатика и проблемы телекоммуникаций», г. Новосибирск, 1996 г.;

§ Международная научно-техническая конференция «Идентификация, измерение характеристик и имитация случайных сигналов»,

г. Новосибирск, 1993, 1997 гг.;

§ 7-я Международная научно-техническая конференция «Актуальные проблемы электронного приборостроения АПЭП-2004»,

г. Новосибирск, 2004 г.;

§ 7-я Всероссийская научно-практическая конференция, г. Томск, 2005 г.;

§ 2-я Всероссийская научная конференция с международным участием «Проблемы развития и интеграции науки, профессионального образования и права в глобальном мире», г. Красноярск, 2007 г.;

§ 4-я научно-практической конференции «Электронные средства и системы управления», г. Томск, 2007 г.

Публикации.

Результаты, полученные в диссертации, опубликованы в 31 печатной работе, из них 11 - в центральных изданиях по списку ВАК, 5 - в сборниках научных трудов и 15 - в материалах трудов научно-технических конференций и семинаров.

Структура и объём работы.

Диссертационная работа состоит из введения, шести глав, заключения, списка использованных источников и приложения. Объём работы составляет 362 страницы основного текста, включая 132 рисунка, 6 таблиц, списка использованных источников из 151 наименования на 16 страницах.

СОДЕРЖАНИЕ РАБОТЫ

Первая глава диссертации посвящена обзору алгоритмов, реализующих статистический подход к обработке сигналов и изображений, используемых для решения задач обнаружения, оценивания и классификации. Задачи обработки данных с целью извлечения полезной информации достаточно условно могут быть разделены на задачи первичной и вторичной обработки. При решении задач первой группе обычно используют методы, позволяющие облегчить извлечение полезной информации из регистрируемых данных при наличии шумов и помех в результате их машинного или операторного анализа. К указанным методам относятся фильтрация сигналов из шума, уменьшение избыточности исходных данных, выделение и подчёркивание информационных признаков. Ко второй группе проблем относят проблемы, непосредственно касающиеся извлечения информации из получаемых данных. Это задачи двух и многоальтернативного обнаружения полезного сигнала, оценивания каких-либо параметров регистрируемых сигналов, классификации и сегментации данных. При использовании указанного подхода немаловажным условием решения перечисленных выше задач является наличие априорной информации о вероятностных свойствах обрабатываемых сигналов (его многомерном распределении). В соответствии с полнотой априорной информации о регистрируемых данных используются либо байесовские подходы к обнаружению и оцениванию, позволяющие добиться наилучших качественных характеристик алгоритмов (при наличии полной априорной информации), либо устойчивые методы, обладающие работоспособностью и обеспечивающие заявленные рабочие характеристики в условиях априорной неопределённости заданного типа (параметрической или непараметрической). Приводимые в диссертации примеры реальных задач свидетельствуют об актуальности непараметрического подхода к обработке сигналов.

При решении ряда прикладных задач требуется обнаруживать полезный сигнал, дисперсия которого отличается от дисперсии помехи, на фоне которой он наблюдается. Отмечено, что к данной постановке приводится достаточно много практических задач обнаружения полезного сигнала, спектральные свойства или модель формирования которого отличаются от свойств окрашенного шума наблюдения. Используемый в этом случае на первом этапе обработки выбеливающий или предсказывающий фильтр помехи, передаточная функция которого оцениваются по выборкам помехи в соответствии с критерием минимума среднего квадрата ошибки, приводит к превращению последовательности её отсчетов в процесс, близкий к белому шуму. Полезный сигнал при этом искажается, но не выбеливается полностью (из-за различия моделей формирования полезного сигнала и помехи) и его дисперсия превышает дисперсию выбеленной помехи. Достаточно часто выбеленная помеха имеет вид случайного импульсного процесса. Распределение отсчётов такого процесса не является гауссовским. Оно, вообще говоря, не известно и может меняться с течением времени. Не известно также распределение отсчётов полезного сигнала, обработанного выбеливающим фильтром помехи. Если обнаружитель полезного сигнала оптимизируется по критерию Неймана - Пирсона, то в условиях непараметрической априорной неопределённости оправданным подходом может считаться применение непараметрического алгоритма.

В системах, использующих изображения в качестве источника информации (например, в системах машинного зрения), а также в современных системах телевидения требуется их представление в компактном виде. Такое представление часто оказывается возможным благодаря тому, что большинство реальных изображений состоит из областей, однородных в некотором смысле. Области изображений могут быть однородны по яркости, цвету, текстуре и т.д. Задача заключается в выделении и разметке областей по заданным признакам или сегментации изображения в условиях наличия шума наблюдения с неизвестным распределением. В большинстве приложений задачу сегментации изображений рассматривают с позиции классификации точек изображения. Существует строгая математическая теория решения задачи классификации наблюдений, основанная на оптимальном байесовском подходе, минимизирующем средний риск или средние потери (если в распоряжении исследователя имеются априорные вероятности классов и плотности вероятности признаков, условные по классам). Однако в ряде работ констатируется, что применительно к обработке изображений задача классификации далека от общего решения и не имеет единого подхода. Данное утверждение обычно объясняют неэффективностью (в вычислительном плане) формальной последовательности процедур оптимальной обработки данных, особенностью исходных наблюдений, представляющих собой связную двумерную структуру, а также неполнотой априорной информации о распределении этих наблюдений. В зависимости от объёма и характера априорной информации возможны различные варианты построения алгоритмов классификации: подходы, связанные с использованием кластерного анализа, процедуры с обучением, самообучением, параметрические и непараметрические методы, методы структурного подхода. Естественно, что отсутствие полного описания вероятностной структуры задачи усложняет её решение и особенно анализ качественных характеристик синтезируемых классификаторов. В ряде случаев априорная информация о виде распределения наблюдений классов отсутствует. Имеется лишь информация о каких-либо различиях этих распределений, например, о наличии сдвига или масштабных различий. В этих случаях обоснованным является ранговый подход к сегментации изображений.

При решении ряда прикладных задач, связанных с использованием сигналов и изображений в качестве одной из форм представления информации (обычно в системах обслуживаемых оператором, а также, например, в системах телевизионного вещания), требуется повышать «визуальное» качество регистрируемых сигналов и изображений путём фильтрации их из шума. К настоящему времени известно достаточно много методов фильтрации изображений, полученных, в основном, распространением методов фильтрации одномерных сигналов на случай двумерных наблюдений. Существующее разнообразие подходов связано с множеством математических моделей сигналов. Наиболее обширным и изученным является класс линейных алгоритмов, ориентированных в основном на гауссовскую модель сигнала и шума. Необходимо отметить максимальную эффективность (в том числе вычислительную) линейных алгоритмов в указанных условиях. Однако в работе П.Хьюбера «Робастность в статистике» было показано, что уже при незначительном загрязнении выборки аномальными наблюдениями эффективность линейных правил существенно снижается. В этих условиях становится оправданным использование при фильтрации непараметрических оценок: - оценки (медиана выборки является её частным случаем), - оценки Хьюбера, а также -оценки Ходжеса - Лемана. Указанное множество оценок реализует два наиболее распространённых подхода к понятию робастного оценивания: подход на основе функции влияния Хампеля и модель - загрязнения Хьюбера. На основании материала, изложенного в первой главе диссертации, делается вывод о достаточно широких областях практического применения непараметрических методов в различных задачах обработки сигналов и изображений.

Вторая глава диссертации посвящена разработке и исследованию способов повышения эффективности непараметрических критериев масштабных различий. В начале второй главы приводится общая структурная схема системы обнаружения сигналов на фоне окрашенного шума, использующая в своём составе блок непараметрической обработки. С учётом того, что непараметрическая обработка обеспечивает стабильные характеристики обнаружения при условии независимости отсчётов помехи, одним из возможных решений, позволяющих добиться указанной стабилизации, является «выбеливание» окрашенной помехи с помощью линейного фильтра. Известно, как можно построить такой фильтр для помехи, задаваемой моделью линейного предсказания вида:

, (1)

где - отсчет порождающего белого шума, - отсчеты помехи, - весовые коэффициенты. При этом величину :

(2)

можно рассматривать как экстраполяционную оценку процесса . С учётом выражений (1),(2) трансверсальный выбеливающий фильтр должен иметь передаточную функцию вида:

. (3)

Как показано в работе С.Л. Марпла мл. «Цифровой спектральный анализ и его приложения», оптимальные с точки зрения критерия минимума дисперсии ошибки предсказания коэффициенты выбеливающего фильтра (коэффициенты линейного предсказания) находятся из системы линейных уравнений:

. (4)

В системе линейных уравнений (4) - оценка корреляционной функции помехи . Эта оценка находится на основе наблюдений выборки помехи . Использование линейного выбеливающего фильтра (3) с постоянными коэффициентами предполагает стационарность модели помехи. Реальные помехи не являются, однако, стационарными. Наиболее характерным и неприятным является случай загрязнения стационарной помехи, задаваемой моделью (1), отсчётами быстрого импульсного случайного процесса. Если при оценивании коэффициентов в выборку попадут отсчёты такого процесса, то использование полученного на их основе фильтра приведёт к неполному выбеливанию помехи и увеличению по сравнению с заданной вероятности ложной тревоги непараметрического обнаружителя. Для устранения данной проблемы в диссертации предлагается для построения выбеливающего фильтра использовать неперекрывающихся выборок помехи , и на их основании строить наборов коэффициентов , решая систему линейных уравнений (4). При этом экстраполяционная оценка процесса строится согласно правилу:

, (5)

где . Коэффициенты оцениваются по выборке с использованием критерия минимальной дисперсии ошибки предсказания . В диссертации показано, что оптимальные коэффициенты находятся системы линейных уравнений:

, (6)

где , . Использование алгоритма (6) для нахождения коэффициентов фильтра (3) позволило повысить качество выбеливания сигнала по сравнению с получаемым при традиционном способе расчёта коэффициентов выбеливания (4) при наличии импульсной помехи. Качество выбеливания оценивалось в результате сравнения корреляционных функций выбеленного тем или другим способом сигнала.

В подразделе 2.2. приводятся известные непараметрические двухвыборочные критерии масштаба (критерий, основанный на сумме квадратов рангов, Ансари-Брэдли и критерии превышений). Данные тесты используются для построения обнаружителей Неймана-Пирсона, когда распределения наблюдений при гипотезе - и альтернативе - удовлетворяют уравнению:

, (7)

где - масштабный множитель (). В результате сравнения характеристик указанных критериев с критерием, использующим статистику суммы квадратов наблюдений (), при гауссовском распределении исходных наблюдений было показано, что при прочих равных условиях все непараметрические критерии имеют соизмеримую мощность и существенно проигрывают оптимальному (при гауссовском распределении) критерию, использующему для принятия решения статистику . При этом отмечается, что критерии превышений существенно выигрывают в плане вычислительной эффективности у ранговых критериев, поскольку не требуют вычислений ранга. Статистики или этих критериев находятся по правилам:

, . (8)

В формулах (8) - отсчет рабочей выборки , состоящей из элементов ; - отсчет опорной выборки , состоящей из элементов ; - соответственно минимальный и максимальный элементы рабочей и опорной выборок; индикаторы превышений, - знак логического объединения (или).

Очевидно, что проигрыш непараметрических алгоритмов параметрическому критерию связан с невозможностью использования дополнительной информации о виде распределения (вследствие предполагаемого отсутствия информации данного рода). Эту информацию можно получить, например, на основе дополнительной обучающей выборки и в каком-то виде использовать в непараметрическом критерии для увеличения его эффективности. Важной проблемой при этом является сохранение непараметрического свойства критерия. Подобный подход, основанный на метках, был развит (применительно к ранговым критериям) в работах Я.Гаека. Предполагалось, что вид распределения известен заранее, метки рассчитывались для распределения именно этого вида. В диссертации для увеличения эффективности критериев превышений было предложено использовать предварительную пороговую группировку данных, «согласованную» с распределением исходных наблюдений. Группировка исходных отсчетов опорной и рабочей выборок по уровню осуществляется с помощью специальной пороговой процедуры. Далее вычисляется статистика превышений для каждой из соответствующих групп отсчетов рабочей и опорной выборок. Решение принимается на основе полученного набора статистик превышения. Пороговая процедура задаётся с помощью функции . Здесь - выборка отсчетов; - набор порогов, обеспечивающий разбиение наблюдений опорной и рабочей выборок на групп. После группировки непараметрический тест применяется к соответствующим группам наблюдений опорной и рабочей выборок. В общем случае формируются частичных статистик превышений ={,….,}, рассчитанных для выборок , ,…,. Принятие бинарного решения может осуществляться по критерию Неймана-Пирсона на основе одного из следующих способов:

§ - мерное пространство статистик разбивается на две области. Одна из областей содержит точки, соответствующие , другая - . Проверяется принадлежность векторного наблюдения указанным областям.

§ на основе - мерного вектора формируется какая-нибудь скалярная статистика, например: , которая затем сравнивается порогом обнаружения .

При гипотезе соответствующие группы опорной и рабочей выборок состоят из наблюдений, характеризующихся одной и той же плотностью вероятности, поэтому статистики непараметрического критерия, рассчитанные для каждой из групп наблюдений, обладают непараметрическим свойством (при фиксированных размерах частичных выборок). Так, например, распределение статистики (условное по отношению к размерам частичных рабочей и опорной выборок ) при гипотезе , не зависит от вида исходного распределения наблюдений. Что касается размеров частичных выборок , то они, вообще говоря, будут случайными, а их совместное распределение подчиняется полиномиальному закону, параметры которого зависят от исходных размеров выборок и ( и , соответственно), порогов группировки и распределения исходных наблюдений. Безусловное распределение частичной непараметрической статистики при гипотезе - можно найти усреднением:

, (9)

где - вероятность попадания исходного наблюдения в - ю группу при гипотезе, которая определяется как: . Таким образом, распределение опосредовано (через вероятность ) будет зависеть от распределения исходных наблюдений при гипотезе . Для стабилизации вероятности ложной тревоги на заданном уровне можно предварительно оценивать вероятность попадания наблюдения в - ю группу при гипотезе с помощью специальной обучающей выборки, не содержащей полезного сигнала, а затем рассчитывать распределение по формуле (9). При этом , где - общий объём обучающей выборки, а - количество элементов обучающей выборки, попавших в -ю группу. Другой подход основан на принципе минимакса. Поскольку вероятность ложной тревоги зависит от распределения исходных наблюдений только через вероятности , то можно указать такой их набор, при котором распределение , где , обладает наиболее «тяжёлыми хвостами». При этом получается наибольшее значение вероятности ложной тревоги . Третий из предлагаемых подходов связан с использованием в качестве порогов группировки порядковых статистик (), вычисляемых на основе наблюдений опорной выборки , либо дополнительной обучающей выборки. В этом случае сохраняется непараметрическое свойство критерия.

Распределение решающей статистики при гипотезе - находится по формуле, полученной в диссертации:

(10)

= (11)

Анализ выражения (10) показывает, что при одном и том же наборе коэффициентов максимальное значение получается при равных вероятностях , т.е. когда - это и есть наихудший случай. Таким образом, максимально-возможное значение (для данного вектора весовых коэффициентов ) с учетом выражения (10) может быть определено при помощи выражения, также найденного в диссертации:

(12)

где вычисляется по формуле (11). Как показали исследования, проведённые в диссертационной работе рациональный выбор порогов группировки наблюдений и весовых коэффициентов при построении непараметрических статистик, чувствительных к контрасту дисперсий, может приводить к увеличению эффективности критериев масштаба, основанных на этих статистиках. Подход к выбору коэффициентов заключается в том, чтобы присваивать локальным статистикам групп, вносящим больший вклад в результирующую мощность правила, большие веса. В диссертации было показано, что оптимальным для - группы является вес , который рассчитывается как отношение вероятностей попадания в эту группу исходных наблюдений при гипотезе и альтернативе, т.е. . При непараметрической априорной неопределённости, когда нахождение оптимальных значений не представляется возможным, к неплохим результатам при альтернативах масштаба приводит назначение коэффициентов в виде последовательности линейно нарастающих значений: . Рассмотрим далее подход, основанный на порядковых статистиках. Сущность данного подхода заключается в назначении в качестве порогов группировки порядковых статистик , вычисляемых на основе опорной выборки наблюдений . При этом в качестве вектора порогов группировки можно использовать, например, следующий набор порогов , где - целое число, удовлетворяющее неравенству . Важным частным случаем является значение , приводящее к следующему вектору порогов: . В данном случае статистика - группы имеет смысл количества наблюдений из рабочей выборки , попавших в интервалы и , сформированные на основе наблюдений опорной выборки . При гипотезе распределение статистики не зависит от распределения исходных наблюдений и определяется выражением:

.(13)

Подход к выбору коэффициентов остаётся тем же, что и описанный выше. Он заключается в том, чтобы присваивать статистикам групп , вносящим больший вклад в результирующую мощность правила и меньший вклад в результирующую вероятность ложной тревоги большие веса.

В третьей главе диссертации предложен универсальный подход к синтезу непараметрических критериев при произвольных альтернативах. Данный подход основан на использовании оценок проекций. Он позволяет:

§ синтезировать эффективную непараметрическую процедуру для альтернативы заданного типа;

§ достаточно просто использовать дополнительную информацию о вероятностных свойствах входных данных для увеличения эффективности правила.

Основная идея данного подхода заключается в следующем. Пусть распределения наблюдений при гипотезе и альтернативе описываются плотностями и соответственно. Задаваясь функциональным базисом, построенным на основе функций, производных от и , можно обеспечить одинаковое представление плотности в данном базисе вне зависимости от конкретного вида этой плотности. В соответствии с вышесказанным в качестве базисных функций предложено использовать базисные функции вида:

. (14)

Легко убедиться, что базис, основанный на функциях (14), не является ортогональным. Эти функции лишь линейно независимы. Векторы проекций функций и , определяемых плотностями и , соответствующих гипотезе и альтернативе на этот базис обозначим как и . Принятие решений основывается на измерении расстояния между полученным вектором проекций и векторами проекций и . Необходимо отметить, что вектор проекций не зависит от вида распределения исходных наблюдений. Наиболее простая процедура нахождения расстояния для векторов и может быть представлена в ортонормальном базисе. Используя процедуру Грама - Шмидта, можно привести базис (14) к ортонормальному. При этом получается следующая система ортонормальных базисных функций

: , ,

, (15)

Как отмечалось выше, значение вектора проекций при гипотезе не зависит от вида функции распределения наблюдений и в базисе, заданном функциями (15), имеет вид: {1,0,0,0,0,….}. При решении статистических задач с непараметрической неопределённостью, когда функции распределения неизвестны, задача заключается в получении оценки вектора и проверки статистических гипотез о его принадлежности к или .

Главным вопросом является технология использования исходных данных при вычислении проекций, поскольку в распоряжении обнаружителя имеются лишь выборки наблюдений, на основе которых необходимо принимать решение. Один из возможных способов заключается в построении по наблюдениям рабочей выборки оценки функции , а на основе наблюдений опорной выборки - оценок базисных функций . Далее находятся оценки проекций:

. (16)

Очевидно, что значения оценок проекций являются случайными величинами, поскольку оценки и являются функциями наблюдений. Данный подход имеет одну привлекательную особенность. Допустим, что с некоторой вероятностью можно считать распределение опорной выборки известным, а с вероятностью полагаться на оценку , построенную по опорной выборке . В этом случае значение функции распределения в точке можно оценивать как . При этом уменьшается дисперсия оценок проекций и, следовательно, увеличивается эффективность алгоритма различения гипотез. Указанным способом дополнительная информация о распределениях может учитываться при синтезе решающего правила. Для получения непараметрической оценки плотности вероятности обычно используются методы окон Парзена или ближайших соседей. Распределение оценки проекции, вычисляемой в соответствии с выражением (16), зависит, вообще говоря, от распределения исходных наблюдений. В первом приближении её распределение можно считать гауссовским с математическим ожиданием равным значению проекции:

. (17)

На основе теоремы Буняковского - Шварца при гипотезе можно оценить верхнюю границу дисперсии оценки проекции. При этом:

. (18)

Поскольку , то: ,

где , - соответственно коэффициенты при и в -й функции базиса (15). Из выражения (18) следует, что данная граница оценки максимальной дисперсии проекции наблюдений при гипотезе является непараметрической, так как в эту формулу не входит выражение для распределения исходных наблюдений. Данный факт можно использовать для стабилизации вероятности ложной тревоги обнаружителя. Было показано, что принятие бинарного решения по критерию Неймана-Пирсона может осуществляться в результате сравнения с порогом решающей статистики , представляющей собой сумму проекций, взятых с некоторыми весами:

. (19)

Оптимальный выбор коэффициентов , максимизирующий вероятность правильного обнаружения правила, зависит от типа альтернативы (сдвиг, масштаб, масштаб и сдвиг) и вида распределения наблюдений. Выше было отмечено, что при гипотезе средние значения проекций, отличных от нулевой, равны нулю при любом распределении исходных наблюдений. Поэтому при непараметрической априорной неопределённости можно использовать статистики проекций, зависящие только от типа альтернативы. Например, в случае альтернативы сдвига предлагается использовать статистику вида:

. (20)

При альтернативе масштаба в случае симметричного распределения эффективна статистика:

. (21)

Четвёртая глава диссертации посвящена вопросам адаптации непараметрических алгоритмов при работе с зависимыми наблюдениями. Реальные помехи, на фоне которых осуществляется обнаружение полезного сигнала в системах радиолокации, навигации, связи являются процессами с зависимыми отсчетами. Таким образом, использование ранговых обнаружителей полезного сигнала (распределение которого, например, отличается сдвигом от распределения помехи) по критерию Неймана - Пирсона в условиях подобных помех невозможно, т.к. не удаётся стабилизировать вероятность ложной тревоги. Тем не менее, некоторые полезные свойства ранговых статистик, например, их инвариантность к монотонным нелинейным преобразованиям, заставляют искать возможности стабилизации вероятности ложной тревоги и в условиях зависимости наблюдений. В работах П.С.Акимова предлагался подход к преодолению указанной проблемы, предполагающий адаптацию рангового алгоритма принятия решения по обучающей выборке наблюдений, содержащей лишь зависимые отсчеты помехи. Адаптация решающего правила сводится к коррекции (в сторону ужесточения по сравнению со случаем независимых отсчетов) порога принятия решения с целью сохранения на заданном уровне вероятности ложной тревоги непараметрического правила. Для эффективной коррекции порога необходимо получение распределения ранговой статистики при гипотезе , которое определяется степенью зависимости исходных наблюдений. Поскольку в условиях непараметрической априорной неопределённости в распоряжении наблюдателя имеется только обучающая выборка данных, то речь может идти лишь об оценке распределения ранговой статистики. Данная оценка должна обладать рядом полезных качеств:

§ Оценка должна достаточно точно описывать распределение ранговой статистики не только в «средней части», но и на «хвостах», поскольку типовые значения вероятности ложной тревоги могут составлять величины порядка . Использование в качестве аппроксимации реального распределения ранговой статистики распределения с заведомо более тяжелыми «хвостами», хотя и гарантирует вероятность ложной тревоги меньшую заданной , но при этом значительно снижает мощность правила в результате завышения порога обнаружения. Низкие значения вероятности ложной тревоги ограничивают возможность использования статистического моделирования для оценки порога обнаружения, необходимого для обеспечения заданной вероятности ложной тревоги. Временные затраты на проведение подобного статистического эксперимента, а также объем обучающей выборки оказываются недопустимо велики. Необходимо учитывать также возможную нестационарность получаемых данных.

§ Поскольку вид распределения исходных наблюдений в задачах, использующих непараметрические подходы, обычно неизвестен, либо может меняться в процессе наблюдения, алгоритм получения оценки распределения ранговой статистики должен обладать определенной устойчивостью к данным условиям наблюдения.

Основной подход, используемый при адаптации ранговых критериев и развиваемый в диссертации, заключается в построении параметрической оценки распределения ранговой статистики при основной гипотезе. Вводимый для описания зависимости наблюдаемых данных параметр распределения определяется степенью зависимости исходных наблюдений. Исходя из указанных выше качеств оценки распределения ранговой статистики , для её получения в диссертации предложен следующий эвристический подход.

Во-первых, вводится показатель «степени зависимости» исходных наблюдений (скалярный, либо векторный), который является малочувствительным к вариации вида распределения исходных данных, а определяется лишь мерой зависимости элементов, составляющих эти данные.

Во-вторых, находится функциональная зависимость распределения ранговой статистики от этого показателя , на основе которой производится коррекция порога обнаружения. Выполнение условия слабой зависимости от вида распределения исходных наблюдений показателя представляется важным, поскольку, если оно не выполняется, зависимость распределения ранговой статистики от вида распределения исходных наблюдений передаётся опосредованно через этот показатель. Рассмотрим один из показателей зависимости наблюдений - одношаговый коэффициент корреляции . В случае, если распределение исходных наблюдений является гауссовским и характеризуется экспоненциальной корреляционной функцией, данный показатель служит исчерпывающим описанием степени зависимости наблюдений. Если распределение отличается от гауссовского или является гауссовским с более сложным видом корреляционных связей, коэффициент корреляции уже не является исчерпывающей характеристикой зависимости отсчетов выборки и не может быть использован для адаптации непараметрического обнаружителя. Так, в диссертации было показано, что нелинейное монотонное преобразование исходных данных делает невозможным использование данного показателя для стабилизации вероятности ложной тревоги ранговой статистики. Для выбора эффективного и устойчивого показателя «степени зависимости» исходных наблюдений был проанализирован механизм (модель) влияния зависимости исходных наблюдений на одномерное распределение рангов. Было показано, что такую модель можно описать в терминах уменьшения «эффективного» объёма выборки по сравнению с её физическим объёмом. Это означает, что для выборки зависимых наблюдений физического размера можно указать такое эквивалентное (эффективное) значение размера выборки , состоящей из независимых наблюдений, которая содержит столько же информации о многомерном распределении, сколько содержит вариационный ряд из отсчетов исходной выборки. Величину можно рассматривать, как степень уменьшения эффективного объема выборки вследствие зависимости её отсчетов и использовать в качестве показателя зависимости . Простейший способ моделирования уменьшения эффективного объема выборки по сравнению с исходным объемом состоит в представлении исходной выборки в виде независимых отсчетов, каждый из которых повторяется раз, . Физический объём выборки остаётся при этом равным . Ранг независимого наблюдения в вариационном ряду, составленном из зависимых наблюдений , в рамках данной модели может принимать значения , а его распределение задаётся выражением:

непараметрический сейсмоакустический изображение сигнал

. (22)

В диссертации получен алгоритм МП оценивания параметра на основе выборки рангов наблюдений . Было показано, что МП оценка находится по формуле:

. (23)

В последнем выражении значение определяется из уравнения , где - ближайшая к рангу точка из множества допустимых значений ранга .

Анализ описанной модели, выполненный в диссертации, показал необходимость ее дальнейшего совершенствования. Основным ее недостатком является детерминированный механизм кратного дублирования независимого отсчета. Более адекватным для описания широко используемых на практике сигналов с зависимыми отсчётами (например, гауссовского марковского сигнала) представляется подход, когда механизм дублирования приобретает стохастический характер. Поэтому в подразделе 4.2. диссертации была предложена усовершенствованная модель формирования зависимых наблюдений. Ключевым для этой модели является предположение о случайной длине группы совпадающих наблюдений. При этом условное распределение исходных наблюдений, следующих одно за другим, представляется в виде:

, (24)

где - действительное число из интервала , - - функция, - одномерная плотность вероятности исходных наблюдений. Модель, задаваемая выражением (24), имеет ряд преимуществ перед гауссовской марковской моделью и моделью - кратного повторения отсчётов при описании распределения рангов зависимых наблюдений:

§ не накладывается ограничений на вид распределения исходных наблюдений ;

§ параметр, описывающий степень зависимости - , не меняется при изменении вида распределения исходных наблюдений , вызванного, например, монотонным нелинейным преобразованием;

§ при гауссовском распределении наблюдений распределение ранга, полученное для данной модели, близко к распределению ранга гауссовской марковской модели;

§ имеется возможность точного вычисления распределения ранга.

В диссертации показано, что распределение ранга, соответствующее данной модели, определяется выражением:

. (25)

В подразделе 4.2.1. рассматривается задача оценивания параметра модели (24) по выборке рангов . Было показано, что МП-оценка является корнем алгебраического уравнения:

, (26)

где представляют собой общее количество наблюдений , которые характеризуются максимальным или минимальным рангом в соответствующих выборках .

На основании полученных в подразделах 4.1, 4.2 диссертации распределениях рангов зависимых наблюдений возможна адаптация ранговых правил, распределение решающих статистик которых определяется одномерным распределением ранга. Примером правила такого типа является модифицированный критерий Вилкоксона, предложенный в работе П.С. Акимова для обнаружения сигналов в радиолокации. Статистика этого критерия определяется выражением:

, (27)

где - ранг отсчёта , полученный в -м независимом эксперименте () для выборки зависимых наблюдений . В данном случае распределение решающей статистики определяется - кратной свёрткой распределений (22) или (25). На практике более часто используются двухвыборочные ранговые правила, решающая статистика которых определяется не одномерным, а многомерным распределением рангов рабочей выборки. Типичным примером подобных правил является классический тест Вилкоксона. Его решающая статистика также задаётся выражением (27), однако смысл параметров алгоритма и несколько иной. В случае классического критерия Вилкоксона представляет собой ранг -го элемента рабочей выборки объема в вариационном ряду, составленном из элементов общей выборки (рабочая выборка является частью общей выборки).

Подраздел 4.3. посвящен вопросам адаптации двухвыборочных ранговых алгоритмов подобных классическому тесту Вилкоксона в условиях зависимых наблюдений. Как уже отмечалось выше особенностью адаптации данных алгоритмов по сравнению с рассмотренной в подразделах 4.1 и 4.2 является необходимость оценивания распределения ранговой статистики на основе многомерного распределения рангов зависимых наблюдений. Так, распределение статистики классического теста Вилкоксона определяется - мерным распределением рангов рабочей выборки, состоящей из зависимых отсчётов. Выше было отмечено, что механизм влияния зависимости исходных наблюдений на распределение ранговых статистик может быть описан в терминах уменьшения эффективного объема выборки с использованием детерминированного показателя этого уменьшения . В подразделе 4.3.1 описывается использование данной модели для представления распределения статистики классического теста Вилкоксона в условиях зависимых наблюдений. Статистику для зависимых наблюдений можно представить в виде:

, (28)

где - статистика Вилкоксона, вычисляемая по независимым наблюдениям выборки. Порог обнаружения , обеспечивающий заданную вероятность ложной тревоги , рассчитывается по формуле:

, (29)

где - порог обнаружения для статистики Вилкоксона . Значение порога является табличным для параметров , . МП-оценивание параметра зависимости может осуществляться в результате анализа выборки статистик Вилкоксона , полученной в ходе независимых экспериментов. Используя гауссовскую аппроксимацию для распределения статистики Вилкоксона, можно показать, что МП-оценка находится по правилу:

. (30)

Согласно выражению (30) МП-оценка параметра представляет собой отношение выборочной дисперсии статистики Вилкоксона, полученной для текущих выборок с зависимыми отсчетами, к дисперсии, характерной для данной статистики при независимых наблюдениях. Полученная оценка может быть использована для устойчивой адаптации обнаружителя, использующего статистику Вилкоксона, при работе по зависимым наблюдениям с целью стабилизации вероятности ложной тревоги на заданном уровне. Адаптация предполагает подстройку порога обнаружения на основе измеренной по наблюдениям обучающей выборки оценки в соответствии с выражением (29).