Обучения распределённых линейно-регрессионных классификаторов в режиме реального времени

Размещено на http://www.allbest.ru/

Калужский филиал Московского государственного технического университета им. Н.Э. Баумана

Обучения распределённых линейно-регрессионных классификаторов в режиме реального времени

В.Е. Вершинин, e-mail: goliathonline@mail.ru

М.Б. Логинова loginovamb@yandex.ru

Калуга

При работе в режиме реального времени стремительный рост объёмов данных, на основе которых строятся классифицирующие информационные модели, представляет собой трудноразрешимую проблему для многих современных средств интеллектуального анализа информации.

С одной стороны, причиной затруднений является необходимость обеспечения заданного уровня ошибки функционирования, что вынуждает применять сложные нелинейные подходы. С другой стороны, требования высокого быстродействия системы, в частности, организации быстрого обучения на новых данных, вынуждает прибегать к сэмплированию, понижению размерности и другим механизмам предобработки данных [1], вплоть до существенного упрощения модели, что негативно сказывается на точности работы системы.

Особенностью многих эффективных методов классификации (в частности, нейросетевых) является сохранение ими обучающей выборки для проведения дообучения на новых данных [2]. В случаях, когда объёмы обрабатываемых данных исчисляются десятками и сотнями тысяч записей, такие методы становятся малопригодными не только по причине длительного переобучения, но и из-за необходимости постоянной обработки (сохранения, извлечения, пересмотра) больших дополнительных объёмов информации. каскадированный информационный домен

Решением ряда отмеченных проблем является построение каскадированных распределённых систем [3]. Настоящая работа описывает распределённый метод обучения в режиме реального времени (РМОРВ) на основе линейно-регрессионных классификаторов применительно к системам, оперирующим высокоразмерными категорными данными.

Распределённый метод обучения в режиме реального времени функционирует в два этапа: первичное обучение и основной режим «работа-дообучение». Функционально первичное обучение состоит из следующих шагов:

1.Получение и предварительная обработка категорной базы данных размерности , где - совокупность бинарных атрибутов размерности , на основе значений которых строится общая классифицирующая модель, а - целевых категорных значений для обучения модели (классы).

2.Формирование первичного обучающего множества посредством случайной исключающей выборки репрезентативных записей из с выделением основного обучающего множества : .

3. Проведение для всех -теста [4] зависимости от целевого атрибута .

4. Выбор определяющих атрибутов, отвечающих максимальным значениям -теста.

5. Разделение первичного обучающего множества на доменов по значениям в определяющих атрибутах.

6. Сохранение в векторе размеров доменов .

7. Независимая настройка классификаторов в каждом домене в соответствие с требованием минимизации ошибки:

, (1)

где - вектор-столбец коэффициентов линейной регрессии [5], рассчитанный для -й модели на домене , - -ый обучающий пример из домена , a - -ый элемент вектора , отвечающий целевому значению вектора .

Предварительная обработка данных в п.1 включает в себя бинаризацию категорных атрибутов, а так же удаление пропусков данных.

Обучение в режиме реального времени, являющееся основной фазой работы системы («дообучение» или «полное обучение»), происходит на записях основного обучающего множества и состоит из следующих шагов:

1.Инициализация пакетов - пустых множеств для временного хранения наборов обучающих пар.

2.Выбор -ой обучающей пары из основного обучающего множества .

3.Соотнесение -ой обучающей пары -му домену () в соответствие со значениями определяющих атрибутов её входной компоненты .

4.Проверка соответствия отклика построенной на -ом домене регрессионной модели

, (2)

для -ой обучающей пары, её целевому значению .

5.Если , т.е. категоризированный отклик для -ой обучающей пары соответствует её целевому значению, перейти к п. 8.

6.Добавить в -ый пакет -ю обучающую пару:

. (3)

7.Если , добавить весь пакет в -ый домен, очистить его

, (4)

,(5)

и пересчитать модель для -го домена (коэффициенты ) согласно (1).

8.Если не выбраны все пары из основного обучающего множества (), увеличить значение счётчика () и перейти к п.2.

9.Если остались непустые пакеты, добавить их к соответствующим доменам

, (6)

после чего пересчитать модели согласно (1).

10.По окончании обучения удалить из памяти все структуры, кроме определяющих атрибутов, доменов (для возможного дообучения в дальнейшей работе) и рассчитанных для них коэффициентов регрессионных моделей.

В качестве полигона для экспериментального исследования РМОРВ была выбрана БД игры с нулевой суммой для двух сторон «Четыре в ряд» на прямоугольном поле 7x6 клеток. Каждая клетка поля могла находиться в 3 состояниях («Х», «О» и «пусто»). БД включала 67556 записей (состояний игры), описывающих поле и целевой атрибут, объявляющий победителя («Х», «О» или «ничья») при использовании в дальнейшем оптимальной стратегии. В результате предобработки данных, БД содержала 67556 записей со 123 бинарными атрибутами и целевым категорным атрибутом.

Результаты сравнительного анализа РМОРВ (при =2) с традиционными подходами продемонстрировали высокую эффективность распределённого подхода и позволили выявить существенные недостатки традиционных регрессионных методов обусловленные применением более сложных методов классификации для конкурирующих подходов.

Список литературы

1. Айвазян С.А., Бухштабер В.М., Енюков Е.С., Мешалкин Л.Д. Прикладная статистика. Классификация и снижение размерности. Москва, Финансы и статистика, 2002, 608 с.

2. Хайкин С. Нейронные сети: полный курс. Москва, Вильямс, 2006, 1104 с.

3. Rachkovskij D. Linear classifiers based on binary distributed representations. Inform. Theor. Appl, 2007, vol. 14 (1), pp. 270-274.

Размещено на Allbest.ru