Применение модели информационной среды для решения задач классификации и обучения

Размещено на http://www.allbest.ru//

Размещено на http://www.allbest.ru//

Применение модели информационной среды для решения задач классификации и обучения

В. Н. Шац

В работе рассматривается модель информационной среды, в которой движение информации описывается дифференциальным уравнением в частных производных. Она позволяет преобразовать вектор данных в аналог потока данных, а матрицу данных в ансамбль матриц. Соответствующее нелинейное преобразование имеет простую численную реализацию. Решение задач классификации и обучения приобретает статистический характер благодаря привлечению дополнительной информации.

1. Постановка задачи

В работе рассматривается новый подход к решению следующей задачи классификации. Имеется матрица данных , содержащая данные наблюдений над объектами , которые характеризуются значениями количественных признаков , . Требуется разделить объекты на непересекающиеся классы, . Если для части объектов , известна их принадлежность к определенным классам, то приходим к разновидности задачи классификации - задаче обучения.

Предложенный метод основан на превращении вектора данных в аналог потока данных в информационной среде (ИС), и трансформации матрицы в ансамбль матриц. Он открывает новые возможности для решения указанных задач, поскольку расширяется объем исходных данных.

Под ИС понимается область, содержащая структурированное множество элементов, способных получать информацию, обрабатывать ее и передавать другим элементам. Рассматривается следующая модель ИС

Пусть множество некоторых последовательно соединенных элементов, образуют первичную цепь. К каждому из них присоединена цепь других элементов. Совокупность первичной цепи и вторичных цепей образуют ветвящуюся цепь элементов (ВЦЭ). Все элементы получают и обрабатывают информацию и с определенной скоростью передают примыкающему элементу. ИС содержит множество ВЦЭ. Понятия «информация», «обработка информации» и уравнение движения информации определены в работах [Шац, 2008], [Шац, 2009] и не приводятся в статье в связи с ограниченностью ее объема.

Если внешней информацией для элементов -го ВЦЭ являются координаты вектора , то внутренней информацией будет некоторый вектор . Соответственно матрица определит матрицу внутренней информации

Поскольку свойства ВЦЭ могут отличаться, то ИС позволяет для одного вектора данных найти множество векторов , где - соответствует номеру группы, содержащей ВЦЭ с одинаковыми свойствами. Соответственно аналогом матрицы данных становится ансамбль матриц преобразованных данных , . Благодаря разным свойствам групп, ВЦЭ обеспечивают независимое «восприятие» исходных данных для каждой матрицы.

Тогда решение задачи классификации для матрицы сводится к анализу множества независимых решений соответствующих задач для матриц .

ВЦЭ устанавливает непрерывную зависимость между векторами и вектором . Поэтому при применении ВЦЭ не нарушается предположение, на котором основаны аналитические методы решения рассматриваемых задач, о существовании непрерывной функции, которая связывает вектор признаков объекта и его класс.

Работа отличается от существующих исследований не только подходом, но и допущениями относительно признаков. Обычно предполагается, что линейная комбинация признаков, на основе которых оценивается степень близости между объектами и производится их классификация, полностью определяет свойства объектов [Галушкин, 2000]. Здесь допускается, что признаки не вполне характеризуют свойства объектов, поскольку эти свойства могут нелинейно зависеть от признаков, а признаки могут быть взаимосвязаны. Например, свойства объектов характеризует не величина , а величина , или , где неизвестны.

Поэтому реальное положение образа объекта в линейном пространстве признаков будет определяться неизвестной нелинейной зависимостью от координат . В этом случае разделительная поверхность между двумя классами представляет собой некоторую криволинейную поверхность. Если не учесть эту особенность признаков и исходить из предположения о существовании разделительных гиперповерхностей в виде плоскостей, то объекты, чьи образы находятся вблизи поверхностей раздела, будут классифицированы неправильно.

Целью работы является рассмотрение особенностей и возможностей сформулированного подхода при решении реальных задач. Она не направлена на поиск оптимальных алгоритмов для эффективного решения отдельных задач.

2. Закономерности информационной среды

Для непрерывного аналога ВЦЭ, когда размерами элемента можно пренебречь по сравнению с длиной цепи, было получено при определенных допущениях уравнение движения внутренней информации по первичной цепи. Здесь через обозначен элемент первичной цепи и его координата, измеряемая вдоль цепи, - текущее время в ВЦЭ. Процесс описывается дифференциальным уравнением в частных производных. Аналогичное уравнение справедливо для произвольной вторичной цепи.

Состояние ВЦЭ определяет система из двух уравнений, зависящих от значения ряда параметров, два из которых являются распределенными. Поскольку первичная цепь имеет общий элемент с каждой вторичной цепью, то решение системы сводится к решению одного обыкновенного дифференциального уравнения относительно при условии, что величина (-параметры).

В общем случае это уравнение допускает только численное решение. Далее будем рассматривать вариант ВЦЭ, для которого уравнение приобретает аналитическое решение за счет ряда упрощений.

Предполагаем, что любая информация из вторичной цепи поступает в первичную цепь, поскольку пороговое значение информации ; элементы вторичной цепи не получают внешнюю информацию, а внешняя и внутренняя информация первичной цепи и связаны соотношением , где - непрерывная функция. Принимаем также, что свойства вторичной цепи не изменяются по ее длине, не зависят от времени и определяются значением распределенного параметра и параметров .

Для этого случая получим интегральное уравнение Вольтерра первого рода, которое является основой последующих вычислений:

(2.1)

, .

3. Преобразование исходных данных

Согласно приятому подходу на первом этапе вычислений следует трансформировать вектор данных в аналог потока данных в ИС. Возникает своеобразная задача аппроксимации, основанная на применении дискретной формы зависимости (2.1) для вычисления некоторого вектора информации вектора .

Будем рассматривать координаты как значения неизвестной непрерывной функции в узлах интерполяции , расположенных с шагом . Требуется найти функцию , для которой координаты вектора связаны с неизвестной функцией соотношением:

, . (3.1)

За счет выбора параметра можно обеспечить, чтобы знаменатель выражения (2.1) был всегда больше нуля и функция не имела особенностей при . Поэтому, решение системы (2.1)-(3.1) существует при любых .

Область интегрирования в интеграле выражения (2.1) разобьем на отдельные участки , и будем считать, что на каждом из них непрерывная функция (x) имеет вид:

, .

Принимаем значения , и считаемпри. Будем выбирать (x) из некоторого класса положительных функций , полагая, что , где - параметр.

Для вычисления коэффициентов получим рекуррентные зависимости. (При расчетах заменялась на). Совокупность этих коэффициентов принимаем в качестве неизвестного вектора .

Согласно (3.1) и условию значения возникают в моменты времени . Поэтому в ИС вектору данных соответствует некоторый процесс поступления данных, имеющий форму потока данных по ВЦЭ.

На Рис. 1 приведены графики функции и для и . Графики показывают, что выбор параметров существенно влияет на отклонение аппроксимационной кривой от прямой, проходящей через заданные точки.

информационный обучение данные матрица

4. Изменение разделительных поверхностей

Можно считать, что вектор определяет s-ый объект в пространстве признаков . Этот же объект в некотором пространстве представляется вектором . Пространства отличаются значением распределенного параметра, который, согласно приведенным соотношениям, зависит от значения параметра .

Рис.1. Результаты аппроксимации - функции и a - при ,b- при .

Для всей совокупности векторов получим матрицу , являющуюся аналогом матрицы в пространстве . Будем предполагать, что пространства и являются евклидовыми. Это общепринятое допущение дает основание для применения метрических алгоритмов при решении задачи классификации в отношении матриц и .

Система координат имеет древовидную архитектуру, поскольку значение каждой последующей координаты зависит от предыдущей. Можно предположить, что описание объекта в такой системе координат позволяет выявить некоторые его особенности. По этой причине матрица , по сравнению с матрицей , может более полно учитывать внутреннюю взаимосвязь объектов.

Рассмотрим группу из объектов , которые связаны линейной зависимостью:

,

,

- произвольный вектор, принадлежащий пространству признаков. В этом пространстве объекты группы отображаются как множество из точек прямой.

Расчеты показали, что взаимное расположение криволинейные поверхности, на которых окажутся образы объектов и в пространствах , будут зависеть от свойств ВЦЭ. При изменении у объекта могут появиться другие «соседи». Соответственно меняет форму и разделительная поверхность между классами. Поэтому при некоторых и достаточно «удачном» выборе задача разделения на классы объектов решается более простыми методами, чем объектов .

5. Некоторые результаты расчетов

Очевидно, что ансамбль матриц должен сохранять основные свойства объектов матрицы и «не приписывать» объектам новые свойства. Можно предположить, что это требование будет выполнено, если решение задач для ансамбля матриц не будет давать качественно неверные решения, несоответствующие свойствам объектов. Этот вопрос изучался путем численных экспериментов.

Расчеты выполнялись на основании достаточно универсальных методов потенциальных функций [Браверманн и др., 1983] и опорных векторов [Вапник и др., 1974]. Все вычисления в работе проводились с помощью Mathcad.

Положительный ответ на указанный вопрос был получен при численных экспериментах, которые выполнялись путем генерации модельных выборок с помощью датчика случайных чисел. Дополнительное подтверждение дало решение двух задач репозитория, из которого брались и другие задачи [Asuncionetal., 2007].

Одной из них послужила задача , в которой . Результаты расчетов обоими методами для формы разделительной поверхности при иллюстрирует Рис. 2. Из него следует, что на обучающем множестве классы успешно разделяются.

Однако, несмотря на изменение формы разделительной поверхности при каждом , которое должно было резко снизить эффект переобучения, не удалось разделить объекты на два класса. Этот результат согласуется с решением авторов , которые исходили из предположения, что в составе каждого класса находятся еще подклассы, и при решении вводили бинарные признаки [Ciosetal., 2004].

Аналогичный вывод был получен по задаче , которая характеризуется следующими значениями параметров:. Этот результат также соответствует свойствам объектов, которыми являются экспериментальные кривые.

Выполненные расчеты показали, что результаты классификация реальных объектов в разных пространствах могут значительно отличаться. Вместе с тем, наблюдается определенная стабильность результатов. Для многих объектов значения при вариации не изменяются. При увеличении в несколько раз среднее для разных пространств значения индекса класса практически сохраняются. Можно считать, что для объекта среднее по всем значение дает приближенную оценку для.

Очевидно, привлечение ИС не гарантирует получение приемлемого решения избранным простейшим методом. Так не удалось решить задачу () на основе одного из алгоритмов метода потенциальных функций.

В задаче применение ИС привело к существенному снижению частоты ошибок классификации по сравнению с решением для матрицы . Однако этот результат вызывает определенные сомнения, поскольку получен на основе метода потенциальных функций, который весьма чувствителен к порядку предъявления объектов. Поэтому он мог быть достигнут за счет менее «удачного» порядка предъявления объектов для матрицы , чем для матриц .

Вместе с тем, привлечение ИС позволило выявить в этой задаче некоторые свойства объектов. Коэффициент корреляции между и находится в пределах для всех , за исключением , где . Было также установлено, что относительная длина вектора резко падет при , но степень снижения качественно различается в разных пространствах и имеет вид «зубца» при . Отсюда следует, что 60-ый объект имеет определенные особенности, которые вскрылись при отображении вектора из пространства A в пространство . Очевидно, эта особенность матрицы могла бы бытьучтена при выборе уточненного метода классификации.

Заключение

В работе предложен новый подход к решению задач классификации и обучения для случая количественных признаков объектов. Он имеет достаточно простую численную реализацию и предполагает переход от анализа исходной матрицы данных к анализу ансамбля матриц, являющихся нелинейным отображением исходной матрицы в различных пространствах. Эти матрицы вычисляются согласно зависимостям, полученным на основе модели ИС.

Решение задач получает статистический характер, поскольку строится на основании анализа решений для отдельных матриц. Это позволяет более точно учесть свойства объектов, снизить влияние шума и использовать оптимальные вычислительные алгоритмы. Одновременно предложенный подход может быть использован как метод разведочного анализа. Приведены результаты вычислений по применению ИС для решения ряда реальных задач.

Непрерывный вариант ВЦЭ был разработана как модель нейронной сети. Применение ИС позволило решить принципиально новую задачу о численной оценке воздействия информации на социальную группу [Шац, 2010]. В обоих случаях моделировалась реальная среда - мозг и социальная среда. Настоящая работа показала эффективность искусственного привлечения ИС в качестве инструмента для решения задач классификации и обучения. Поэтому есть основания предполагать, что область применения ИС может быть существенно расширена.

Список литературы

Браверман Э. М., Мучник И. Б. Структурные методы обработки эмпирических данных. - М.: Наука, 1983.

Вапник В.Н., Червоненкис А.Я. Теория распознавания образов (статистические проблемы обучения). - М.: Наука, 1974.

Галушкин А. И. Теория нейронных сетей. Т. 1. Нейрокомпьютеры и их применение. ИПРЖР, 2000.

Шац В. Н. Непрерывно ветвящаяся цепь как модель биологической цепи нейронов. //Труды одиннадцатой национальной конференции по искусственному интеллекту с международным участием КИИ-2008. Т. 1. - М.: ЛЕНАНД, 2008.

Шац В.Н. Модель биологической цепи нейронов на основе непрерывно ветвящейся цепи элементов. //Сборник научных трудов научно-технической конференции «Нейроинформатика-2009», Ч. 2, 2009.

Шац В.Н. О модели воздействия информации на группу. //Социология: методология, методы, математическое моделирование. 2010, №30.

Asuncion A., Newman D.J. (2007).UCI Machine Learning Repository.IrvineCA: University of California, School of Information and Computer Science.

Cios K.J., Kurgan L.A. CLIP4: Hybrid inductive machine learning algorithm that generates inequality rules. //Information Sciences, 2004, No.163.

Размещено на Allbest.ru