Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Интеллектуальные технологии интерполяции, экстраполяции, прогнозирования и принятия решений по картографическим базам данных

Формальная (математическая) постановка задачи

Пусть в ряде конкретных точек многомерного пространства таблично задана скалярная функция (многих аргументов):

(1)

аргумент интерполяция интеллектуальный

В классическом регрессионном анализе этого достаточно, чтобы попытаться восстановить аналитическое представление этой функции в том или ином виде по этим значениям, точнее подобрать такие числовые значения коэффициентов в некоторых заранее выбранных видах функций, которые по определенным критериям дают наилучшее приближение к известным табличным значениям.

Ранее автором высказывались и обосновывались идеи о системном обобщении математики [6, 7, 9] суть которых в том, чтобы заменить понятие «множество» понятием «система» и проследить все следствия этого. При этом все математические понятия, прямо или косвенно основанные на понятии множества, а понятие функции относится к их числу (т.к. функция является отображением множества аргументов на множество значений функции) будут обобщены и при этом будет выполнятся принцип соответствия, обязательный для более общих теорий, т.к. при уровне системности стремящемся к нулю система переходит в множество.

Одна из основных идей, связанных с системным обобщением математики, состоит в том, что понятие точки необходимо обогатить новыми свойствами, которыми это понятие не обладает в современной геометрии. В общем виде это можно сделать, приписав или поставив во взаимно-однозначное соответствие каждой точке многомерно пространства аргументов функции обобщенный вектор свойств, элементы которого по своей природе может быть или количественными, или качественными (лингвистическими).

 (2)

В этом случае значения аргумента можно рассматривать как координаты точки, а свойства аргумента можно интерпретировать как значения факторов, обусловливающих значения функции (каждый элемент вектора соответствует фактору, а значение этого элемента - значению этого фактора: числовому, интервальному или лингвистическому. Факторы вообще говоря действуют не в чистом виде, а всегда являются более или менее зашумленными, т.е. любое значение фактора реалистичнее всего рассматривать как сумму некоторого неизвестного истинного значения фактора и шума.

Идея применения системно-когнитивного анализа (СК-анализ) для восстановления значений функции Y состоит в том, чтобы на основе априорной информации об известных значениях функции в тех точках, в которых они заданы, выявить взаимосвязь между свойствами точек аргумента и значениями функции Y, а затем зная эту взаимосвязь восстановить значения функции Y для всех точек, для которых известны их свойства, но неизвестно значение функции, т.е. найти вид функции :

Дано:

1. БД прецедентов, состоящая из строк, каждая из которых содержит значение функции (класс) и локальные признаки в точке, а также координаты этой точки.

2. Распознаваемая БД, состоящая из строк, каждая из которых содержит координаты точек и их локальные признаки.

Необходимо:

1. Выявить зависимости между локальными признаками точек и значениями функции в точках.

2. Используя знание выявленных зависимостей между локальными признаками точек и значениями функции в точках восстановить значения функции для всех точек, как для тех, для которых значения функции известны (опорные точки), так и для тех, для которых известны только локальные признаки аргумента и координаты.

3. Визуализировать опорные и восстановленные точки в графической форме с использованием координат.

Рассмотрим примеры с одномерной (1d) и двумерной (2d) функциями, а затем кратко приведем возможные области применения предложенных технологий, в частности для решения задач интерполяции и экстраполяции с применением технологий искусственного интеллекта, а также интеллектуального анализа картографических баз данных, а также восстановления и картографической визуализации значений функций на основе априорной информации по опорным точкам.

Описание подсистемы восстановления и визуализации функций.

Данная подсистема входит в состав универсальной когнитивной аналитической системы «Эйдос» (система «Эйдос»), являющейся инструментарием СК-анализа, и предназначена для пространственной, в т.ч. картографической визуализации значений одномерных (1d) и двумерных (2d) функций, восстановленных в процессе распознавания в режиме _42 системы «Эйдос» на основе признаков значений аргумента (рисунок 1):

Рисунок 1. Экранная форма режима _68 системы «Эйдос»

При этом используется ранее созданная в режиме _25 модель, отражающая взаимосвязь значений функции и признаков аргумента, выявленную на основе обучающей выборки, т.е. априорных данных, в которых каждому значению аргумента функции, имеющему свои координаты, привязаны с одной стороны значения функции, а с другой - признаки.

Поэтому перед тем, как использовать данную подсистему необходимо:

1. Подготовить dbf-файлы исходных данных, одинаковые по своей структуре обучающую выборку с именем: Inp_data.dbf и распознаваемую выборку, с именем: Inp_rasp.dbf, которые должны удовлетворять всем требованиям, описанным в help режима _152.

2. Каждая строка этих файлов содержит данные об одном объекте обучающей или распознаваемой выборки, т.е. одной точке аргумента и одному соответствующему этому значению аргумента значению функции, также о признаках аргумента.

3. Первый столбец содержит наименование источника данных длиной <=15 символов, в качестве которого выступают КООРДИНАТЫ, т.е. значения аргумента:

- для 1d-функции он ЧИСЛОВОЙ и содержит значение аргумента (X);

- для 2d-функции он ТЕКСТОВЫЙ и содержит значения аргумента (X, Y) в следующем формате: +######;+######, где «+» это место для знака, а «#» - цифры.

4. Второй столбец является классификационной шкалой значениями которой являются значения функции в формате: +#########,#######, где знак «+» может не указываться, запятой отделена десятичная часть значения функции.

5. Столбцы с 3-го по последний являются описательными шкалами и содержат значения признаков аргумента, характеризующих соответствующие значения функции. Признаки могут быть как количественными, так и качественными (текстовыми или лингвистическими) и измеряться в любых единицах измерения. Система «Эйдос» использует не сами эти значения признаков, а только количество информации, которое в них содержится о том, что функция примет определенное значение. Количество столбцов признаков (факторов или описательных шкал) может быть до 254. Это ограничение обусловлено только с Excel или OpenOffice, с помощью которых удобно готовить исходные данные, а не самой системой «Эйдос». Но в в текущей версии самой системы не может быть суммарно более 4000 градаций описательных шкал, поэтому используются интервальные значения (количество градаций задается в режиме _152, который и рассчитывает соответствующие значения интервалов).

6. Создание такого файла для одномерной функции не представляет собой проблемы, однако для двумерных функций, которые обычно задаются в виде матриц, предварительно необходимо преобразовать матрицу в специальную форму, описанную выше, и для этого в данной подсистеме предоставляется инструмент (средство), т.е. режим _683. Этот режим в качестве входной использует матрицу с именем: DBF_2d1d.dbf, которая в первой строке и в первом столбце содержит координаты (значения аргумента) X и Y, а в ячейках - соответствующие значения функции. Формат всех столбцов в этой базе данных один и тот же: +#########,#######. В результате работы этого режима, формируется база данных: Inp2dMap.dbf, имеющая абсолютно такую же структуру, как Inp_data.dbf и Inp_rasp.dbf, описанную выше. Но столбцы со значениями описательных шкал, с 3-го по последний необходимо заполнить самому, например загрузив эту базу в Excel (OpenOffice) а затем опять записав как dbf-файл, стандарта DBF-4 (в кодировке 866 DOS). Затем этот файл переименовывается в Inp_data.dbf и загружается в систему «Эйдос» с помощью стандартного интерфейса _152, который может сформировать либо справочники классификационных и описательных шкал и градаций и обучающую выборку, либо только распознаваемую выборку, по выбору пользователя.

Русские наименования и классификационных, и описательных ШКАЛ должны быть СТРОКАМИ в файле с именем Inp_name.txt стандарта: MS DOS (кириллица), причем в этом файле не должно быть пустых строк, например в конце файла, а всего строк должно быть ровно столько же, сколько ВСЕХ ШКАЛ, т.е. число столбцов в файле Inp_data.dbf минус 1.

Восстановление значений и визуализация одномерных функций.

Фрагмент файла исходных данных приведен на рисунке 2:

Рисунок 2. Фрагмент файла исходных данных для восстановления значений и визуализации 1d-функции

Для численного эксперимента выбрана функция затухающего гармонического колебания (рисунок 3):

=$B$3*EXP (-$B$6*$A10)*COS ($B$4*$A10*3,141592653/180+$B$5*3,141592653/180).

Рисунок 3. Вид моделируемой 1d-функции

Расчет самой функции и признаков, связанных со значениями аргумента, проводится на листе 1. Параметры, в соответствии с которыми провидится расчет, задаются в строках: 3-7. В Excel-книгу входит также второй лист с именем: «Inp_data», фрагмент которого приведен на рисунке 4:

Рисунок 4. Фрагмент файла исходных данных для восстановления значений и визуализации 1d-функции

Данные в этом листе берутся полностью из 1-го листа (с помощью формулы: ='1'! A10, распространенной на все ячейки). Этот лист предназначен для записи в стандарте DBF 4, которую можно осуществить, выбрав пункт меню «Файл - Сохранить как - Тип файла - DBF 4 (dBASE IV (*.dbf)». Новые версии Excel не поддерживают этот формат записи файлов, поэтому для этой цели (записи) можно использовать OpenOffice.

Далее в системе «Эйдос» запускается режим _152, представляющий собой стандартный программный интерфейс импорта данных в систему «Эйдос» из файлов, требования к структуре которых описана в help данного режима (рисунок 5):

Рисунок 5. Help режима _152 системы «Эйдос»

Этим требованиям полностью удовлетворяет и наш файл. В режиме _152 задаются столбцы классификационными и описательными шкалами и суммарное количество градаций по ним (рисунок 6):

Рисунок 6. Экранные формы Help режима _152 системы «Эйдос»

Программный интерфейс автоматически формирует справочники классификационных и описательных шкал и градаций и обучающую выборку, соответствующие заданным в диалоге параметрам.

Затем после переиндексации всех баз данных системы в режиме _72 необходимо выполнить синтез и измерение адекватности модели в режиме _25. После этого можно запускать режим _681 подсистемы восстановления и визуализации функций, который и выводит в нашем примере экранную форму, представленную на рисунке 7 (которая записывается в поддиректории: PCX/FUNCT/1D с именами вида: F1D_0018.PCX):

Рисунок 7. Экранные формы, выдаваемая подсистемой _68 системы «Эйдос» для 1d-функций при идентификации обучающей выборки

На этом рисунке значение функции соответствует отклонению по оси Y, а цвет пикселей показывает степень сходства с наиболее похожим классом, определенную системой «Эйдос» при распознавании для каждого пикселя.

При формировании рисунка 7 идентифицировались все значения функции, соответствующие всем значениям аргумента, заданным в обучающей выборке, т.е. работоспособность модели проверялась в наиболее «мягком» или «щадящем» варианте, при этом она оказалась довольно высокой (рисунок 8), что видно и при визуальном сравнении рисунков 3 и 7.

Рисунок 8. Экранная форма измерения внутренней валидности модели

Чтобы проверить прогностические возможности предлагаемого подхода в режиме _628 (рисунок 9) была удалена часть обучающей выборки с 501 точки до конца, т.е. до 1000-й точки:

Рисунок 9. Экранная форма режима _628 системы «Эйдос»

После этого в режиме _235 был выполнен синтез модели, а в режиме _42 восстановление значений функции как для первых 500 значений аргумента, для которых они и должны достоверно восстанавливаться, и для 500 точек, которые остались в распознаваемой выборке, но отсутствовали в обучающей. Основной интерес представляет возможность восстановления значений функции, соответствующих именно этим значениям аргумента. Результат этого численного эксперимента приведен на рисунке 10:

Рисунок 10. Экранная форма, выдаваемая подсистемой _68 системы «Эйдос» для 1d-функций при идентификации распознаваемой выборки, не входящей в обучающую выборку

Прежде всего видно, что значения функции для точек, для которых они не были указаны в обучающей выборке, вполне успешно восстановлены по свойствам этих точек, связь которых со значениями функции выявлена на основе опорных точек, входящих в обучающую выборку. Кроме того при сравнении изображений кривой на рисунках 7 и 10 видно, что в рисунке 10 гораздо больше пикселей с меньшей информативностью, чем в рисунке 7 (рисунок 11):

Рисунок 11. Сравнение рисунков 7 и 10

Восстановление значений и визуализация двумерных функций

Фрагмент файла исходных данных приведен на рисунке 12:

Рисунок 12. Фрагмент файла исходных данных для восстановления значений и визуализации 2d-функции

=$B$3*EXP (-$B$6*$A10)*SIN ($B$4*$A10*3,141592653/180+$B$5*3,141592653/180)+$D$3*EXP (-$D$6*B$9)*SIN ($D$4*B$9*3,141592653/180+$D$5*3,141592653/180)

Рисунок 13. Вид моделируемой 2d-функции

Расчет самой функции и признаков, связанных со значениями аргумента, проводится на листе 1. Параметры, в соответствии с которыми провидится расчет, задаются в строках: 3-6. Двумерная функция задается в виде матрицы, в которой 1-я строка содержит координаты (значения аргумента) X, а 1-й столбец - координаты (значения аргумента) Y.

В Excel-книгу входит также второй лист с именем: «Inp_data», фрагмент которого приведен на рисунке 14:

Рисунок 14. Фрагмент файла исходных данных для восстановления значений и визуализации 2d-функции

Данные в этом листе берутся полностью из 1-го листа (с помощью формулы: ='1'! B10, распространенной на все ячейки).

Затем, для задания признаков значений аргумента и обеспечения возможности использования стандартного интерфейса _152 системы «Эйдос» необходимо преобразовать двумерную матрицу в одномерную (с сохранением информации о значениях аргумента), разместив столбцы друг под другом. Для этого используется режим _683, который работает с базой данных, имеющей стандарт DBF-4 и имя: DBF_2D1D.dbf. Именно с таким именем и в этом стандарте необходимо сохранить лист Inp_data. Это можно сделать, выбрав пункт меню «Файл - Сохранить как - Тип файла - DBF 4 (dBASE IV (*.dbf)» в Excel или OpenOffice (в нем просто DBF и кодировка русская: 866 DOS). Режим _683 формирует из файла DBF_2D1D.dbf файл с именем: INP2DMAP.dbf, который уже соответствует стандарту режима _152. Этот файл считывается в Excel, дополняется описанием признаков аргумента и записывается как xls и dbf-файлы с именем: Inp_data (рисунки 15 и 16).

Рисунок 15. Фрагмент файла INP2DMAP.xls для задания признаков аргумента 2d-функции

Здесь необходимо обратить внимание на способ формирования значений столбца A:

=ТЕКСТ (INP2DMAP! B8; «0000,0»)&»; «&ТЕКСТ (INP2DMAP! C8; «0000,0»)

Иначе говоря в этом столбце в упакованном виде объединена информация о координатах точек (значениях аргумента). Значения остальных ячеек листа Inp_data просто перенесены из листа INP2DMAP с помощью формулы: =INP2DMAP! D8, распространенной на все ячейки.

Далее в системе «Эйдос» запускается режим _152, представляющий собой стандартный программный интерфейс импорта данных в систему «Эйдос» из файлов, требования к структуре которых описана в help данного режима (рисунок 17):

Рисунок 17. Help режима _152 системы «Эйдос»

Этим требованиям полностью удовлетворяет и наш файл. В режиме _152 задаются столбцы классификационными и описательными шкалами и суммарное количество градаций по ним (рисунок 18):

Рисунок 18. Экранные формы Help режима _152 системы «Эйдос»

Программный интерфейс автоматически формирует справочники классификационных и описательных шкал и градаций и обучающую выборку, соответствующие заданным в диалоге параметрам.

Затем после переиндексации всех баз данных системы в режиме _72 необходимо выполнить синтез и измерение адекватности модели в режиме _25. После этого можно запускать режим _682 подсистемы восстановления и визуализации функций (см. рисунок 1), который и выводит в нашем примере экранную форму, представленную на рисунке 19 (которая записывается в поддиректории: PCX/FUNCT/2D с именами вида: F2D_0018.PCX):

Рисунок 19. Экранная форма, выдаваемая подсистемой _68 системы «Эйдос» для 2d-функций при идентификации обучающей выборки: отображены восстановленные значения функции

На этом рисунке значение функции отображается цветом пикселей и показывает степень сходства с наиболее похожим классом, определенную системой «Эйдос» при распознавании для каждого пикселя.

На рисунках 20, 21 и 22 отображены соответственно: восстановленные значения функции с изолиниями; изолинии границ различных восстановленных значений функции; значения функции, соответствующие фактическим.

Рисунок 20. Экранные формы, выдаваемая подсистемой _68 системы «Эйдос» для 2d-функций при идентификации обучающей выборки: отображены восстановленные значения функции с изолиниями

Использован предложенный автором «прямой» алгоритм триангуляции, корректно работающий на нерегулярной решетке опорных точек, для которых известны координаты и значения функции, т.е. позволяющий восстанавливать значения функции для отсутствующих в регулярной решке данных и строить изолинии с цветовым зонированием значений функции по этим треугольникам, путем решения задачи нахождения координат точек пересечения сторон треугольников, заданных двумя точками, и изоплоскости, параллельной координатной плоскости x0y и соответствующей величине значения функции (рисунок 21).

Рисунок 21. Экранные формы, выдаваемая подсистемой _68 системы «Эйдос» для 2d-функций при идентификации обучающей выборки: отображены только изолинии границ различных восстановленных значений функции

Суть «прямого» алгоритма триангуляции на нерегулярной сетке в следующем (рисунок 22):

Рисунок 22. Экранные формы системы «Эйдос» работы прямого алгоритма триангуляции на нерегулярной решетке

Шаг 1-й: формируем БД, содержащую все опорные точки.

Шаг 2-й: организуем цикл перебора опорных точек, т.е. точек, по которым известно значение функции.

Шаг 3-й: для каждой опорной точки находим n ближайших опорных точек и строим на них m треугольников.

Шаг 4-й:

- вариант 1-й: определяем у какого из треугольников минимальный периметр и заносим его в БД, если он новый (код треугольника - коды точек в порядке возрастания) если текущая точка лежит ВНУТРИ треугольника;

- вариант 2-й: добавлять все разные (новые) треугольники с минимальной суммой расстояний от вершин до текущей точки, но только если текущая точка лежит внутри треугольника.

Шаг 5-й: конец цикла перебора опорных точек

Необходимо отметить, что в настоящее время идет отработка алгоритма данного модуля и проводятся численные эксперименты с различными алгоритмами, т.е. процесс разработки модуля _68 системы «Эйдос» не завершен.

При формировании рисунка 19 идентифицировались значения функции, соответствующие всем значениям аргумента, заданным в обучающей выборке, т.е. работоспособность модели проверялась в наиболее «мягком» или «щадящем» варианте, при этом она оказалась довольно высокой.

Литература

1. Луценко Е.В. Автоматизированный системно-когнитивный анализ в управлении активными объектами (системная теория информации и ее применение в исследовании экономических, социально-психологических, технологических и организационно-технических систем): Монография (научное издание). - Краснодар: КубГАУ. 2002. - 605 с.

2. Луценко Е.В. Универсальная когнитивная аналитическая система «ЭЙДОС». Пат. №2003610986 РФ. Заяв. №2003610510 РФ. Опубл. от 22.04.2003.

3. Луценко Е.В. Cистемно-когнитивный анализ изображений (обобщение, абстрагирование, классификация и идентификация) / Е.В. Луценко // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2009. - №02 (46). - Шифр Информрегистра: 0420900012\0017. - Режим доступа: http://ej.kubagro.ru/2009/02/pdf/10.pdf

4. Луценко Е.В. АСК-анализ как метод выявления когнитивных функциональных зависимостей в многомерных зашумленных фрагментированных данных / Е.В. Луценко // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2005. - №03 (11). - Режим доступа: http://ej.kubagro.ru/2005/03/pdf/19.pdf

5. Луценко Е.В. Математический метод СК-анализа в свете идей интервальной бутстрепной робастной статистики объектов нечисловой природы / Е.В. Луценко // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2004. - №01 (3). - Режим доступа: http://ej.kubagro.ru/2004/01/pdf/13.pdf

6. Луценко Е.В. Неформальная постановка и обсуждение задач, возникающих при системном обобщении теории множеств на основе системной теории информации (Часть 1-я: задачи 1-3) / Е.В. Луценко // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2008. - №03 (37). - Шифр Информрегистра: 0420800012\0031. - Режим доступа: http://ej.kubagro.ru/2008/03/pdf/12.pdf

7. Луценко Е.В. Неформальная постановка и обсуждение задач, возникающих при системном обобщении теории множеств на основе системной теории информации (Часть 2-я: задачи 4-9) / Е.В. Луценко // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2008. - №04 (38). - Шифр Информрегистра: 0420800012\0049. - Режим доступа: http://ej.kubagro.ru/2008/04/pdf/03.pdf

8. Луценко Е.В. Проблема референтного класса и ее концептуальное, математическое и инструментальное решение в системно-когнитивном анализе / Е.В. Луценко // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2008. - №09 (43). - Шифр Информрегистра: 0420800012\0130. - Режим доступа: http://ej.kubagro.ru/2008/09/pdf/01.pdf

9. Луценко Е.В. Программная идея системного обобщения математики и ее применение для создания системной теории информации / Е.В. Луценко // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2008. - №02 (36). - Шифр Информрегистра: 0420800012\0016. - Режим доступа: http://ej.kubagro.ru/2008/02/pdf/11.pdf

10. Луценко Е.В. СК-анализ и система «Эйдос» в свете философии Платона / Е.В. Луценко // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2009. - №01 (45). - Шифр Информрегистра: 0420900012\0010. - Режим доступа: http://ej.kubagro.ru/2009/01/pdf/08.pdf

11. Луценко Е.В. Универсальный информационный вариационный принцип развития систем / Е.В. Луценко // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2008. - №07 (41). - Шифр Информрегистра: 0420800012\0091. - Режим доступа: http://ej.kubagro.ru/2008/07/pdf/10.pdf

12. Луценко Е.В. Численный расчет эластичности объектов информационной безопасности на основе системной теории информации / Е.В. Луценко // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2003. - №01 (1). - Режим доступа: http://ej.kubagro.ru/2003/01/pdf/05.pdf

13. Луценко Е.В. Теоретические основы и технология адаптивного семантического анализа в поддержке принятия решений (на примере универсальной автоматизированной системы распознавания образов «ЭЙДОС-5.1»): Монография (научное издание). - Краснодар: КЮИ МВД РФ, 1996. - 280 с.

14. Лопатина Л.М. Концептуальная постановка задачи: «Прогнозирование количественных и качественных результатов выращивания заданной культуры в заданной точке» / Л.М. Лопатина, И.А. Драгавцева, Е.В. Луценко // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2004. - №05 (7). - Режим доступа: http://ej.kubagro.ru/2004/05/pdf/08.pdf

15. Трунев А.П. Прогнозирование курсов валют по астрономическим данным с использованием системы искусственного интеллекта. // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2009. - №7 (51). - Режим доступа: http://ej.kubagro.ru/2009/07/pdf/15.pdf

Размещено на Allbest.ru