Обработка и визуализация данных в виртуальных лабораториях удаленного доступа на основе модельно-ориентированного подхода

Размещено на http://www.allbest.ru/

Обработка и визуализация данных в виртуальных лабораториях удаленного доступа на основе модельно-ориентированного подхода

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

интернет математический моделирование

Актуальность темы. В настоящее время одной из перспективных форм организации и проведения совместных научных исследований и реализации дистанционного обучения является создание информационно-вычислительных веб-ресурсов и виртуальных лабораторий (ВЛ) удаленного доступа, т.к. Интернет занял прочные позиции в современном научном сообществе и является важным средством коммуникации, обмена научной информацией и публикации научных результатов.

Проблема разработки и использования удаленных ВЛ заключается в том, что техническая реализация ВЛ не позволяет одновременно предоставить пользователю мощь вычислительных систем и интерактивную высококачественную визуализацию с гибкими возможностями настройки и взаимодействия. Связано это с тем, что большинство из ВЛ создаются либо с использованием технологий на стороне сервера (специализированные математические пакеты), либо с использованием технологии клиента (Java-апплеты).

1. Специализированные математические пакеты имеют проблему интерпретации и визуализации результатов математического моделирования. Обрабатывая большие массивы данных при численном моделировании, генерация анимации в виде серии статичных растровых изображений становится бессмысленной вследствие существенного увеличения нагрузки на сеть и загрузки процессора конечного пользователя.

2. Java-технология, напротив, обладает мощными средствами разработки интерактивной графики и анимации, но, одновременно, не позволяет производить сложные математические расчеты, вследствие «бедного» встроенного математического аппарата.

В связи с этим необходимо решение, позволяющее отображать данные, являющееся результатом математического моделирования со стороны специализированных пакетов, в векторном формате, в том числе и анимацию, с возможностями интерактивного взаимодействия пользователя с изображением.

В Астраханском государственном университете ведется разработка информационно-компьютерных технологий нового поколения, которые обеспечивают эффективную разработку информационно-вычислительных систем, решают широкий комплекс проблем компьютерного анализа и моделирования сложных, в том числе, живых, систем и покрывают указанные выше недостатки.

Разработка технологий получила финансовую поддержку Российского фонда фундаментальных исследований (проект РФФИ № 07-07-00128-а), Фонда содействия развития малых форм предприятий в научно-технической сфере (проект У.М.Н.И.К. «Интернет-ориентированная кроссплатформенная система визуализации данных для сопряжения со специализированными пакетами научного программного обеспечения и базами данных»).

Целью диссертационной работы является разработка и программная реализация комплекса моделей обработки и визуализации данных в среде Интернет при проведении компьютерного моделирования сложных динамических систем.

Для достижения поставленной цели были сформулированы и решены следующие задачи:

1. Провести анализ представленных в сети Интернет виртуальных лабораторий математического моделирования, выявить недостатки.

2. Разработать концепцию разделения вычислительных и визуализационных процессов в системе «клиент-сервер».

3. Разработать модель обмена и визуализации данных и модель представления результатов математического моделирования.

4. Разработать модель обработки и представления структурированных данных, хранящихся в системах управления базами данных (СУБД).

5. Создать программное обеспечение (ПО), реализующее предлагаемую концепцию, для проведения фундаментальных исследований в области математического моделирования.

6. Провести апробацию концепции на примере распределенной системы для математического моделирования сложных систем.

Методологической и теоретической основой диссертационной работы явились исследования российских и зарубежных ученых в области интернет-технологий, математического и компьютерного моделирования, теории машинной графики, аналитической геометрии.

Методы исследования. В работе применялись общенаучные методы и приемы исследования: системный подход, сравнительный анализ, синтез, классификация и структуризация. Проведенные в работе исследования базируются на объектной модели данных и используют методы математического моделирования. Для решения поставленных задач применялись методы системного, модульного и объектно-ориентированного программирования, а также средства UML-моделирования.

Научная новизна работы. Соискателем получены и вынесены на защиту следующие основные положения:

1. Разработан комплекс моделей для обработки и визуализации данных, включающий: модель вариантов использования, модель обмена и визуализации, модель обработки и представления структурированных данных, хранящихся в СУБД, модель представления результатов математического моделирования, модель классов, интерфейсов, сценариев.

2. Разработан файловый формат для хранения и распространения в сети Интернет результатов математического моделирования, основанный на предложенной модели.

3. Разработан алгоритм автоматической генерации визуализации на основе модели представления результатов математического моделирования.

4. Разработан алгоритм автоматической генерации веб-интерфейса, содержащего параметры математической модели (ММ).

5. Разработан алгоритм автоматической генерации веб-интерфейса и SQL-запросов на основе модели представления данных, хранящихся в СУБД.

Практическая значимость исследования

1. Предложенная модель визуализации расчетов, выполненных специализированными математическим пакетами, более эффективна по сравнению со стандартными подходами и существенно сокращает временные задержки при моделировании в режиме «клиент-сервер», так как объем пересылаемой информации сократился на порядок, что позволило существенно снизить нагрузку на сеть.

2. Автоматизированная интеграция вычислительных систем с виртуальными лабораториями является трудно реализуемой задачей с использованием стандартных средств разработки. В работе предложено более эффективное решение, имеющее практическую реализацию.

3. Использованные в исследовании технологии и методы визуализации способствуют повышению эффективности применения математических моделей, созданных средствами стандартных математических пакетов, в среде Интернет при ограничениях, обусловленных её особенностями.

4. Разработанные модели и ПО на их основе предоставляют возможности по ускорению информационных потоков путем значительного уменьшения количества необходимой для передачи информации. При этом уменьшается время ожидания загрузки веб-страниц без увеличения пропускной способности каналов связи.

5. Разработан программный комплекс в виде Интернет-ориентированной кроссплатформенной системы визуализации данных для сопряжения со специализированными математическими пакетами VS-Sci. Программный комплекс внедрен и активно используется в Астраханском государственном университете.

6. Разработан программный комплекс в виде автоматизированной системы управления содержимым Интернет-ресурсов CMSLaps. Программный комплекс применяется при решении научно-образовательных и промышленных задач.

Публикации. Основные теоретические положения и результаты диссертационной работы опубликованы в 15 печатных работах, в том числе в 3 журналах, рекомендованных ВАК.

Разработанное программное обеспечение зарегистрировано в Отраслевом фонде алгоритмов и программ (ОФАП), получены свидетельства о государственной регистрации в Роспатенте.

Апробация диссертации. Основные теоретические положения и результаты диссертационной работы опубликованы в материалах V Международной научно-технической конференции «Компьютерное моделирование 2004» (Санкт-Петербург), итоговой научной конференции АГУ «Физика. Математика. Информатика» (Астрахань, 2004), XIII международной конференции «Математика. Экономика. Образование» (Ростов н/Д, 2005), Международной научно-практической конференции (студентов и молодых ученых) «Электронный университет как условие устойчивого развития региона» (Астрахань, 2005), Международной научно-практической конференции «Информатизация образования - 2005» (Елец), Всероссийской научно-практической конференции «Информационные технологии в образовании и науке» (Москва, 2006), Международной научной конференции, посвященной памяти профессора А.М. Богомолова «Компьютерные науки и информационные технологии» (Саратов, 2007), IX Международной научно-технической конференции «Компьютерное моделирование 2008» (Санкт-Петербург), «Телематика - 2008» (Санкт-Петербург), а также представлены на выставке «Московский салон инноваций и инвестиций» (Москва, ВВЦ, 2006-2007 гг.).

Разработанные модели, технологии, алгоритмы и инструменты внедрены в производство программных продуктов в 2006-2008 гг.:

1. Сайт совместной лаборатории Института математических проблем биологии Российской академии наук и Астраханского государственного университета «Математическое моделирование и информационные технологии в науке и образовании» (http://mathmod.aspu.ru).

2. Портал русского языка «ЯРУС» (http://yarus.aspu.ru).

3. Интернет-мониторинг мероприятий, проводимых к празднованию 450-летия г. Астрахани (http://450.aspu.ru).

4. Агропромышленный портал Астраханской области (http://agro-portal.aspu.ru).

5. Официальный сайт Астраханского государственного университета (http://aspu.ru).

Личный вклад автора. Все исследования, изложенные в диссертационной работе, проведены лично соискателем в процессе научной деятельности. Все результаты, выносимые на защиту, получены автором лично.

Из совместных публикаций включен лишь тот материал, который непосредственно принадлежит соискателю, заимствованный материал обозначен в работе ссылками.

Структура диссертации обусловлена целью исследования, определена логикой рассмотрения взаимосвязанных вопросов и совокупностью решаемых задач. Диссертация изложена на 166 страницах и состоит из введения, четырех глав, заключения, списка литературы и приложений.

Список литературы содержит 63 наименования. Работа иллюстрирована 38 рисунками и содержит 3 таблицы.

СОДЕРЖАНИЕ РАБОТЫ

Во введении дано обоснование актуальности темы диссертации, сформулированы цели работы, задачи и методы исследования, научная новизна, практическая значимость.

В главе 1 проведен анализ существующих ВЛ удаленного доступа и средств их разработки. Определены требования к ВЛ. Описана предлагаемая концепция сопряжения вычислений со стороны математических пакетов с визуализацией на стороне клиента.

Существующим ВЛ в той или иной мере присущи следующие недостатки: длительная загрузка, отсутствие возможности пользовательского взаимодействия с визуализацией, использование неэффективных численных методов для решения задач, ВЛ спроектированы на уровне абстракций конкретного языка программирования, а не на уровне объектов конкретной предметной области.

Прослеживаются две взаимодополняемые тенденции создания ВЛ для среды Интернет: с использованием веб-сервисов популярных математических пакетов и с использованием Java-технологии.

Таблица 1 Сравнение функциональных возможностей веб-сервисов специализированных математических пакетов и Java-технологии при решении научных задач

Веб-сервисы математических пакетов (MATLAB Web Server, MapleNet, Mathcad Application Server, webMathematica)	Клиентские технологии (Java)
Обладают эффективной, надежной и проверенной библиотекой численных методов. Обеспечивают стандартные методы решения разнообразных систем (обыкновенные дифференциальные уравнения, дифференциальные уравнения в частных производных, в том числе системы типа «реакция-диффузия», уравнения с запаздыванием и т.д.)	При решении сложных систем приходится либо разрабатывать библиотеки численных методов самостоятельно, либо прибегать к авторским средствам сторонних разработчиков.
Результаты моделирования выдаются в виде растровых изображений.	Мощные средства разработки интерактивных апплетов, с возможностью анимации.

Для создания ВЛ, лишенных указанных недостатков, определены следующие требования:

1. Использование объектно-ориентированного подхода.

2. Соответствие инструмента для проведения вычислений классу решаемых задач.

3. Обеспечение качественной визуализации, в том числе анимации, с возможностью пользовательского взаимодействия и визуального запроса.

4. Возможность произвольного изменения свойств и способов отображения ММ без внесения изменений в программный код.

5. Обеспечение возможности повторного использования результатов вычислений для ускорения загрузки ранее рассчитанных ММ.

Для устранения недостатков в существующих ВЛ с учетом сформулированных требований предлагается метод, при котором специализированные математические пакеты используются только для проведения вычислений, а визуализация результатов моделирования выполняется в специализированной системе на стороне клиента посредством стандартного веб-обозревателя.

Рис. 1. Модель вариантов использования

Части ВЛ взаимодействуют друг с другом посредством моделей представления данных, описанных в главе 2.

Требование 3 имеет преимущественное решение в виде клиентской реализации визуализации, так как для ВЛ удаленного доступа характерны следующие особенности:

– время одного сеанса работы пользователя превышает время, необходимое для перекачки по сети кода программ визуализации;

– объем данных, необходимых для построения изображения, меньше объема готового растрового изображения;

– в течение одного сеанса работы пользователь многократно обращается к визуализации данных в различных представлениях;

– для построения одного изображения требуется комбинация из нескольких наборов данных, и количество таких комбинаций существенно превосходит количество основных наборов.

В главе 2 приводится описание разработанных моделей представления, обмена, визуализации и обработки данных. Описан алгоритм автоматической генерации веб-интерфейса и SQL-запросов для обработки данных, хранящихся в СУБД.

Требования 1 и 5 из главы 1 определили выбор модельно-ориентированного подхода к обработке и визуализации данных в ВЛ. Предлагаемый подход основан на замене процедурного кода декларативным описанием архитектурных компонентов и объектов визуализации.

Интересующие параметры ММ пользователь указывает посредством веб-интерфейса, который автоматически создается по соответствующей модели представления (Рис. 2).



Рис. 2. Модель представления параметров математической модели

Система визуализации и удаленный источник данных работают автономно, независимо друг от друга, находятся в режиме ожидания до поступления команды на визуализацию и расчет, соответственно.

Генерация визуализации происходит путем разбора модели представления результатов математического моделирования, реализованной на языке XML.

Рис. 3. Модель представления результатов математического моделирования



Рис. 4. Модель обмена и визуализации

Обработка большого объема структурированных данных, хранящихся в СУБД, с применением традиционных средств является крайне трудоемкой задачей, так как любые изменения в структуре данных требуют модификации ПО. Наличие чётко определенных операций с данными позволяет типизировать веб-интерфейс и SQL-запросы и использовать модельно-ориентированный подход к разработке данного класса ПО.

Предлагаемый метод заключается разработке модели представления данных, достаточной для автоматической генерации такого пользовательского интерфейса, после передачи html-формы которого на сервер программа сможет автоматически сгенерировать и выполнить SQL-запрос к БД.

Для работы пользователя с данными программа импортирует XML-представление модели данных, анализирует их и генерирует веб-интерфейс с управляющими элементами.



Рис. 5. Модель обработки данных, хранящихся в СУБД

Рис. 6. Модель представления данных, хранящихся в СУБД

Рис. 7. Блок-схема алгоритма генерации веб-интерфейса для обработки данных, хранящихся в СУБД

Для обработки сгенерированной html-формы на сервер передаётся ассоциированный массив с именами элементов, соответствующих именам переменных формы и со значениями, соответствующими значениям элементов той же формы. Анализируя данный массив, можно автоматически создать SQL-запрос к БД, используя только переданную клиентом информацию.

Рис. 8. Блок-схема алгоритма автоматической генерации SQL-запросов

В главе 3 приводится описание разработанной системы визуализации, модели ее классов и возможностей.

Соискателем разработан программный комплекс VS-Sci, в котором представление характеристик исследуемых процессов основано на применении интерактивной векторной графики и анимации с возможностью пользовательского взаимодействия.



Рис. 9. Структурно-функциональная модель VS-Sci

Основными задачами вычислительного модуля являются: проверка переданных пользователем параметров задачи, решение задачи, запись результатов вычислений на сервер в формате представления результатов математического моделирования, вывод URL-пути к XML-конфигурации модели. После завершения процесса вычислений визуализационный модуль импортирует данные, разбирает их и строит визуализацию.

Рис. 10. Блок-схема алгоритма работы визуализационного модуля

Веб-интерфейс, содержащий параметры ММ и JavaScript-обработчики, автоматически генерируется по модели представления параметров ММ.

Рис. 11. Блок-схема алгоритма генерации веб-интерфейса

Для реализации возможности чтения удаленных данных Java-апплетом соискателем предлагается использование электронной подписи апплета и использование серверного посредника.

Рис. 12. Визуализация в случае использования серверного посредника

В главе 4 рассмотрены примеры использования системы VS-Sci для визуализации моделей нелинейной динамики.

Разработанный программный комплекс для визуализации данных, полученных с удаленных веб-серверов специализированных математических пакетов, был апробирован на виртуальной лаборатории нелинейной динамики. Расчеты моделей выполнялись с использованием средств пакета MATLAB. Использование разработанной системы существенно эффективнее по сравнению со стандартными методами (см. Таблица 2).

Таблица 2 Сравнительная характеристика реализации ВЛ на основе MATLAB Web Server и реализации на основе MATLAB Web Server+VS-Sci

	MATLAB Web Server	MATLAB Web Server+VS-Sci
Время загрузки приложения 1. Модель механической системы 2. Параметрические колебания математического маятника 3. Колебания двух связанных осцилляторов	4 с 3 с 14 с	2 с 3 с 3 с
Объем пересылаемой информации 1. Модель механической системы 2. Параметрические колебания математического маятника 3. Колебания двух связанных осцилляторов	41 Кб 43 Кб 10035 Кб	18 Кб 26 Кб 23 Кб
Возможность повторного использования результатов вычислений	-	+
Возможность масштабирования без повторного обращения к серверу	-	+
Возможность фоновой подкачки данных	-	+
Пользовательское взаимодействие с данными	-	+
Перезагрузка веб-страницы при обращении к серверу для произведения расчетов	+	-

Рис. 13. Интерфейс модели «Механическая система» с параметрами =0.2, =0.4, =5, x₀=0, v₀=2.



Рис. 14. Интерфейс модели «Параметрические колебания маятника» с параметрами x = 0.5, y = 2, = 0.2, = 2, = 3.

Рис. 15. Интерфейс модели «Колебания двух связанных осцилляторов» с параметрами x₁ = -10, x₂ = 10, m₁ = 10, m₂ = 10.

ОСНОВНЫЕ ВЫВОДЫ

Основные выводы, конкретные научные и практические результаты работы заключаются в следующем.

1. Разработана концепция разделения вычислительных и визуализационных задач в системе «клиент-сервер».

2. Предпринята попытка разработки интернет-ориентированного программного обеспечения на основе модельно-ориентированного подхода.

3. Разработаны модели визуализации и представления результатов математического моделирования.

4. Разработаны модели обработки и представления структурированных данных, хранящихся в СУБД.

5. На основе предложенных моделей спроектирована структурно-функциональная модель системы визуализации данных для сопряжения со специализированными математическими пакетами.

6. Предложена технология передачи результатов вычислений, выполненных на удаленных серверах, в систему визуализации путем создания серверного посредника.

7. Разработан алгоритм автоматической обработки структурированных данных, хранящихся в СУБД, на основе модели представления этих данных.

8. Разработан алгоритм автоматической генерации визуализации результатов математического моделирования.

9. Разработан программный продукт в виде системы визуализации данных для сопряжения со специализированными пакетами научного программного обеспечения VS-Sci.

10. Разработан программный продукт для создания и управления содержимым Интернет-ресурсов CMSLaps на основе выбранного подхода и предложенной модели обработки и представления данных.

11. Апробация разработанного ПО на примере распределенной системы математического моделирования сложных систем показала эффективность предлагаемых моделей для визуализации и обработки данных.

Преимущества использования VS-Sci в качестве базового средства визуализации результатов вычислений:

1. Независимость визуализации от источника данных.

2. Кроссплатформенность за счет использования Java-технологии в качестве базового средства.

3. Веб-страница не перегружается заново при каждом запросе пользователя на выполнение расчета.

4. Пользователю передается не анимация процесса в виде файлов в форматах gif или avi, а генерируется соответствующий интерфейс с векторной анимацией и возможностью пользовательского взаимодействия.

5. Повторное использование результатов вычислений без дополнительных обращений к серверу.

6. Возможность построения многослойных изображений и отображения в нескольких окнах.

ПУБЛИКАЦИИ АВТОРА

Статьи, опубликованные в периодических изданиях, рекомендованных ВАК

1. Пономарева, И.С. Некоторые аспекты создания web-приложения на базе MATLAB Web Server / И.С. Пономарева, В.А. Зелепухина, Ю.Ю. Тарасевич // Информационные технологии, № 9, 2006. - С. 68-72.

2. Пономарева, И.С. Применение веб-технологий в физическом практикуме // Физическое образование в вузах / И.С. Пономарева, Ю.Ю. Тарасевич, В.А. Зелепухина, Е.Н. Манжосова, Т.В. Панченко // Физическое образование в ВУЗах. - 2006. - Т. 12 - № 1 - С. 103-114.

3. Зелепухина, В.А. Разработка систем управления содержимым интернет-ресурсов на основе автоматической генерации WEB-интерфейса и SQL-запросов / В.А. Зелепухина // Информационные технологии, № 8, 2008. - С. 20-22.

Другие публикации автора

4. Пономарева, И.С. Разработка приложений для MATLAB Web Server / И.С. Пономарева, В.А. Зелепухина, Ю.Ю. Тарасевич // Компьютерные инструменты в образовании. - 2005. - № 4 - С. 48-56.

5. Зелепухина, В.А. Автоматизированная система интерактивной визуализации данных для сопряжения со специализированными математическими пакетами и базами данных / В.А. Зелепухина // Свидетельство об официальной регистрации программы для ЭВМ № 2008610002. Зарегистрировано в реестре программ для ЭВМ 9 января 2008 г.

6. Зелепухина, В.А. Автоматизированная система для создания и управления Интернет-ресурсами на основе автоматической генерации HTML-форм и SQL-запросов / В.А. Зелепухина // Свидетельство об официальной регистрации программы для ЭВМ № 2008610001. Зарегистрировано в реестре программ для ЭВМ 9 января 2008 г.

7. Пономарева, И.С. Виртуальная лаборатория математического моделирования в естественных науках / И.С. Пономарева, В.А. Зелепухина, Ю.Ю. Тарасевич //Свидетельство об официальной регистрации программы для ЭВМ № 2006611977. Зарегистрировано в реестре программ для ЭВМ 7 июня 2006 г.

8. Винокурова, В.А. Компьютерное моделирование средствами Java динамического хаоса в простой механической системе / В.А. Винокурова // Труды Международной научно-технической конференции Компьютерное моделирование 2004. Часть 1. -- СПб.: «Нестор», 2004. - 356 с. - С. 260-261.

9. Винокурова, В.А. Динамический хаос в простой механической системе / В.А. Винокурова // Свидетельство об отраслевой регистрации разработки № 3534. Зарегистрировано в Отраслевом фонде алгоритмов и программ 12 мая 2004 г.

10. Пономарева, И.С. Образовательный сайт по математическому моделированию в естественнонаучных дисциплинах как способ реализации концепции открытого образования / И.С. Пономарева, В.А. Винокурова // Электронный университет как условие устойчивого развития региона: сб. матер. Международной научно-практической конференции студентов и молодых ученых. - Астрахань: 2005. - С. 254-257.

11. Пономарева, И.С. Образовательный сайт по математическому моделированию в естественнонаучных дисциплинах / И.С. Пономарева, В.А. Винокурова // Информатизация образования - 2005: Материалы Международной научно-практической конференции. - Елец: Елецкий государственный университет им. И. А. Бунина, 2005 - ISBN 5-94809-120-1 - С.556.

12. Зелепухина, В.А. Интернет-ориентированная система для визуализации данных для сопряжения с пакетами научного программного обеспечения / В.А. Зелепухина // Труды XV Всероссийской научно-методической конференции Телематика 2008, Том 1. 23-26 июня 2008 г. - Санкт-Петербург - ISBN 5-7577-0314-8.

13. Зелепухина, В.А. Интернет-ориентированная система для визуализации данных для сопряжения с пакетами научного программного обеспечения /В.А. Зелепухина // Труды международной научно-технической конференции Компьютерное моделирование 2008 - Санкт-Петербург, Изд-во Политехнического университета, 2008. - 280 с.

14. Зелепухина, В.А. Сопряжение интернет-ориентированных технологий визуализации научных расчетов со специализированными пакетами научного программного обеспечения / В.А. Зелепухина // Математическое моделирование, вычислительная механика и геофизика: Труды V Школы-семинара -- Ростов-на-Дону: Изд-во «ЦВРР», 2007.

15. Пономарева, И.С. Виртуальная лаборатория как форма организации научных исследований / И.С. Пономарева, В.А. Зелепухина, Ю.Ю. Тарасевич, Е.Н. Манжосова, И.А. Бубенщикова, А.Р. Ибрагимова, А.З. Абдугалиев, И.Т. Максудов // Материалы Всероссийской научно-практической конференции «Информационные технологии в образовании и науке». - М.: МФА, 2006. Ч. 1. - С. 174-179.

Размещено на Allbest.ru