Организация данных временных рядов для метода обучения с учителем
Анализ активной разработки новых методов машинного обучения. Особенности рекуррентных нейронных сетей. Моменты формирования временных рядов для метода обучения с учителем. Реализация прогнозирования временных рядов в виде рекуррентной нейронной сети.
Рубрика | Педагогика |
Вид | статья |
Язык | русский |
Дата добавления | 19.12.2017 |
Размер файла | 22,2 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
9
Размещено на http://www.allbest.ru/
Санкт-Петербургский государственный экономический университет
Организация данных временных рядов для метода обучения с учителем
Демьянов Руслан Сергеевич
магистрант 2 курса, кафедра информатики
г. Санкт-Петербург, Российская Федерация
Аннотация
В современном обществе проявляется все больший интерес к области машинного обучения. Именно поэтому нейронные сети могут использоваться везде, где нужно решать задачи классификации, управления и прогнозирования. Так же стоит заметить, что, к сожалению, старые методы машинного обучения плохо справляются с прогнозированием временных рядов. Именно поэтому ведется активная разработка новых методов машинного обучения, например, рекуррентные нейронные сети. Но подготовить свои данные для обработки так же не простая задача. В данной статье рассмотрены основные моменты формирования временных рядов для метода обучения с учителем.
Ключевые слова: временные ряды, прогнозирование, обучение с учителем, данные
Введение
Прогнозирование временных рядов может быть реализовано в виде рекуррентной нейронной сети. В большинстве случаев это обучение с учителем.
Обучение с учителем - это метод в котором существует некоторое количество входов (X) и выходов (y) и используется алгоритм обучения отображения от входа к выходу.
Y = f (X)
Цель метода аппроксимировать отображение таким образом, чтобы при подаче на вход новых данных (X), можно было бы спрогнозировать выходные данные (y).
Цель исследования
Для того что бы можно было воспользоваться методом обучения с учителем, который применяется в большинстве алгоритмов машинного обучения (в том числе и в нейронных сетях), необходимо преобразовать временной ряд в определенный вид, приемлемый для метода подконтрольного обучения.
На таблице 1 представлен пример данных для метода обучения с учителем, где один из столбцов является входными данными (X), а второй - выходными данными (y).
Таблица 1 - Пример данных обучения с учителем.
X |
y |
|
5 |
0,9 |
|
4 |
0,8 |
|
5 |
1 |
|
3 |
0,7 |
|
4 |
0,9 |
Алгоритм итеративно делает прогноз на тренировочных данных и корректируется, делая обновления. Обучение прекращается после того как достигается приемлемый уровень эффективности.
Проблемы машинного обучения, к которым применим алгоритм обучении с учителем можно сгруппировать на регрессию и классификацию:
· Проблема классификации - это ситуация при которой выходные данные относятся к какой-то конкретной категории или группе ("красное" или "синее", "положительный" или "отрицательный" анализ и т.д.)
· Проблема регрессии - это ситуация, когда выходные данные это реальные значения (например, "n долларов", "n пассажиров" и т.д.)
прогнозирование временной ряд обучение учитель
Применение скользящего окна для временных рядов
Данные временные ряды могут быть представлены в виде контролируемого обучения (обучения с учителем).
Представлена последовательность данных временных рядов, которую нужно сформировать под одну из проблем обучения с учителем, используя предыдущее значение как входное значение и последующее как выходное.
Данную идею продемонстрируем на примере, представленном в таблице 2:
Таблица 2 - Пример данных временного ряда.
время |
запись |
|
1 |
100 |
|
2 |
110 |
|
3 |
108 |
|
4 |
115 |
|
5 |
120 |
После преобразования данные будут сформируются следующим образом (таблица 3):
Таблица 3 - Преобразованные данные
X |
y |
|
? |
100 |
|
100 |
110 |
|
110 |
105 |
|
108 |
115 |
|
115 |
120 |
|
120 |
? |
Сравнивая два набора данных можно сделать следующие выводы:
· Предыдущее значение будет входным (X), а следующее значение выходным (y).
· Порядок строго сохранен.
· Так как первое значение не имеет предыдущего результата, оно становится бесполезным и данную строку можно удалить.
· Как и в первой строке, в последней так же не хватает одного значения, поэтому его можно удалить.
Ранее установлено, что использование предыдущего шага по времени, чтобы спрогнозировать следующий шаг называется скользящим окном. В статистике и анализе временных рядов это называется задержкой или методом задержки.
Принято считать, что число предыдущего шага называется шириной окна или размером задержки.
Метод скользящего окна - это основа того, как можно преобразовать любой набор вменённого ряда под проблему обучения с учителем. Но после демонстрации простого примера необходимо выделить два, логично возникающих, вопросов:
1. Можно ли увеличить размер окна для того что бы включить больше предыдущих значений?
2. Можно ли использовать метод скользящего окна на временном ряде, который имеет более одного значения, так же известном как многомерном временном ряде?
Метод скользящего окна в многомерном временном ряду
Известно, что число значений во временном ряду очень важно. Обычно по этому признаку временные ряды делятся на:
· Одномерные временные ряды - набор данных, где дано единственное значение в единицу времени, как например показатель температуры каждый час.
· Многомерные временные ряды - набор данных, где два или более значения даны за единицу времени.
Большинство методов анализа временных рядов и книг, содержащих данную тему, фокусируются на одномерных данных, так как это проще понимать и проще с эти работать. Многомерные данные гораздо сложнее для понимания, их сложнее сформировать в модель и многие классические методы часто справляются недостаточно хорошо.
"Многофакторный анализ временных рядов одновременно рассматривает несколько временных рядов. … Это, в общем, гораздо сложнее, чем анализ одномерного временного ряда." (Ruey S. Tsay. 2014. С.1)
Там, где классические методы не работают, приходит на помощь машинное обучение, так как комплекс одномерных временных рядов это примерно тоже самое, что и многомерный временной ряд.
Далее рассмотрим пример метода скользящего окна на многомерном временном ряде.
Дан многомерный временной ряд (таблица 4) с двумя значениями на каждый временной отрезок. И, допустим, нужно спрогнозировать только второе значение.
Таблица 4 - Многомерные временной ряд
время |
значение1 |
значение2 |
|
1 |
0,2 |
88 |
|
2 |
0,5 |
89 |
|
3 |
0,7 |
87 |
|
4 |
0,4 |
88 |
|
5 |
1 |
90 |
Вышеуказанным способом преобразуем данные под метод обучения с учителем. Для этого используем предыдущие значения, а также последующее первое значение. И таким образом, получили три входа и один выход для каждой записи (таблица 5):
Таблица 5 - Сформированный многомерный временной ряд для подконтрольного обучения
X1 |
X2 |
X3 |
y |
|
? |
? |
0,2 |
88 |
|
0,2 |
88 |
0,5 |
89 |
|
0,5 |
89 |
0,7 |
87 |
|
0,7 |
87 |
0,4 |
88 |
|
0,4 |
88 |
1 |
90 |
|
1 |
90 |
? |
? |
Так же, как и в предыдущем примере, первая и последняя запись не нужны, поэтому эти записи можно удалить.
При рассмотрении данного примера возникает вопрос: возможно ли спрогнозировать больше, чем одно значение?
Решением на поставленный вопрос так же может быть метод скользящего окна, которой может быть применим и для данного случая.
Используя тот же пример, сформировали запись таким образом, чтобы на выходе прогнозировать и запись один, и запись два, как единую ширину зеркала (таблица 6).
Таблица 6 - Представление многомерного временного ряда с прогнозом сразу двух значений
X1 |
X2 |
y1 |
y2 |
|
? |
? |
0,2 |
88 |
|
0,2 |
88 |
0,5 |
89 |
|
0,5 |
89 |
0,7 |
87 |
|
0,7 |
87 |
0,4 |
88 |
|
0,4 |
88 |
1 |
90 |
|
1 |
90 |
? |
? |
Было установлено, что не многие методы обучения с учителем могут обрабатывать прогноз сразу нескольких выходных значений без дополнительных модификаций, но, к примеру, нейронные сети достаточно просто справляются с этой задачей.
Прогнозирование сразу нескольких значений подразумевает под собой прогноз последовательности. В данном примере осуществляется прогноз двух абсолютно разных значений, однако существуют задачи, где выходное значение одно, но требуется сделать прогноз на несколько шагов вперед. Данный метод называется многоэтапным прогнозированием.
Скользящее окно в многоэтапном прогнозировании
Необходимо отметить, что Число шагов, на которое нужно сделать прогноз так же очень важно. Существуют следующие понятия для двух ситуаций:
· Одноэтапный прогноз - это прогноз на один шаг вперед (t + 1).
· Многоэтапный прогноз - это прогноз на два и более шагов (t + n).
Все вышеприведённые примеры были одноэтапными. В данной разделе остановимся лишь на базовом методе многоэтапного прогнозирования, так как методов достаточно много.
Используем метод скользящего окна на сегментированном многоэтапном прогнозировании.
Воспользуемся первым примером одномерного временного ряда (таблица 2).
Сформировав данные таким образом, чтобы ширина окна была равна одному, а прогноз был двухэтапным получили преобразованный одномерный временной ряд (таблица 8).
Таблица 8 - Одномерный временной ряд с двухэтапным прогнозом
X |
y1 |
y2 |
|
? |
100 |
110 |
|
100 |
110 |
105 |
|
110 |
105 |
115 |
|
108 |
115 |
120 |
|
115 |
120 |
? |
|
120 |
? |
? |
Из таблицы 8 видно, что первая и две последних записи бесполезны. Так же это хорошая демонстрация нагрузки на входное значение, по которому нужно сделать прогноз двух выходных значений.
Итак, именно поэтому необходимы аккуратность и множество экспериментов для того, чтобы подобрать ширину окна для необходимой производительности модели.
Выводы
Формирование данных методами, рассмотренными в статье, помогает не только организовать временные ряды для подконтрольного обучения или метода обучения с учителем, но и позволяет понимать, как именно можно работать с временными рядами, а также расширить границы возможностей по прогнозированию будущей модели.
Продемонстрированы примеры формирования многомерных временных рядов и многоэтапного прогнозирования для обучения с учителем. Старые методы машинного обучения не способны справиться с временными рядами, так как они принимают во внимание взаимосвязи, которые существуют между значениями данных. В отличии от старых методов машинного обучения, новые, такие как нейронные сети LSTM, имеют гораздо больший потенциал и могут учиться и прогнозировать не только одномерные временные ряды, но и многомерные.
Список литературы
1. Ruey S. Tsay. Multivariate Time Series Analysis: With R and Financial Applications. - 2014 - C.1.
2. Мишулина О.А. Статистический анализ и обработка временных рядов. М.: МИФИ, 2004. - С.180.
3. Шмойлова Р.А. Общая теория статистики. М.: Финансы и статистика, 2008. - С.10 - 14
4. Shasha, D. High Performance Discovery in Time Series // Springer - 2004. - С.114 - 116
5. Keogh, Eamonn, et al. Segmenting time series: A survey and novel approach // Data mining in time series databases 57 - 2004. - С.1-22.
6. Fox, Emily B., et al. An HDP-HMM for systems with state persistence. // Proceedings of the 25th international conference on Machine learning. ACM - 2008. - С.312 - 319
7. Teh, Yee Whye, et al. Hierarchical dirichlet processes. // Journal of the American Statistical Association 101 - 2006. - C.476.
8. Cowpertwait P.S.P., Metcalfe A.V. Introductory Time Series with R // Springer - 2009. - С.45 - 66
9. Shumway R.H., Stoffer, Time Series Analysis and its Applications // Springer - 2011. - С.47 - 78
10. Woodward, W.A., Gray, H.L. & Elliott, A.C. Applied Time Series Analysis // CRC Press. - 2012. - С. 197 - 230
11. Klaus Greff; Rupesh Kumar Srivastava; Jan Koutnнk; Bas R. Steunebrink; Jьrgen Schmidhuber. LSTM: A Search Space Odyssey. arXiv: 1503.04069 freely accessible. - 2015. / [Электронный ресурс] - Режим доступа. - URL: https: // arxiv.org/pdf/1503.04069. pdf - С.1 - 6
12. Graves, Alex; Mohamed, Abdel-rahman; Hinton, Geoffrey. Speech Recognition with Deep Recurrent Neural Networks. Acoustics, Speech and Signal Processing (ICASSP), IEEE International Conference on: 6645-6649. - 2013. / [Электронный ресурс] - Режим доступа. - URL: https: // pdfs. semanticscholar.org/1786/31e0f0e624b1607c7a7a2507ed30d4e83a42. pdf - С.1 - 4
13. Griewank, Andreas and Walther, A. Principles and Techniques of Algorithmic Differentiation, Second Edition. SIAM, - 2008. - C.31 - 59
14. Jьrgen Schmidhuber. Deep learning in neural networks: An overview. // Neural Networks 61 - 2015. - C.85 - 117.
Размещено на Allbest.ru
Подобные документы
Теоретические основы использования методов обучения в школьном курсе "основы безопасности жизнедеятельности". Методы, средства и приемы обучения в образовании, их классификация. Анализ школьных программ по предмету "ОБЖ". Анкетирование учителей.
дипломная работа [624,4 K], добавлен 12.08.2017Система и методика интенсивного обучения Виктора Федоровича Шаталова. Преимущества и недостатки метода. Игровые формы учебных занятий. Развернутое, образно-эмоциональное объяснение учителем материала. Опорные сигналы, их письменное воспроизведение.
презентация [632,3 K], добавлен 08.11.2013Педагогические основы восприятия времени у детей дошкольного возраста. Задачи и методы работы с детьми по формированию временных ориентировок. Принцип дифференциации и индивидуализации обучения. Закрепление полученных знаний в разных видах деятельности.
курсовая работа [231,0 K], добавлен 23.01.2012Обучение как система и как процесс. Преподавание и учение. Общая и частная дидактики. Традиционное и развивающее обучение. Особенности, характерные для процесса обучения. Движущие силы процесса обучения. Организация учителем самостоятельной работы.
презентация [819,3 K], добавлен 07.08.2015Особенность метода проблемного обучения в условиях внеклассной работы: кружковая работа как форма индивидуализации обучения, особенности исследовательской деятельности школьников 5-го класса. Реализация проблемного обучения в рамках кружковой работы.
дипломная работа [17,0 M], добавлен 21.04.2011Особенности формирования пространственно-временных представлений у старших дошкольников массовых групп дошкольных учреждений. Методика и организация исследования сформированности пространственно-временных представлений у старших дошкольников с ТНР.
курсовая работа [1002,2 K], добавлен 09.07.2011Теоретические аспекты схем и моделирования формирования временных представлений. Методика формирования временных представлений у детей дошкольного возраста средствами графического моделирования. Методическое обеспечение образовательной программы.
курсовая работа [114,2 K], добавлен 14.11.2017Методы интерактивного обучения в современной педагогической практике. Алекс Осборн как изобретатель метода "мозгового штурма" - популярного метода стимулирования творческой активности. Особенности использования данного метода в учебном процессе.
реферат [17,0 K], добавлен 19.03.2015Методы обучения, их реализация в учебном процессе. Разработка уроков с применением методов обучения, их реализация в процессе преподавания "Технологии" 8 класса. История дидактики и классификации методов обучения. Исследовательский метод обучения.
контрольная работа [23,2 K], добавлен 08.03.2009Понятие и сущность методов обучения, их роль. Общая характеристика отдельных видов методов обучения и анализ условий эффективного выбора и применения тех или иных методов обучения учащихся. Особенности словесных, наглядных и практических методов.
контрольная работа [29,6 K], добавлен 13.05.2013