Двухшаговый комбинированный алгоритм повышения точности прогнозирования концентрации метана в атмосферном воздухе на основе нейронной сети NARX и последующего прогнозирования невязок

Размещено на http://allbest.ru

¹Институт промышленной экологии Уральского отделения РАН

²Уральский федеральный университет им. первого Президента России Б.Н. Ельцина (Екатеринбург, Российская Федерация)

Двухшаговый комбинированный алгоритм повышения точности прогнозирования концентрации метана в атмосферном воздухе на основе нейронной сети NARX и последующего прогнозирования невязок

¹И. Е. Субботина, ¹А. Г. Буевич, ¹А. П. Сергеев,

¹А. В. Шичкин, ¹Е. М. Баглаева, ²М.С. Ремезова

Екатеринбург, Российская Федерация

Аннотация

Предложен двухшаговый комбинированный алгоритм прогнозирования концентрации метана в атмосферном воздухе, основанный на использовании искусственных нейронных сетей и последующем моделировании невязок Для выбора базовой модели проведено сравнение результатов двух наиболее часто применяемых для прогноза временных рядов искусственных нейронных сетей: нелинейной авторегрессионной нейронной сети с внешним входом NARX и нейронной сети Elman.

Временной ряд составлен из значений концентрации метана в приземном слое атмосферного воздуха, полученных при экологическом мониторинге парниковых газов на арктическом острове Белый (Россия).

Выбран временной интервал 192 ч в течение летнего периода, характеризующийся значительными суточными колебаниями концентрации метана. Для обучения нейронной сети использованы значения, соответствующие первым 168 ч интервала, следующие 24 ч были спрогнозированы. Точность прогноза оценивалась на основе ряда рассчитываемых показателей: индексов согласия, абсолютной ошибки, среднеквадратической и среднеквадратичной относительной ошибки. Предложенный алгоритм позволил повысить точность прогноза лучшей базовой модели NARX по всем показателям.

Ключевые слова: парниковые газы, искусственные нейронные сети, NARX, невязки.

Введение

По результатам работы Межправительственной группы экспертов по изменению климата (МГЭИК) в 2001 г. Арктика была классифицирована как регион, «исключительно уязвимый к изменениям климата» [1]. Восприимчивость и адаптивные возможности арктической системы не позволяют справляться с последствиями климатических изменений, а разнообразные механизмы обратной связи вызывают процессы, воздействующие на глобальный климат [1]. По данным Росгидромета, за 1971--2017 гг. среднегодовая приземная температура воздуха в Арктике росла в 2,4 раза быстрее, чем в среднем по Северному полушарию, изменение за эти годы составило 2,7°C [2; 3]. На арктическом побережье наблюдается наибольшая скорость увеличения среднегодовой температуры (более 0,7°С/10 лет) [2].

Сегодня в научной литературе отсутствует надежная оценка вклада естественных и антропогенных факторов в наблюдаемые процессы таяния арктического льда и деградации вечной мерзлоты, а также последствий, к которым они приведут [3; 4]. Некоторые исследователи полагают, что ожидаемые изменения состояния вечной мерзлоты вызовут увеличение потока в атмосферу парниковых газов естественного происхождения, содержащихся в вечной мерзлоте (см., например, [5; 6]). Неопределенность оценок усугубляется недостаточным пониманием роли арктических экосистем в глобальном углеродном цикле [1].

Среди основных долгоживущих парниковых газов к настоящему времени наиболее детально исследована эволюция и климатоформирующая роль диоксида углерода, существенно меньше данных о метановом подцикле углеродного цикла [1]. При этом парниковая эффективность молекулы метана примерно в 26 раз превышает парниковую эффективность молекулы диоксида углерода. И хотя концентрация СН₄ в атмосфере примерно в 200 раз меньше концентрации СО₂, радиационный форсинг метана оценивается как второй по значимости после СО₂ -- около 0,5 Вт/м². Это сравнимо с соответствующим радиационным воздействием диоксида углерода (1,7 Вт/м²) и глобальным результирующим антропогенным радиационным воздействием (1,6 Вт/м²) [7]. С 2007 по 2011 гг. ежегодный прирост концентрации СН₄ увеличился в 10 раз по сравнению с периодом 1992--2006 гг. [2]. арктический метан нейронный сеть

Для предсказания возможных климатических эффектов при изменении состава атмосферного воздуха, в частности концентрации парниковых газов, востребованы прогнозы, которые осуществляются с использованием классических статистических подходов [8--10] и климатических моделей [11]. Однако зачастую такие прогнозы недостаточно точны, так как набор факторов, влияющих на конечный результат, велик и неопределенен. В последние годы приобретают популярность модели на основе искусственных нейронных сетей (ИНС) [12--15] благодаря высокой точности прогноза, обычно превышающей точность других методов. Среди множества типов ИНС, использующихся для прогнозирования временных рядов, наиболее подходящими являются сети Elman и NARX [16--20].

Сеть Elman относится к типу рекуррентных сетей, получаемых из многослойного персептрона путем введения обратных связей, которые связаны не с выходом сети, а с выходами нейронов скрытого слоя, что позволяет учитывать историю наблюдаемых процессов и накапливать информацию для разработки правильной стратегии прогнозирования. Эти сети применяются в задачах прогнозирования временньїх рядов, поскольку их главной особенностью является запоминание последовательностей.

Нейронная сеть в процессе обучения выделяет трендовые, случайные и циклические компоненты временного ряда и учитывает их при построении прогноза. Для получения правдоподобного прогноза с использованием минимальных входных данных необходимо определить структуру конкретной сети (количество скрытых слоев, нейронов в каждом слое и т. д.) и выбрать подходящий алгоритм обучения. Кроме того, есть еще один -- комбинированный -- подход, позволяющий повысить точность прогноза. Он основан на анализе и моделировании невязок (разностей измеренных и вычисленных значений) ИНС. Использование такого алгоритма позволяет добиться значительного прироста точности, что подтверждается предыдущими работами авторов [21; 22] и результатами других исследователей в работах схожей тематики [23--26]. Этот подход был успешно использован для множества типов ИНС. Невязки ИНС оценивали различными методами (геостатистика, другие ИНС и т. д.) [26; 27].

Целью работы является повышение точности суточного прогноза содержания метана в атмосфере острова Белый с применением двухшагового комбинированного алгоритма ИНС.

Материалы и методы

Область исследования. Измерения парниковых газов метана, углекислого газа, окиси углерода и водяного пара были проведены Институтом промышленной экологии Уральского отделения РАН летом 2016 г. на арктическом острове Белый, расположенном в Карском море в 5--10 км к северу от полуострова Ямал (рис. 1).

Рис. 1. Место проведения измерений (Google Earth) Fig. 1. Measurement Location [Google Earth]

Подготовка данных. Для прогнозирования использовались данные о концентрации метана (ppm мольная доля) в приземном слое атмосферного воздуха. Концентрацию метана измеряли с помощью лазерного газоанализатора Picarro G2401.

Основные метеорологические параметры (температура, влажность, атмосферное давление) измерялись метеостанцией Vaisala AWS310. Информация о концентрации газа была синхронизирована с метеорологическими параметрами.

Обсуждение условий измерений, приборной базы и некоторых результатов приведено в [28].

В настоящей работе был выбран временной ряд, состоящий из 192 отсчетов (часов). Исходные данные (выборка) были разделены на два временньїх интервала.

Первый, обучающий, традиционно включающий большую часть данных (в нашем случае первые 168 отсчетов), использован для обучения сети.

На основании нашего опыта и работ других авторов оптимальным соотношением обучающей и тестовой подвыборок является 70:30 [21--27].

Оставшиеся 24 отсчета сформировали тестовый интервал временного ряда. Он использовался не в процессе обучения нейронной сети, а только для прогнозирования значений ряда.

Создание сетей NARX и Elman. При компьютерном моделировании была определена структура сетей. Входными данными стали значения мольной доли CH4 и основные метеорологические параметры (температура, влажность, атмосферное давление).

Скрытый слой содержал несколько нейронов, а выходной слой представлял концентрацию элемента (CH₄, ppm мольная доля), соответствующую текущему времени. Для всех типов ИНС использовался алгоритм обучения Левенберга -- Марквардта [29; 30].

Выбор количества нейронов в скрытом слое в NARX и Elman был выполнен по условию минимизации среднеквадратической ошибки (RMSE) (6). Количество нейронов варьировалось от 5 до 25. Каждую сеть обучали 500 раз и отбирали лучшую.

Комбинированный алгоритм на основе ИНС. Комбинированный подход был реализован трехступенчатым алгоритмом, объединяющим две одинаковые методики интерполяции.

Обученная сеть NARX предсказывала концентрацию CH4. Затем были вычислены невязки в тех же временных точках. Невязки нейронной сети были определены следующим образом:

где r(t) -- невязки набора данных t.,

m(t) -- измеренные значения;

p_NARX(t) -- значения, предсказанные нейронной сетью.

Эти невязки были входными данными для сети NARX. Невязки прогнозируются с использованием сети NARX.

Концентрация CH₄(r) была получена как сумма оценки сети NARX и оценки невязок сетью NARX (NARXR):

Моделирование проведено в программном пакете MATLAB. Алгоритм комбинированного подхода показан на рис. 2.

Оценка точности прогноза. Для оценки предсказания использовались следующие показатели: абсолютная ошибка MAE (3), RMSE (4), среднеквадратичная относительная ошибка (RMSRE) (5) и индексы согласия dl и d2 (6--7). dl и d2 являются показателями точности прогнозирования модели и варьируются от 0 до 1, где значение 1 указывает на идеальное совпадение, а 0 -- на полное отсутствие согласия [31; 32].

Рис. 2. Алгоритм комбинированного подхода

Fig. 2. Combined Approach Algorithm

Вертикальные стрелки соответствуют процедуре обучения

Горизонтальные стрелки соответствуют вводу-выводу данных

Результаты и обсуждение

Оптимальное количество нейронов в скрытом слое для сетей NARX и Elman -- 20. В табл. 1 приведены параметры, используемые для сравнения точности различных методов (наилучшие значения, продемонстрированные NARXR для тестового интервала, выделены жирным шрифтом).

Таблица 1. Показатели оценки точности концентрации СН₄

Модель NARX оказалась более точной, чем модель, основанная на сети Elman. Для MAE, RMSE и RMSRE точность возросла на 36%, 40% и 37,5% соответственно. Оба индекса согласия были также лучше для NARX (более 18%), что подтверждает результаты моделирования. Анализ невязок NARX (рис. 3) показал, что они имеют значительную корреляцию с предсказанными значениями. Коэффициент корреляции между прогнозируемыми значениями и остатками составил 0,6 (р < 0,05) (см. рис. 3а).

NARX невязки, ppm

Рис. 3. Невязки: а -- зависимость между прогнозируемыми значениями и невязками, б -- распределение невязок, в -- прогнозируемые невязки Fig. 3. Residues: a -- the relationship between the predicted values and the residuals, б -- distribution of residuals, в -- predicted residuals. Predicted area is grey, firm line -- observed data, dashed line -- predicted data

Поскольку модель не полностью идентифицировала вероятные закономерности, которые могут присутствовать в данных, оказалось целесообразным применение комбинированного метода с повторным моделированием невязок нейронной сетью NARX. На рис. 4 показаны результаты прогноза для всех моделей.

Применение комбинированного подхода (NARXR) повысило точность прогнозирования базовой модели (NARX) для всех показателей: для MAE -- на 14%, для RMSE -- на 11%, для RMSRE -- на 20%. Для RMSRE улучшение было наиболее значительным. Также модель NARXR оказалась лучше для обоих индексов согласия. Значения этих индексов означают, что модель обладает высокой точностью.

Рис. 4. Сравнение разных подходов прогнозирования

Fig. 4. Comparison of different forecasting approaches. Predicted area is grey, firm line - observed data, dashed line - predicted data

Выводы

В статье представлен алгоритм прогнозирования концентраций метана на временных рядах, полученных при экологическом мониторинге на арктическом острове Белый. Выбрана оптимальная модель прогнозирования после сравнения результатов моделирования сетей Elman и NARX на тестовом интервале.

Для обучения ИНС был использован интервал времени 168 ч; прогноз создавался на следующий 24-часовой интервал. Лучший прогноз был для сети NARX, поэтому она была выбрана в качестве базовой. Предложен новый алгоритм, улучшающий точность прогнозирования базовой модели. Комбинированный подход, основанный на сети NARX и прогнозе ее невязок, показал эффективность для наших данных. Алгоритм прост и может быть использован для улучшения прогнозирования содержания других долгоживущих парниковых газов.

Литература/References

1. Арктика: зона мира и сотрудничества / Отв. ред. А. В. Загорский. -- М.: ИМЭМО РАН, 2011. -- 195 с.

Arktika: zona mira i sotrudnich- estva. [Arctic: zone of peace and cooperation]. Ed. by A. V. Zagorsky. Moscow, IMEMO RAN, 2011,195 p. (In Russian).

2. Второй оценочный доклад Росгидромета об изменениях климата и их последствиях на территории Российской Федерации. [Г. В. Алексеев и др.] / Федер. служба по гидрометеорологии и мониторингу окружающей среды (Росгидромет). -- М.: Росгидромет, 2014-- 1007 с.

Vtoroy otsenochnyy doklad ob izmeneniyakh klimata i ikh posledstviyakh na territorii Rossiyskoy Federatsii. [Evaluation report The second assessment report of Roshydromet on climate change and its consequences on the territory of the Russian Federation]. [G. V. Alekseyev i dr.]. Feder. sluzhba po gidrometeorologii i monitoringu okruzhayushchey sredy (Rosgidromet). Moscow, Roshydromet, 2014, 1007 p. (In Russian).

3. AMAP Climate Change Update 2019: An Update to Key Findings of Snow, Water, Ice and Permafrost in the Arctic (SWIPA) 2017. Arctic Monitoring and Assessment Programme (AMAP). Oslo, Norway, 2019.

4. Serreze M. C., Barry R. G. Processes and impacts of Arctic amplification: A research synthesis. Global and Planetary Change, 2011, vol. 77 (1-2), рр. 85--96.

5. Перльштейн Г. З., Сергеев Д. О., Типенко Г. С. и др. Углеводородные газы и криолитозона шельфа Арктики // Арктика: экология и экономика. -- 2015. -- № 2 (18). --С.35--44.

Perlshtein G. Z., Sergeev D. O., Tipenko G. S., Tumskoy V. E., Khimenkov A. N., Vlasov A. N., Merzlyakov V. P, St- anilovskaya Yu. V Uglevodorodnyye gazy i kriolitozona shel'fa Arktiki. [Hydrocarbon gases and cryolithozone of the Arctic shelf]. Arktika: ekologiya i ekonomika,

2015, no. 2 (18), рр. 35--44. (In Russian).

6. Аржанов М. М., Мохов И. И., Денисов С. Н. Дестабилизация реликтовых метангидратов при наблюдаемых региональных изменениях климата // Арктика: экология и экономика. -- 2016. -- № 4 (24). -- С. 46--51. Arzhanov M. M., Mokhov I. I., Denisov S. N. Destabili- zatsiya reliktovykh metangidratov pri nablyudayemykh regional'nykh izmeneniyakh klimata. [Destabilization of relict methanhydrates with observed regional climate changes]. Arktika: ekologiya i ekonomika, 2016, no. 4 (24), рр. 46--51. (In Russian).

7. Дзюба А. В., Елисеев А. В., Мохов И. И. Оценка изменений скорости стока метана из атмосферы при потеплении климата // Изв. РАН. Сер. Физика атмосферы и океана. -- 2012. -- № 48 (3). -- С. 372--382. Dzyuba A. V., Eliseev A. V., Mokhov I. I. Otsenka izmen- eniy skorosti stoka metana iz atmosfery pri poteplenii klimata. [Estimates of changes in the rate of methane sink from the atmosphere under climate warming]. Izv. RAN. Ser. Fizika atmosfery i okeana, 2012, no. 48 (3), рр. 372--382. (In Russian).

8. Chu N., Kadane J. B., Davidson C. I. Using statistical regressions to identify factors influencing PM2.5 concentrations: The Pittsburgh supersite as a case study. Aerosol Science and Technology, 2010, vol. 44, рр. 766--774.

9. Cobourn W. G. An enhanced PM2.5 air quality forecast model based on nonlinear regression and back- trajectory concentrations. Atmospheric Environment, 2010, vol. 44, P. 3015--3023.

10. Chatfield Ch. The Analysis of Time Series: An Introduction, Sixth Edition. New York, Chapman & Hall/CRC,

2016, 352 p.

11. McNorton J., Wilson C., Gloor M., Parker R. J., Boesch H., Feng,W., Hossaini R., and Chipperfield M. P Attribution of recent increases in atmospheric methane through 3-D inverse modelling. Atmospheric Chemistry and Physics, 2018, vol. 18, рр. 18149--18168. Available at: https:// doi.org/10.5194/acp-18-18149-2018.

12. Russo A., Raischel F., Lind P Air quality prediction using optimal neural networks with stochastic variables. Atmospheric Environment, 2013, vol. 79, рр. 822--830.

13. Zhang G. Time series forecasting using a combined ARIMA and neural network model. Neurocomputing, 2003, vol. 50, рр. 159--175.

14. Zhou Q., Jiang H., Wang J., Zhou J. A combined model for PM2.5 forecasting based on ensemble empirical mode decomposition and a general regression neural network. Science of the Total Environment, 2014, vol. 496, рр. 264--274

15. Tabassum-Abbasi, Abbasi T., Luithui C., Abbasi S. A. A Model to Forecast Methane Emissions from Tropical and Subtropical Reservoirs on the Basis of Artificial Neural Networks. Water, 2020, vol. 12, рр. 145--153.

16. Ardalani-Farsa M., Zolfaghari S. Chaotic time series prediction with residual analysis method using combined Elman-NARX neural networks. Neurocomputing, 2010, vol. 73, рр. 2540--2553.

17. Erdil A., Arcaklioglu E. The prediction of meteorological variables using artificial neural network. Neural Computing & Applications, 2013, vol. 22, рр. 1677--1683.

18. Menezes J. M. Jr, Barreto G. A. Long-term time series prediction with the NARX network: An empirical evaluation. Neurocomputing, 2008, vol. 71, рр. 3335--3343.

19. Pisoni E., Farina M., Carnevale C., Piroddi L. Forecasting peak air pollution levels using NARX models. Engineering Applications of Artificial Intelligence, 2009, vol. 22, рр. 593--602.

20. Zemouri R., Gouriveau R., Zerhouni N. Defining and applying prediction performance metrics on a recurrent NARX time series model. Neurocomputing, 2010, vol. 73, рр. 2506--2521.

21. Sergeev A. P., Buevich A. G., Baglaeva E. M., Shichkin A. V. Combining spatial autocorrelation with machine learning increases prediction accuracy of soil heavy metals. Catena, 2019, vol. 174, рр. 425--435.

22. Tarasov D. A., Buevich A. G., Sergeev A. P., Shichkin A. V. High Variation Topsoil Pollution Forecasting in the Russian Subarctic: Using Artificial Neural Networks Combined with Residual Kriging. Applied Geochemistry, 2018, vol. 88(B), рр. 188--197.

23. Dai F., Zhoua O., Lva Z., Wang X., Liu G. Spatial prediction of soil organic matter concentration integrating artificial neural network and ordinary kriging in Tibetan Plateau. Ecological Indicators, 2014, vol. 45, рр. 184--194.

24. Kanevski M., Pozdnoukhov A., Timonin V. Machine Learning for Spatial Environmental Data: Theory, Applications and Software. [S. l.], EPFL Press, 2009, p. 377.

25. Lakes T., Muller D., Kruger C. Cropland change in southern Romania: a comparison of logistic regressions and artificial neural networks. Landscape Ecology, 2009, vol. 24 (9), рр. 1195--1206.

26. Seo Y., Kim S., Singh V. P Estimating spatial precipitation using regression Kriging and Artificial Neural Network Residual Kriging (RKNNRK) hybrid approach. Water Resources Management, 2015, vol. 28, рр. 2189--2204.

27. Song Y.-Q., Yang L.-A., Li B. et al. Spatial prediction of soil organic matter using a hybrid geostatistical model of an extreme learning machine and ordinary kriging. Sustainability, 2017, vol. 9, рр. 754. Available at: https://doi.org/10.3390/su9050754.

28. Антонов К. Л., Поддубный В. А., Маркелов Ю. И. и др. Некоторые итоги мониторинга парниковых газов в Арктическом регионе России // Арктика: экология и экономика. -- 2018. -- № 1 (30). -- С. 56-- 67. -- DOI: 10.25283/2223-4594-2018-1-56-67.

Antonov K. L., Poddubny V A., Markelov Yu. I., Buevich A. G., Medvedev A. N., Manzhurov I. L. Nekotoryye itogi monitoringa parnikovykh gazov v Arkticheskom regione Rossii. [Some Results of the Monitoring of Greenhouse Gases in the Arctic Region of Russia]. Arktika: ekologiya i ekonomika, 2018, vol. 1 (30), рр. 56--67. DOI: 10.25283/2223-4594-2018-1-5667. (In Russian).

29. Shepherd A. J. Second-Order Methods for Neural Networks: Fast and Reliable Training Methods for Multi-Layer Perceptrons. [S. l.], Springer-Verlag, 1997, 145 p.

30. Shichkin A. V., Buevich A. G., Sergeev A. P. et al. Training algorithms for artificial neural networks for time series forecasting of greenhouse gas concentrations. AIP Conference Proceedings, 2019, 2116 (1), 200019. DOI: 10.1063/1.5114200.

31. Willmott C. J. On the Validation of Models. Physical Geography, 1981, vol. 2, рр. 184--194.

32. Willmott C. J., Robeson S. M., Matsuura K. A refined index of model performance. International J. of Climatology, Wiley Online Library, 2011. Available at: http:// wileyonlinelibrary.com. DOI: 10.1002/joc.2419.

Abstract

Two-step combined algorithm for improving the accuracy of predicting methane concentration in atmospheric air based on the narx neural network and subsequent prediction of residuals

Subbotina I. E., Buevich A. G., Sergeev A. P., Shichkin A. V., Baglaeva E. M.,Institute of Industrial Ecology Ural Branch of the RАS (Ekaterinburg, Russian Federation)

Remezova M. S., Ural Federal University named after the first President of Russia B. N. Yeltsin (Ekaterinburg, Russian Federation)

Climate change in the Arctic is great and can have a significant inverse effect on the global climate, which determines the global significance of climate change in the Arctic.

To date, many issues regarding the mechanisms responsible for the rapid melting of Arctic ice and permafrost degradation have not been resolved. It is not known when and what consequences these changes will lead to. Assessing the relationship between global warming and greenhouse gas emissions is an important environmental challenge.

Among the main greenhouse gases, the evolution and climate-forming role of the carbon dioxide have been studied. The data on the methane subcycle of the carbon cycle is much less.

In the paper, the authors propose a two-step combined algorithm (NARXR) to improve the accuracy of predicting methane concentration in atmospheric air based on the NARX neural network and subsequent prediction of the residuals.

Two commonly used models based on artificial neural networks (ANN) for predicting time series are compared to determine the most appropriate base model. Nonlinear autoregressive neural network with external input (NARX) and Elman's neural network are used.

For the forecast, the authors use data on the methane concentration (CH4) in the atmospheric surface layer on the Arctic Island of Bely (Russia). Data is selected for a time interval of 192 hours, because it is characterized by significant daily fluctuations in the concentration of CH4.

Values corresponding to the first 168 hours of the interval are used to train the ANN, and then concentrations are predicted for the next 24 hours. The proposed approach shows more accurate forecast results.

Keywords: greenhouse gases, artificial neural networks, NARX, residuals.

Размещено на Allbest.ru