Использование больших данных для анализа ресурсопотребления в системе ЛЭРС УЧЕТ

Размещено на http://www.allbest.ru

Использование больших данных для анализа ресурсопотребления в системе ЛЭРС УЧЕТ

Ушаков А.А. - инженер-программист, (ООО «ЛЭРС УЧЕТ»);

Вихтенко Э.М. - канд. физ.-мат. наук, доц., доц. кафедры

«Программное обеспечение ВТ и АС», (ТОГУ)

В работе описан программный модуль обработки больших данных, получаемых от потребителей ресурсов жилищно-коммунальных услуг. На основе анализа данных строится образ потребления, позволяющий оценивать эффективность функционирования системы ресурсопотребления и давать рекомендации для дальнейшего ее улучшения. Разработанный модуль включен в программный комплекс ЛЭРС УЧЕТ, являющейся автоматизированной системой учета ресурсов и использующийся в ресурсоснабжающих организациях России.

Ключевые слова: большие данные, интеллектуальный анализ данных, ЛЭРС УЧЕТ, ресурсопотребление, анализ временных рядов.

Title: Use of the Big Data for Resource Consumption Analysis in the Program LERS UCHET

Authors' affiliation:

Ushakov A. A. - «LERS UCHET », Khabarovsk, Russian Federation Vikhtenko E. M. - Pacific National University, Khabarovsk, Russian Federation

Abstract: The design and development of the big data analysis module from consumers of housing and communal services was carried out. A consumption pattern is constructed based on the analysis of the data. That allows one to evaluate the efficiency of the resource consumption system and to make recommendations for its further improvement. The module developed is included in the software package LERS UCHET, which is an automated resource accounting system and is used in resource-supplying organizations in Russia.

Keywords: big data, data mining, LERS UCHET, resource consumption, time series analysis.

Введение

Термин «большие данные» был впервые употреблен в 1998 году Джоном Мэши, сотрудником компании Silicon Graphics. В настоящее время большую актуальность приобрел вопрос эффективного использования огромных объемов данных, возникающих в самых разных областях жизни человека и общества в целом. Заинтересованность в интеллектуализации обработки данных проявляют как коммерческие предприятия, так и государственные структуры. На сайте Аналитического центра при правительстве Российской Федерации можно найти материалы, посвященные перспективам использования больших данных в сфере государственного управления [1], жилищно-коммунального хозяйства [2] и других.

При проведении интеллектуального анализа данных широко используются методы математической статистики, в частности, методы анализа временных рядов. В настоящее время все большую популярность приобретают так называемые методы искусственного интеллекта, в том числе нейросетевые алгоритмы.

В данной работе рассмотрены вопросы анализа данных для оценки ресурсопотребления в сфере жилищно-коммунальных услуг. Под ресурсами в данном случае понимаются тепло, горячая и холодная вода, газ и электроэнергия, поступающие потребителям.

1. Система ЛЭРС УЧЕТ. Анализ ресурсопотребления

Ограниченность ресурсов является одной из основных проблем, с которой приходится сталкиваться человечеству. Ограниченность ресурсов является не только глобальной, но и локальной проблемой, и многие предприятия сталкиваются с нехваткой денежных средств, необходимых для развития предприятия. Практика показывает, что при экономии затрат на энергетические ресурсы предприятие может снизить до 30% своих расходов, не изменяя при этом базовые технологические процессы. Современные информационные и коммуникационные технологии позволяют успешно решать задачи ресурсосбережения. Инновации не требуют существенных капитальных затрат и не причиняют дополнительного вреда экологии, а выигрыш достигается за счет использования методов интеллектуализации управления, оптимизации режимов работы и уменьшения влияния человеческого фактора. В полной мере это относится к системе потребления ресурсов в сфере жилищно-коммунальных услуг (ЖКУ).

В настоящее время на предприятиях сферы ЖКХ Хабаровска и Хабаровского края активно используется программный комплекс ЛЭРС УЧЕТ [3]. Система ЛЭРС УЧЕТ - это система диспетчеризации, предназначенная для технологического и коммерческого учета тепла, воды, пара, газа и электроэнергии. Разработчиком и распространителем данной системы является группа предприятий партнерства «ЛЭРС - ХЦЭС», в которую входят ООО «ЛЭРС УЧЕТ», НП «Хабаровское агентство энергоресурсосбережения», ООО «Хабаровский центр энергоресурсосбережения», ООО «Хабаровский краевой центр энергосервиса» (ООО «ХкЦЭС») и другие организации. Система ЛЭРС УЧЕТ сертифицирована и внесена в Государственный реестр средств измерений под номером 56298-14.

Пользователями системы являются предприятия, обслуживающие как объекты жилищно-коммунального хозяйства (поквартирный и общедомовой учет), так и промышленные и производственные предприятия. С помощью данной системы по заданному расписанию, например, несколько раз в сутки, происходит сбор данных со счетчиков, установленных на объектах - точках учета. Здесь объект учета - это строение или помещение, присоединенное к сетям тепло-, водо-, электро-, газо- и хладоснабжения. Полученные данные передаются по прямым подключениям, коммутируемым линиям, GSM CSD/GPRS или сети Интернет на сервер, где хранятся и обрабатываются (рис. 1).

Система диспетчеризации ЛЭРС УЧЕТ состоит из семи компонентов. Это, во-первых, сервер ЛЭРС УЧЕТ и база данных, АРМ оператора, универсальный пульт, служба опроса, Web-интерфейс и Lers Framework. Сервер ЛЭРС УЧЕТ является центром системы, т.к. система спроектирована по принципу «тонкого клиента», т.е. АРМ оператора не выполняет никаких вычислительных и аналитических операций, а лишь занимается отображением данных. Web-интерфейс является некоторым аналогом АРМ оператора. Он позволяет выполнять просмотр данных, запуск опроса и формирование отчетов из браузера. Служба опроса служит для получения данных с приборов учета. Универсальный пульт предоставляет возможность упрощенного получения данных с приборов учета, является лишь средством для снятия показаний и не может вести учет данных.

Рис. 1 Компоненты ЛЭРС УЧЕТ (изображение с сайта www.lers.ru)

Рис. 2 Пример потребления воды в двух жилых квартирах

По мере накопления показаний потребления ресурсов пользователями, у объектов учета создается «образ потребления», анализ которого может быть очень полезен. Заметим, что данный образ схож для объектов с одинаковым характером потребления. Для двух квартир получаем примерно одинаковый график (рис. 2), а если сравнивать офисное помещение и квартиру, то характер потребления будет разным, т.к. в квартире основное потребление приходится на утро и вечер, в то же время в офисе - на день.

Изучение динамики потребления ресурсов позволяет своевременно выявлять возникающие на объекте аварии. Так, например, при нарушении теплоизоляции на объекте теплопотребление объекта возрастает, а после обнаружения и устранения данной проблемы объем потребления возвращается на прежний уровень. Таким образом формируются образы потребления, характеризующие ту или иную ситуацию. В дальнейшем, сравнив образы объектов между собой и обнаружив сходство, можно диагностировать аварии на других объектах и устранять их.

Кроме того, анализ образов объектов может быть использован для проведения мероприятий по модернизации оборудования и повышению эффективности ресурсопотребления. Так, например, если на каком-то объекте учета благодаря модернизации оборудования удалось достичь хорошей экономии ресурсов, то можно предположить, что для объектов со сходными образами подобная модернизация также будет эффективна.

Для проведения такого интеллектуального анализа данных разработан внешний модуль для системы ЛЭРС УЧЕТ, задачами которого является составление «Образа потребления» для выбранного объекта и выявление объектов учета со схожими образами. На основе собранных данных выполняется анализ потребления ресурсов объектов и даются рекомендации по оптимизации ресурсопотребления. При разработке модуля анализа использованы данные о потреблении ресурсов различных потребителей ЖКУ г. Хабаровска за несколько лет.

Система диспетчеризации ЛЭРС УЧЕТ имеет необходимый функционал для внедрения стороннего программного обеспечения непосредственно в программный комплекс. Данная возможность реализуется через систему внешних модулей с помощью интерфейса приложений ( API) Lers Framework.

2. Методика анализа энергопотребления

В настоящее время разработано значительное количество методов анализа временных рядов [4-10]. К основным статистическим методам, применяемым при анализе временных рядов, относят следующие методы:

- метод выделения тренда;

- регрессионный метод;

- автокорреляционный метод;

- метод скользящих средних (адаптивный);

- метод гармонического анализа;

- метод численного размножения выборок (бутстрепа);

- методы искусственного интеллекта, в частности, искусственные нейронные сети.

Метод выделения тренда. При исследовании временных рядов принято выделять несколько составляющих:

где xтренд(0 - плавно меняющаяся компонента, определяемая долговременной тенденцией (трендом) изменения ряда признаков;

xцикл(0 - циклическая или сезонная компонента, которая отражает повторяемость процессов на определенных промежутках времени;

?(t) - случайная компонента, содержащая влияние прочих факторов, механизм которого (влияния) скрыт от наблюдателя.

Первые две составляющих (тренд и цикл) необходимо описать более точно, так как это закономерные факторы, изучаемые в рамках детерминистских моделей. Детерминистские модели представляют собой определенную идеализацию описываемых закономерностей, поэтому также содержат некоторая неточность. Данное представление является несколько условным, оно необходимо, чтобы интерпретировать результаты статистического анализа данных.

Трендовая компонента временных рядов является случайной величиной и на практике обычно не известна точно, но ее изменение из некоторых априорных суждений может быть достаточно качественно описано аналитически. Чтобы описать тренд, необходимо использовать кривые роста, которые позволяют моделировать процессы трех основных качественных типов: без предела роста, с пределом роста без точки перегиба, а также с пределом роста и точкой перегиба.

Регрессионный метод. Ряды, которые после надлежащих подготовительных операций можно считать стационарными, изучаются методами регрессионного, корреляционного и гармонического анализов. Для создания некоторой прогнозной модели используется каждый из этих методов. В зависимости от конкретной специфики ряда используются различные из перечисленных методов. Регрессионные модели могут применяться тогда, когда объясняющая переменная (величина X) не является случайной, а автокорреляция между значениями другой объясняемой величины (7) мала.

Однако проблема в использовании распространенных методов для задачи анализа ресурсопотребления заключается в том, что в перечисленных методах временные ряды должны удовлетворять некоторым критериям, а в случае неудовлетворения этим критериям должны быть изменены определенным образом, опять же с выполнением некоторых условий. При анализе ресурсопотребления гарантировать выполнения необходимых условий невозможно, поэтому предпочтительнее применять более универсальный метод. Таким универсальным методом является метод использования искусственных нейронных сетей. В настоящее время нейросетевой метод анализа случайных процессов является одним из активно разрабатываемых и используемых. Использование искусственных нейронных сетей при анализе случайных процессов направлено на поиск корреляционной связи между элементами временного ряда. Но для успешного применения нейронных сетей необходимо провести исследования по определению архитектуры используемых сетей и их обучения. Последнее требует значительных временных ресурсов для разработки. Кроме того, для успешного обучения требуются большие объемы размеченных данных, что также является серьезной проблемой.

В настоящей работе предлагается иной подход. Будем сравнивать ряды с использованием среднеквадратичной метрики

где ? - среднее значение ряда; n - объем выборки.

Так как интерес представляет относительное изменение потребления ресурсов, а не их абсолютные значения, то производится нормализация значений ряда,

где у - значение, подлежащее нормализации, утіп и утах - минимальное и максимальное значения по оси у, аналогично для значений х.

Для исключения влияния количества произведенных измерений, которые могут различаться у потребителей, для имеющихся наборов данных строятся интерполяционные полиномы, значения которых и используются на заданных временных сетках. Первоначально для интерполяции был выбран интерполяционный полином Лагранжа

Здесь для построения интерполяционного полинома использовались пары уже нормализованных значений (х^,у{), і = 0,1,...,п. Степень полиномов определяется объемом полученных от потребителя данных и может быть довольно высока. Хотя простота расчетов не приводит к заметным задержкам по времени вычислений, авторами было принято решение вместо интерполяционных полиномов Лагранжа использовать для интерполяции кубические сплайны

где Х( - узлы интерполяции, і = 1,... М.

При проведении сравнения характера потребления на разных объектах необходимо учитывать наличие случайных факторов, например, «всплесков» расходов, вызванных авариями. Для этого при проведении сравнения рядов делается поправка на допустимые частоту и величину отклонений. В программе данный анализ реализован следующим образом:

- при сравнении двух временных рядов по временной шкале двигается сканирующее окно;

- вычисляются статистические характеристики для фрагментов рядов, попадающих в сканирующее окно;

- вычисляется количество временных интервалов, на которых отклонения одного ряда от второго превышают пороговое значение;

- если суммарная длина таких «критических» интервалов не превышает 10 %, то считаем, что критические отклонения носят эпизодический характер и ими можно пренебречь.

3. Программная реализация

Разработанный модуль состоит из двух функциональных частей. Это подсистема получения данных от пользователя и представления данных пользователю и подсистема сбора и анализа данных из системы ЛЭРС.

Подсистема получения данных от пользователя и представления данных пользователю получает данные от пользователя, преобразует их в формализованный вид и передает подсистеме сбора и анализа. Подсистема сбора и анализа данных из системы ЛЭРС получает данные от подсистемы взаимодействующей с пользователем, а также из базы данных ЛЭРС и выполняет собственно анализ данных.

Для реализации пользовательского интерфейса использованы визуальные компоненты WinForms библиотеки DevExpress. DevExpress WinForms поставляется с полным набором компонентов пользовательского интерфейса, ориентированных на компоненты Office.

Так как программный модуль будет встраиваться в систему диспетчеризаций, необходимо обеспечить его корректную работу в том числе с позиции интерфейса. При реализации использовано асинхронное программирование, что позволяет увеличивать общую скорость реагирования приложения на запросы пользователя и ядра системы.

Асинхронность используется при наличии потенциально блокирующих действий, таких, как доступ к веб-ресурсам, либо выполнения вычислительных операций. Данные операции могут происходить медленно и в пределах синхронного процесса вынуждены блокировать все приложение. Благодаря асинхронным операциям приложение не будет ожидать завершения блокирующей операции и сможет выполнять другие задачи.

Одной из главных задач приложения является обеспечения взаимодействия с пользователем таким образом, чтобы у пользователя не возникало ощущения, что его приложение зависло. В связи с этим все вычисления и операции доступа к данным выполняются асинхронными методами. В данном случае асинхронность крайне полезна, поскольку все действия с пользовательским интерфейсом используют один поток. При синхронном подходе блокировка одного процесса приведет к блокировке всех процессов, после чего приложение перестанет отвечать на запросы пользователя, что выглядит как сбой, а не как выполнение внутренних операций. В то же время при использовании асинхронного подхода приложение продолжит отвечать на действия пользователя.

Пример использования асинхронных методов для загрузки списка точек учета представлен на рис. 3. В приведенном примере в сигнатуре метода присутствует модификаторы async или await, метод содержит await -выражение, определяющее точку, в которой метод приостанавливает свое выполнение до завершения выполнения асинхронной операции.

Рис. 3 Пример использования асинхронных методов

Реализация интерфейса приложения

При запуске приложения в рабочем окне пользователь может выбрать точки учета и задать временные интервалы для построения образов потребления и проведения анализа имеющихся данных (рис. 4).

Рис. 4 Фрагменты стартового окна

Рис. 5 Окно сравнения образов потребления

На рис. 5 приведено рабочее окно приложения, на котором построены графики потребления ресурсов для групп потребителей и представлена возможность выбора параметров для анализа. Результаты анализа массивов данных представляются в виде оценки успешности проведения мероприятий по повышению эффективности ресурсопотребления на точках учета (рис. 6).

Рис. 6 Результаты выполненного анализа

Заключение

ресурс автоматизированный коммунальный программный

В работе рассмотрена задача использования больших данных, собираемых на объектах жилищно-коммунального учета, для анализа потребления ресурсов различными пользователями с последующей выработкой рекомендаций по проведению мероприятий для повышения эффективности ресурсопотребления. Разработан метод обработки данных ресурсопотребления на основе сравнения качественных характеристик временных рядов. Данный метод реализован в виде внешнего модуля для системы диспетчеризаций

ЛЭРС УЧЕТ с использование методов Lers Framework для доступа к данным системы. В настоящее время проводится тестирование разработанного модуля с целью улучшения предложенного алгоритма.

Библиографические ссылки

1. Большие данные в государственном управлении: опыт внедрения (пилотное исследование). URL: http://ac.gov.ru/files/ content/10087/sorokin-kruglyj-stol-issledovanie-pdf.pdf (дата обращения: 4.03.2020).

2. Цифровые технологии выведут ЖКХ на новый уровень. URL: http://ac.gov.ru/events/023411.html (дата обращения 4.03.2020).

3. ЛЭРС УЧЕТ - программный комплекс диспетчеризации приборов учета. URL: http://www.lers.ru/soft/ (дата обращения 3.03.2020).

4. Nason G. P., Silverman B. W. The stationary wavelet transform and some statistical applications. New York : Springer, 1995. 464 p.

5. Кобзарь А. И. Прикладная математическая статистика. М. : Физматлит, 2006. 816 с.

6. Большаков А. А., Каримов Р. Н. Методы обработки многомерных данных и временных рядов : учеб. пособие. М. : Горячая линия-Телеком, 2007. 522 с.

7. Горяинова Е. Р., Панков А. Р., Платонов Е. Н. Прикладные методы анализа статистических данных : учеб. пособие. М. : ИД ГУ ВШЭ, 2012. 310 c.

8. Крянев А. В., Лукин Г. В., Удумян Д. К. Метрический анализ и обработка данных. М. : Физматлит, 2012. 308 c.

9. Кулаичев А. П. Методы и средства комплексного анализа данных : учеб. пособие М. : Форум, НИЦ ИНФРА-М, 2013. 512 c.

10. Лесковец Ю., Раджараман А. Анализ больших наборов данных. М. : ДМК, 2016. 498 c.

Размещено на Allbest.ru