A big data predictions system using similarity method
The weather forecast from a scientific point of view as one of the most complex problems of atmospheric physics. General characteristics of the big data forecasting system using the similarity method. Features of using big data for digitization.
| Рубрика | Программирование, компьютеры и кибернетика |
| Вид | дипломная работа |
| Язык | английский |
| Дата добавления | 13.07.2020 |
| Размер файла | 6,7 M |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Conclusion
This method does not guarantee high accuracy of the forecast, since only one parameter of weather conditions is used, but in the current model of data behavior, this is quite sufficient for creating an mvp algorithm. In the course of this work, the following tasks were completed:
· The study of current case studies using big data about the weather,
· Parsing the internal structure of data processing,
· Building a data processing schema in a company,
· A comparison of data structures,
· Comparative analysis of the software used,
· Identifying the pros and cons of using Redshift in a big data system,
· Analyzed the current data supply resources for the daily weather forecast,
· Built a case for weather forecast using SARIMAX,
· Tonsidered the main methods of weather forecasting in general,
· explained and proved the method of similarity between historical data and the forecast period,
· Data collection and processing has been carried out,
· Developed using the proposed method for the forecast algorithm;
Moreover, the further development of this project should gradually increase the number of characteristics, to increase the relationship of dependence and on the basis of a more General meteorological space to build the relationship process based on the Pearson correlation coefficient. Also, to complete the picture, we should change the strategy for collecting and processing the received data in the future and consolidate their location on AWS Redshift servers, since its functionality meets the stated criteria for working with data, that is, not a one-minute solution, but a qualitative analysis of the existing array and its subsequent modification and processing based on those additional characteristics that will be included in the work.
Bybliography
1.Internal documents of the PMI company
2.Philip Morris International | Delivering a Smoke-Free Future / URL: https://www.pmi.com/
3.Philip Morris International - Wikipedia/ URL: https://en.wikipedia.org/wiki/Philip_Morris_International
4.Amazon Redshift - Amazon Web Services / URL: https://aws.amazon.com/ru/redshift/
5.Amazon Redshift - Wikipedia / URL: https://en.wikipedia.org/wiki/Amazon_Redshift
6.Amazon S3 - Amazon Web Services / URL:https://aws.amazon.com/s3/?sc_channel=PS&sc_campaign=acquisition_RU&sc_publisher=google&sc_medium=ACQ-P%7CPS-GO%7CBrand%7CDesktop%7CSU%7CStorage%7CS3%7CRU%7CEN%7CText&sc_content=s3_e&sc_detail=aws%20s3&sc_category=Storage&sc_segment=293618441715&sc_matchtype=e&sc_country=RU&s_kwcid=AL!4422!3!293618441715!e!!g!!aws%20s3&ef_id=CjwKCAjw3-bzBRBhEiwAgnnLCpTtqAi40bM2tFi0CpchrPJjjTHkyOTY_YgwP8xAbWFUEYW6vCTDuRoCaTsQAvD_BwE:G:s
7.Как Machine Learning помогает бизнесу зарабатывать на погоде: Big Data и метеомаркетинг / URL:https://www.bigdataschool.ru/bigdata/weather-big-data-machine-learning.html
8.Apache Spark vs. Amazon Redshift: Which is better for big data?/ URL:https://www.intermix.io/blog/spark-and-redshift-what-is-better/
9.Fast data processing pipeline for predicting flight delays using Apache APIs: Kafka, Spark Streaming and Machine Learning (part 3) / URL:https://mapr.com/blog/fast-data-processing-pipeline-predicting-flight-delays-using-apache-apis-pt-3/.
Размещено на Allbest.ru
Подобные документы
Проблемы оценки клиентской базы. Big Data, направления использования. Организация корпоративного хранилища данных. ER-модель для сайта оценки книг на РСУБД DB2. Облачные технологии, поддерживающие рост рынка Big Data в информационных технологиях.
презентация [3,9 M], добавлен 17.02.2016Data mining, developmental history of data mining and knowledge discovery. Technological elements and methods of data mining. Steps in knowledge discovery. Change and deviation detection. Related disciplines, information retrieval and text extraction.
доклад [25,3 K], добавлен 16.06.2012Классификация задач DataMining. Создание отчетов и итогов. Возможности Data Miner в Statistica. Задача классификации, кластеризации и регрессии. Средства анализа Statistica Data Miner. Суть задачи поиск ассоциативных правил. Анализ предикторов выживания.
курсовая работа [3,2 M], добавлен 19.05.2011A database is a store where information is kept in an organized way. Data structures consist of pointers, strings, arrays, stacks, static and dynamic data structures. A list is a set of data items stored in some order. Methods of construction of a trees.
топик [19,0 K], добавлен 29.06.2009Описание функциональных возможностей технологии Data Mining как процессов обнаружения неизвестных данных. Изучение систем вывода ассоциативных правил и механизмов нейросетевых алгоритмов. Описание алгоритмов кластеризации и сфер применения Data Mining.
контрольная работа [208,4 K], добавлен 14.06.2013Совершенствование технологий записи и хранения данных. Специфика современных требований к переработке информационных данных. Концепция шаблонов, отражающих фрагменты многоаспектных взаимоотношений в данных в основе современной технологии Data Mining.
контрольная работа [565,6 K], добавлен 02.09.2010Основы для проведения кластеризации. Использование Data Mining как способа "обнаружения знаний в базах данных". Выбор алгоритмов кластеризации. Получение данных из хранилища базы данных дистанционного практикума. Кластеризация студентов и задач.
курсовая работа [728,4 K], добавлен 10.07.2017Історія виникнення комерційних додатків для комп'ютеризації повсякденних ділових операцій. Загальні відомості про сховища даних, їх основні характеристики. Класифікація сховищ інформації, компоненти їх архітектури, технології та засоби використання.
реферат [373,9 K], добавлен 10.09.2014Роль информации в мире. Теоретические основы анализа Big Data. Задачи, решаемые методами Data Mining. Выбор способа кластеризации и деления объектов на группы. Выявление однородных по местоположению точек. Построение магического квадранта провайдеров.
дипломная работа [2,5 M], добавлен 01.07.2017Общее понятие о системе Earth Resources Data Analysis System. Расчет матрицы преобразования космоснимка оврага. Инструменты геометрической коррекции, трансформирование. Создание векторных слоев. Оцифрованные классы объектов. Процесс подключения скрипта.
курсовая работа [4,3 M], добавлен 17.12.2013
