Определение оптимальной модели машинного обучения для предсказания паводков на реке Амур
(Стр. 11-20)
Александров Никита Эдуардович
Азиз Наофаль Мохамад Хассин Азиз
Казенков Олег Юрьевич
Ермаков Дмитрий Николаевич
Подробнее об авторах
Александров Никита Эдуардович
аспирант
Инженерная академия Российского университета дружбы народов (РУДН)
Москва, Российская Федерация Азиз Наофаль Мохамад Хассин Азиз аспирант
Инженерная академия Российского университета дружбы народов (РУДН)
Москва, Российская Федерация Казенков Олег Юрьевич почетный работник сферы образования РФ; ассистент кафедры «Нанотехнологии и микросистемная техника»; научный сотрудник Управления по научноисследовательской деятельности; заместитель руководителя Технопарка «Полюс»
Инженерная академия Российского университета дружбы народов (РУДН); ФГБОУ ВО «Московский государственный университет технологий и управления имени К.Г. Разумовского (Первый казачий университет)»; АО «НИИ «Полюс» имени М.Ф. Стельмаха»
Москва, Российская Федерация Ермаков Дмитрий Николаевич доктор экономических наук, доктор политических наук, профессор, профессор кафедры правового регулирования экономической деятельности Юридического факультета; ; главный научный сотрудник Центра мировой политики и стратегического анализа, профессор кафедры менеджмента и государственного муниципального управления (Факультет менеджмента и государственного муниципального управления), ведущий научный сотрудник управления по научно-исследовательской деятельности
Финансовый университет при Правительстве Российской Федерации; Институт Китая и современной Азии Российской академии наук (ИКСА РАН); Московский государственный университет технологий и управления имени К.Г. Разумовского (ПКУ)
г. Москва, Российская Федерация; г. Москва, Российская Федерация; г. Москва, Российская Федерация
Инженерная академия Российского университета дружбы народов (РУДН)
Москва, Российская Федерация Азиз Наофаль Мохамад Хассин Азиз аспирант
Инженерная академия Российского университета дружбы народов (РУДН)
Москва, Российская Федерация Казенков Олег Юрьевич почетный работник сферы образования РФ; ассистент кафедры «Нанотехнологии и микросистемная техника»; научный сотрудник Управления по научноисследовательской деятельности; заместитель руководителя Технопарка «Полюс»
Инженерная академия Российского университета дружбы народов (РУДН); ФГБОУ ВО «Московский государственный университет технологий и управления имени К.Г. Разумовского (Первый казачий университет)»; АО «НИИ «Полюс» имени М.Ф. Стельмаха»
Москва, Российская Федерация Ермаков Дмитрий Николаевич доктор экономических наук, доктор политических наук, профессор, профессор кафедры правового регулирования экономической деятельности Юридического факультета; ; главный научный сотрудник Центра мировой политики и стратегического анализа, профессор кафедры менеджмента и государственного муниципального управления (Факультет менеджмента и государственного муниципального управления), ведущий научный сотрудник управления по научно-исследовательской деятельности
Финансовый университет при Правительстве Российской Федерации; Институт Китая и современной Азии Российской академии наук (ИКСА РАН); Московский государственный университет технологий и управления имени К.Г. Разумовского (ПКУ)
г. Москва, Российская Федерация; г. Москва, Российская Федерация; г. Москва, Российская Федерация
Аннотация:
Природные катастрофы, связанные с водой, являются одними из наиболее разрушительных и ответственны за 72% от общего экономического ущерба, причиненного стихийными бедствиями, а в связи с изменениями климата их количество будет только расти. В России главной такой катастрофой являются речные паводки. Цель данной исследовательской работы определить наилучший метод машинного обучения для предсказания паводков на реке Амур, где они наносят значительный ущерб населению и экономике региона. Исследование предпринято с целью улучшения методов прогнозирования паводков для последующего использования результатов исследования в решении задач управления при реагировании на паводки. В исследовании учитываются практические аспекты реализации системы прогнозирования, поэтому были изучены 3 наиболее популярных метода машинного обучения: линейная регрессия, нейронная сеть и градиентный бустинг, потому что эти методы обладают развитой экосистемой вспомогательных решений и широко известны в профессиональном сообществе. Методология исследования была нацелена на достижение максимальной сравнимости результатов. Среди проверенных алгоритмов наилучшее качество продемонстрировал градиентный бустинг над деревьями в реализации Catboost. Результаты исследования применимы и к другим рекам, по которым количество данных сравнимо с Амуром.
Образец цитирования:
Александров Н.Э., Азиз Н.М., Казенков О.Ю., Ермаков Д.Н., (2022), ОПРЕДЕЛЕНИЕ ОПТИМАЛЬНОЙ МОДЕЛИ МАШИННОГО ОБУЧЕНИЯ ДЛЯ ПРЕДСКАЗАНИЯ ПАВОДКОВ НА РЕКЕ АМУР. Computational nanotechnology, 2 => 11-20.
Список литературы:
Arduino G., Reggiani P., Todini E. Recent advances in flood forecasting and flood risk assessment // Hydrology and Earth Sciences. 2005. Pp. 280-284.
Aqil M., Kita I., Nishiyama S. Analysis and prediction of flow from local source in a river basin using a Neuro-fuzzy modeling tool // Journal of Environmental Management. 2007. Pp. 215-223.
Carvalho D., Pereira E., Cardoso J. Machine learning interpretability: A survey on methods and metrics // Electronics. 2019. P. 832.
Diederik P. Kingma Jimmy Ba Adam: A method for stochastic optimization // 3rd International Conference for Learning Representations. San Diego, 2015.
DiFrancesco K.N., Tullos D.D. Flexibility in water resources management: Review of concepts and development of assessment measures for flood management systems // Journal of the American Water Resources Association. Pp. 1527-1539.
Dipanjan Sarkar, Raghav Bali, Tushar Sharma. The Python machine learning ecosystem // Practical Machine Learning with Python. 2017. Pp. 67-118.
Chang F.J., Hsu K., Chang L.C. Flood forecasting using machine learning methods. 2019.
Makhinov А.N. Amur terrigene and chemical discharge formation // Proceedings of the International Kyoto Symposium. Kyoto, Japan: Research Institute for Hymanity and Nature, 2005. Pp. 61-65.
Moore R.J., Bell V.A., Jones D.A. Forecasting for flood warning // Comptes Rendus Geosciences. 2005. Pp. 203-217.
Nash J.E., Sutcliffe J.V. River flow forecasting through conceptual models. Part I: A discussion of principles // Journal of Hydrology. 1970. Pp. 282-290.
Frumkin H. Disaster preparedness. In: Environmental health: From global to local. San Francisco: Jossey-Bass Publishers, 2005.
Prokhorenkova L. et al. CatBoost: Unbiased boosting with categorical features // NIPS. 2017.
Ramírez J.A. Prediction and modeling of flood hydrology and hydraulics. In: Inland flood hazards: Human, riparian and aquatic communities. Cambridge: Cambridge University Press, 2010.
Rumelhart D.E., Hinton G.E., Williams R.J. Learning representations by back-propagating errors // Nature. 1986. No. 323. Pp. 533-536.
Sahraei S., Asadzadeh M., Unduche F. Signature-based multi-modelling and multi-objective calibration of hydrologic models: Application in flood forecasting for Canadian Prairies // Journal of Hydrology. 2020. P. 588.
Scikit-learn sklearn.linear_model.LinearRegression [Online]. 2022. URL: https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LinearRegression.html
Tullos D. Assessing environmental impact assessments: A review and analysis of documenting environmental impacts of large dams // Journal of Environmental Management. 2008. Pp. 208-223.
Vinod N., Geoffrey E. Hinton rectified linear units improve restricted Boltzmann machines // 27th International Conference on International Conference on Machine Learning [s.l.]. USA: Omnipress, 2010. Pp. 807-814.
Академия больших данных MADE и hh.ru составили портрет российского специалиста в сфере Data Science // Vk, hh.ru. 2020. URL: https://vk.company/ru/press/releases/10682/
Yoganath Adikari, Junichi Yoshitani. Global trends in water related disasters: An insight for policymakers. Tsukuba, Japan: International Centre for Water Hazard and Risk Management (UNESCO) (ICHARM), 2009.
Демиденко Е.З. Линейная и нелинейная регрессия // Финансы и статистика. 1981.
Махинов А.Н., Ким В.И., Воронов Б.А. Наводнение в бассейне Амура 2013 года: причины и последствия // Вестник ДВО РАН. 2013.
Новороцкий П.В. Колебания стока Амура за последние 110 лет // География и природные ресурсы. 2007. C. 86-90.
Осипов Ю.С. Нейронная сеть // Большая российская энциклопедия. 2017.
Сбербанк NoFloodWithAI: прогнозирование паводков на реке Амур. 2020. URL: https://github.com/sberbank-ai/no_flood_with_ai_aij2020
Aqil M., Kita I., Nishiyama S. Analysis and prediction of flow from local source in a river basin using a Neuro-fuzzy modeling tool // Journal of Environmental Management. 2007. Pp. 215-223.
Carvalho D., Pereira E., Cardoso J. Machine learning interpretability: A survey on methods and metrics // Electronics. 2019. P. 832.
Diederik P. Kingma Jimmy Ba Adam: A method for stochastic optimization // 3rd International Conference for Learning Representations. San Diego, 2015.
DiFrancesco K.N., Tullos D.D. Flexibility in water resources management: Review of concepts and development of assessment measures for flood management systems // Journal of the American Water Resources Association. Pp. 1527-1539.
Dipanjan Sarkar, Raghav Bali, Tushar Sharma. The Python machine learning ecosystem // Practical Machine Learning with Python. 2017. Pp. 67-118.
Chang F.J., Hsu K., Chang L.C. Flood forecasting using machine learning methods. 2019.
Makhinov А.N. Amur terrigene and chemical discharge formation // Proceedings of the International Kyoto Symposium. Kyoto, Japan: Research Institute for Hymanity and Nature, 2005. Pp. 61-65.
Moore R.J., Bell V.A., Jones D.A. Forecasting for flood warning // Comptes Rendus Geosciences. 2005. Pp. 203-217.
Nash J.E., Sutcliffe J.V. River flow forecasting through conceptual models. Part I: A discussion of principles // Journal of Hydrology. 1970. Pp. 282-290.
Frumkin H. Disaster preparedness. In: Environmental health: From global to local. San Francisco: Jossey-Bass Publishers, 2005.
Prokhorenkova L. et al. CatBoost: Unbiased boosting with categorical features // NIPS. 2017.
Ramírez J.A. Prediction and modeling of flood hydrology and hydraulics. In: Inland flood hazards: Human, riparian and aquatic communities. Cambridge: Cambridge University Press, 2010.
Rumelhart D.E., Hinton G.E., Williams R.J. Learning representations by back-propagating errors // Nature. 1986. No. 323. Pp. 533-536.
Sahraei S., Asadzadeh M., Unduche F. Signature-based multi-modelling and multi-objective calibration of hydrologic models: Application in flood forecasting for Canadian Prairies // Journal of Hydrology. 2020. P. 588.
Scikit-learn sklearn.linear_model.LinearRegression [Online]. 2022. URL: https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LinearRegression.html
Tullos D. Assessing environmental impact assessments: A review and analysis of documenting environmental impacts of large dams // Journal of Environmental Management. 2008. Pp. 208-223.
Vinod N., Geoffrey E. Hinton rectified linear units improve restricted Boltzmann machines // 27th International Conference on International Conference on Machine Learning [s.l.]. USA: Omnipress, 2010. Pp. 807-814.
Академия больших данных MADE и hh.ru составили портрет российского специалиста в сфере Data Science // Vk, hh.ru. 2020. URL: https://vk.company/ru/press/releases/10682/
Yoganath Adikari, Junichi Yoshitani. Global trends in water related disasters: An insight for policymakers. Tsukuba, Japan: International Centre for Water Hazard and Risk Management (UNESCO) (ICHARM), 2009.
Демиденко Е.З. Линейная и нелинейная регрессия // Финансы и статистика. 1981.
Махинов А.Н., Ким В.И., Воронов Б.А. Наводнение в бассейне Амура 2013 года: причины и последствия // Вестник ДВО РАН. 2013.
Новороцкий П.В. Колебания стока Амура за последние 110 лет // География и природные ресурсы. 2007. C. 86-90.
Осипов Ю.С. Нейронная сеть // Большая российская энциклопедия. 2017.
Сбербанк NoFloodWithAI: прогнозирование паводков на реке Амур. 2020. URL: https://github.com/sberbank-ai/no_flood_with_ai_aij2020
Ключевые слова:
управление катастрофами, предсказание паводков, река Амур, машинное обучение.
Статьи по теме
Искусственный интеллект и машинное обучение Страницы: 11-21 DOI: 10.33693/2313-223X-2024-11-2-11-21 Выпуск №119881
Разработка торговой стратегии криптовалюты с применением методов машинного обучения
криптовалюта
биткоин
торговые стратегии
машинное обучение
скользящие средние
Подробнее
5.2.2. МАТЕМАТИЧЕСКИЕ, СТАТИСТИЧЕСКИЕ И ИНСТРУМЕНТАЛЬНЫЕ МЕТОДЫ В ЭКОНОМИКЕ Страницы: 75-79 Выпуск №21250
Современные направления исследований в области рекомендательных систем
рекомендательная система
коллаборативная фильтрация
контентная фильтрация
холодный старт
машинное обучение
Подробнее
МАТЕМАТИЧЕСКИЕ, СТАТИСТИЧЕСКИЕ И ИНСТРУМЕНТАЛЬНЫЕ МЕТОДЫ В ЭКОНОМИКЕ Страницы: 185-192 DOI: 10.33693/2541-8025-2024-20-2-185-192 Выпуск №102671
Разработка интеллектуальной системы анализа достижений обучающегося вуза
интеллектуальный анализ
таксономия
машинное обучение
успеваемость студента
цифровой университет.
Подробнее
4. МАТЕМАТИЧЕСКИЕ И ИНСТРУМЕНТАЛЬНЫЕ МЕТОДЫ ЭКОНОМИКИ 08.00.13 Страницы: 176-186 Выпуск №18758
Исследование динамики показателей отчетности как индикаторов ухудшения финансового состояния кредитных организаций
прогнозирование
финансовое состояние
машинное обучение
кредитные организации
банковские рейтинги
Подробнее
МАТЕМАТИЧЕСКИЕ, СТАТИСТИЧЕСКИЕ И ИНСТРУМЕНТАЛЬНЫЕ МЕТОДЫ В ЭКОНОМИКЕ Страницы: 167-178 Выпуск №24067
Моделирование товарооборота кофеен на основе пространственных данных
пространственные данные
экономические показатели
машинное обучение
Python.
spatial data
Подробнее
МАТЕМАТИЧЕСКИЕ, СТАТИСТИЧЕСКИЕ И ИНСТРУМЕНТАЛЬНЫЕ МЕТОДЫ В ЭКОНОМИКЕ Страницы: 129-140 DOI: 10.33693/2541-8025-2024-20-1-129-140 Выпуск №72283
Разработка модели бинарной классификации на малых данных с использованием методов машинного обучения
машинное обучение
малые данные
задачи классификации
медицинские данные
сэмплирование
Подробнее
4. МАТЕМАТИЧЕСКИЕ И ИНСТРУМЕНТАЛЬНЫЕ МЕТОДЫ ЭКОНОМИКИ 08.00.13 Страницы: 132-138 Выпуск №17852
Стратегия поиска эффективного алгоритма машинного обучения на примере кредитного скоринга
кредитный скоринг
машинное обучение
отбор признаков
ансамбль моделей
credit scoring
Подробнее
4. МАТЕМАТИЧЕСКИЕ И ИНСТРУМЕНТАЛЬНЫЕ МЕТОДЫ ЭКОНОМИКИ 08.00.13 Страницы: 65-72 Выпуск №19146
Прогнозирование финансовых рынков с использованием сверточной нейронной сети
прогнозирование финансовых рынков
машинное обучение
сверточная нейронная сеть
математическая модель
алгоритм
Подробнее
Математическое и программное обеспечение вычислительных систем, комплексов и компьютерных сетей Страницы: 83-91 DOI: 10.33693/2313-223X-2023-10-3-83-91 Выпуск №23683
Определение параметров скрытых угроз раннего обнаружения в информационных системах для задач машинного обучения
машинное обучение
корпоративные информационные системы (КИС)
имитационное моделирование
анализ данных
обработка данных
Подробнее
Искусственный интеллект и машинное обучение Страницы: 19-31 DOI: 10.33693/2313-223X-2022-9-3-19-31 Выпуск №21873
Алгоритм идентификации лиц и преступных действий
машинное обучение
глубокая сверточная нейронная сеть
Kaggle
ориентиры
machine learning
Подробнее