Возможности использования технологий Big Data при решении задач по обработке данных о загрязнении атмосферного воздуха
(Стр. 162-170)

Основная задача статьи – обоснование возможности использования технологий больших данных (Big Data) в сфере мониторинга атмосферного воздуха. В виде схемы представлена модель обработки больших данных, полученных с измерительных метеорологических газоанализаторных станций с использованием библиотеки PySpark для проведения дальнейших экспериментальных исследований. Выведены факторы, сопутствующие использованию Big Data в области мониторинга атмосферного воздуха, и проведено сравнение производительности библиотек Pandas и PySpark. Полученные результаты позволят в дальнейшем опираться на выведенные факторы и использовать наиболее оптимальные технологии работы с данными для построения предиктивных моделей машинного обучения в области анализа уровня загрязнения атмосферного воздуха. Последовательное использование больших данных и методов машинного обучения позволит обеспечить чистый и здоровый воздух для будущих поколений за счет более эффективной предиктивной аналитики. Данная статья имеет ценность для обучающихся и специалистов в области информационных технологий, в частности, в области обработки данных и машинного обучения.

ОБРАЗЕЦ ЦИТИРОВАНИЯ: Богомолов Д.Н., Плотников С.Б. Возможности использования технологий Big Data при решении задач по обработке данных о загрязнении атмосферного воздуха // Computational Nanotechnology. 2024. Т. 11. № 1. С. 162-170. DOI: 10.33693/2313-223X-2024-11-1-162-170. EDN: ELXNHB

Аземов Д.Т. Оценка качества атмосферного воздуха Санкт-Петербурга по результатам эксплуатации автоматизированной системы мониторинга атмосферного воздуха в 2019 // Современные проблемы гидрометеорологии и мониторинга окружающей среды на пространстве СНГ: сб. тезисов Междунар. науч.-практ. конф., посвященной 90-летию Российского государственного гидрометеорологического университета (С.-Петербург, 22–24 октября 2020 г.) СПб.: Рос. гос. гидрометеорологический ун-т, 2020. С. 103–104. EDN: BTHHCS.
Борисов И.Д., Семёнов В.А., Бычкова Я.А., Чжао М.Н. Apache Spark и Pyspark // Россия молодая: сб. матер. XIV Всерос. науч.-практ. конф. молодых ученых с международным участием (Кемерово, 18–21 апреля 2023 г.). Кемерово: Кузбасский гос. техн. ун-т им. Т.Ф. Горбачева, 2023. С. 31603.1–31603.3. EDN: UMSNKI.
Bosubabu S. Air pollution monitoring and prediction system using the Internet of things // International Journal of Research and Development in Engineering Sciences. 2020. Vol. 2. Issue 3. Pp. 144–150.
Виноградова Е.А., Дмитриев М.М., Кудрявец А.С. и др. Способы экологического мониторинга воздуха с применением технологических решений для их обработки и анализа, включая машинное обучение, искусственный интеллект и аналитику больших данных // Современные технологии: проблемы и тенденции развития: монография. Петрозаводск: Междунар. центр науч. партнерства «Новая Наука» (ИП Ивановская И.И.), 2021. С. 174–189. EDN: FKJEWT.
Гусак Д.В. Концепция прибора для организации сети мониторинга // Вестник Российского университета дружбы народов. Серия: Экология и безопасность жизнедеятельности. 2023. Т. 31. № 2. С. 241–250. DOI: 10.22363/2313-2310-2023-31-2-241-250. EDN: HCKTOL.
Егоров Г.Г. Использование технологии big data для охраны окружающей природной среды // Экофилософия в проектировании ноосферного города: сб. ст. по итогам Третьего российского круглого стола с международным участием (Москва, 18 мая 2023 г.) / под ред. Э.В. Барковой, О.М. Бузской. М.: ООО «Русайнс», 2023. С. 42–48.
Игонина Е.И. Применение машинного обучения для кластеризации регионов России по здоровью населения и экологии // I Липановские научные чтения: матер. региональной науч. конф. (Ижевск, 15–16 июня 2021 г.) Ижевск: Ижевский гос. техн. ун-т им. М.Т. Калашникова, 2021. С. 169–175. EDN: HURYBU.
Johansson C., Zhang Z., Engardt M. et al. Improving 3-day deterministic air pollution forecasts using machine learning algorithms // Atmos. Chem. Phys. Discuss. 2023. DOI: 10.5194/acp-2023-38.
Капленкова П.А., Сивова А.Н. Предсказывание загрязнения атмосферного воздуха с помощью машинного обучения и PySpark // Наука и бизнес: пути развития. 2020. № 10 (112). С. 54–56. EDN: LTZEYE.
Костромин Н.С., Сивова А.Н. Применение методов машинного обучения для решения экологических задач // Modern Science. 2019. № 5-3. С. 144–148. EDN: YLPWAT.
Nandi B.P., Singh G., Jain Tayal D.K. Evolution of neural network to deep learning in prediction of air, water pollution and its Indian context // Int. J. Environ. Sci. Technol. 2023. DOI: 10.1007/s13762-023-04911-y.
Панарин В.М., Маслова А.А., Савинкова С.А. Автоматизированный мониторинг загрязнения атмосферного воздуха промышленно развитых территорий. Тула: Тульский гос. ун-т, 2021. 219 с. ISBN: 978-5-7679-4817-8. EDN: ZDKTXH.
Parkavi P., Rathi S. Deep learning model for air quality prediction based on big data // International Journal of Scientific Research in Computer Science, Engineering and Information Technology (IJSRCSEIT). 2021. Vol. 7. Issue 3. Pp. 170–175. ISSN: 2456-3307. DOI: 10.32628/CSEIT217332.
Samad A., Garuda S., Vogt U., Yang B. Air pollution prediction using machine learning techniques – an approach to replace existing monitoring stations with virtual monitoring stations, atmospheric environment // International Journal of Computational Intelligence Studies. 2023. Issue 310. P. 119987. ISSN: 1352-2310. DOI: 10.1016/j.atmosenv.2023.119987.
Sossi Alaoui S., Aksasse B., Farhaoui Y. Air pollution prediction through internet of things technology and big data analytics // International Journal of Computational Intelligence Studies. 2020. No. 8. P. 177. DOI: 10.1504/IJCISTUDIES.2019.102525.
Shih D.-H., To T.H., Nguyen L.S.P. et al. Design of a spark big data framework for PM2.5 air pollution forecasting // Int. J. Environ. Res. Public Health. 2021. Vol. 18. No. 7087. 15 p. DOI: 10.3390/ijerph18137087.

большие данные, обработка данных, мониторинг атмосферного воздуха, прогнозирование загрязнений.