Разработка интервальной нейросетевой архитектуры IntervalSqueezeNet
(Стр. 13-24)
Подробнее об авторах
Гонец Артем Павлович
аспирант, кафедра прикладной математики
МИРЭА – Российский технологический университет
г. Москва, Российская Федерация Сараев Павел Викторович доктор технических наук, доцент; профессор, кафедра прикладной математикиМИРЭА – Российский технологический университет; г. Москва, Российская Федерация
МИРЭА – Российский технологический университет
г. Москва, Российская Федерация Сараев Павел Викторович доктор технических наук, доцент; профессор, кафедра прикладной математикиМИРЭА – Российский технологический университет; г. Москва, Российская Федерация
Нажимая на кнопку купить вы соглашаетесь с условиями договора оферты
Аннотация:
Данная работа посвящена новому виду архитектуры сверточной нейронной сети IntervalSqueezeNet на основе интеграции интервальных вычислений в нейросетевую модель SqueezeNet для классификации изображений в условиях интервальной неопределенности входных данных. Выполнена систематизация методов регуляризации и оптимизации нейросетевых моделей, а также способы уменьшения вычислительной сложности за счет случайного отключения нейронов Dropout и использовании метода Монте-Карло. Проведен обзор интервальной неопределенности: дано определение сущности, представлены основы интервального анализа, выполнено сравнение с вероятностным (байесовским) подходом к моделированию неопределенности. Рассмотрены существующие интервальные нейронные сети, включая полносвязные и сверточные. Описана базовая структура SqueezeNet, включая модули fire, операции сжатия и расширения каналов. Предложена архитектура IntervalSqueezeNet с обработкой интервальных данных и интервальных весов. Представлены математические формулировки всех операций: интервальная свертка, операции сжатия и расширения в модулях fire, интервальные функции активации ReLU и Softmax, интервальные подвыборки по среднему и максимальному окну, а также функция потерь на основе кросс-энтропии. Показано, что результатом классификации выступает интервал вероятностей отнесения к классам, ширина которого трактуется как количественная мера уверенности модели. Разобраны преимущества и недостатки интервальных сверточных нейронных сетей.
Образец цитирования:
ОБРАЗЕЦ ЦИТИРОВАНИЯ: Гонец А.П., Сараев П.В. Разработка интервальной нейросетевой архитектуры IntervalSqueezeNet // Computational Nanotechnology. 2026. Т. 13. № 2. С. 13-24. DOI: 10.33693/2313-223X-2026-13-2-13-24. EDN: YZZUQZ
Список литературы:
Ащепков Л.Т., Давыдов Д.В. Показатель интервального неравенства: свойства и применение // Вычислительные технологии. 2006. Т. 11. № 4. С. 13–22. EDN: KTMLXT.
Баженов А.Н., Жилин С.И., Кумков С.И., Шарый С.П. Обработка и анализ интервальных данных. М.; Ижевск: Регулярная и хаотическая динамика, 2024. 363 с. EDN: FOKVPI.
Баженов А.Н., Тельнова А.Ю. Обобщение коэффициента Жаккара для анализа данных с интервальной неопределенностью // Измерительная техника. 2022. № 12. С. 15–22. DOI: 10.32446/0368-1025it.2022-12-15-22. EDN: LHKUAN.
Бекетов С.М., Зубкова Д.А., Гинцяк А.М. и др. Современные методы оптимизации и особенности их применения // Russian Technological Journal. 2025. Т. 13. № 4. С. 78–94. DOI: 10.32362/2500-316X-2025-13-4-78-94. EDN: CVZOXD.
Мирошников А.И. Специальное математическое и программное обеспечение реляционных СУБД для интервальнозначных типов данных: дис. ... канд. техн. наук. Воронеж, 2019. 156 с.
Полозова Ю.Е. Разработка методов идентификации интервальных нейронных сетей в информационно-аналитических системах при управлении объектами с неопределенностью: дис. ... канд. техн. наук. Воронеж, 2019. 156 с.
Тихонов А.Н. О некорректных задачах линейной алгебры и устойчивом методе их решения // Доклады Академии наук СССР. 1965. Т. 163. № 3. С. 591–594.
Шарый С.П. Сильная согласованность в задачах восстановления зависимостей по данным с интервальной неопределенностью // Сборник трудов Всероссийской конференции по математике «МАК-2016»: матер. молодежной прикладной IT-школы «Математическое моделирование в экологии, агроэкологии и природопользовании» (Барнаул, 29 июня – 1 июля 2016 г.). Барнаул: АлтГУ, 2016. С. 113–115.
Шарый С.П., Андросов А.С. Восстановление полиномиальных зависимостей по данным с интервальной неопределенностью // Журнал вычислительной математики и математической физики. 2025. Т. 65. № 11. С. 1761–1778. DOI: 10.7868/S303453325110015. EDN: PKWENT.
Abdar M., Pourpanah F., Hussain S. et al. A review of uncertainty quantification in deep learning: Techniques, applications and challenges // Information Fusion. 2021. Vol. 76. Pp. 243–297. DOI: 10.1016/j.inffus.2021.05.008.
Amnuaypongsa W., Songsiri J. Large width penalization for neural network-based prediction interval estimation // arXiv preprint. 2024. Pp. 1–28. DOI: 10.48550/arXiv.2411.19181.
Chinnapnan R.R., Sundaram D. Image enhancement framework combining interval-valued intuitionistic fuzzy sets and fractional sobel operator // Artificial Intelligence Review. 2025. Vol. 58. Art. 291. DOI: 10.1007/s10462-025-11294-8.
Fase M., Broggi M., Patelli E. et al. Inverse quantification of epistemic uncertainty under scarce data: Bayesian or Interval approach? // Proceedings of the 13th International Conference on Applications of Statistics and Probability on Civil Engineering (Seoul, South Korea, May 26–30, 2019). Seoul, 2019. Pp. 226–233. DOI: 10.22725/ICASP13.060.
Ferah M.A., Kumbasar T. Beyond prediction: Interval neural networks for uncertainty-aware system identification // arXiv preprint. 2026. Pp. 1–37. DOI: 10.48550/arXiv.2605.11460.
Ferah M.A., Kumbasar T. Introducing interval neural networks for uncertainty-aware system identification // arXiv preprint. 2025. Pp. 1–7. DOI: 10.48550/arXiv.2504.18845.
Iandola F.N., Han S., Moskewicz M.W. et al. SqueezeNet: AlexNet-level accuracy with 50× fewer // International Conference on Learning Representations (Toulon, France, April 24–26, 2017). Toulon, 2017. DOI: 10.48550/arXiv.1602.07360.
Kabir S., Wagner C., Ellerby Z. Towards handling uncertainty-at-source in AI – a review and next steps for interval regression // IEEE Transactions on Artificial Intelligence. 2024. Vol. 5. Issue 1. Pp. 3–22. DOI: 10.1109/TAI.2023.3234930.
Kingma D.P., Ba J.L. Adam: A method for stochastic optimization // arXiv preprint. 2014. DOI: 10.48550/arXiv.1412.6980.
Llorente F., Martino L., Read J., Delgado D. A survey of Monte Carlo methods for noisy and costly densities with application to reinforcement learning and ABC // International Statistical Review. 2025. Vol. 93. No. 1. Pp. 18–61. DOI: 10.1111/insr.12573.
Lopez-Molina C., Marco-Detchart C., Cerron J. et al. Gradient extraction operators for discrete interval-valued data // Conference of the International Fuzzy Systems Association and the European Society for Fuzzy Logic and Technology (Gijon, Spain, June 30 – July 3, 2015). Gijon, 2015. Pp. 836–843. DOI: 10.2991/ifsa-eusflat-15.2015.118.
Lyra A. Uma fundamentação matemática para o processamento de imagens digitais intervalares. Tese (Doutorado em Ciências) – Curso de Pós Graduação em Engenharia Elétrica. Natal: Universidade Federal do Rio Grande do Norte, 2003. 183 p.
Macdonald J., Marz M., Oala L., Samek W. Interval neural networks as instability detectors for image reconstructions // arXiv preprint. 2020. DOI: 10.48550/arXiv.2003.13471.
Srivastava N., Hinton G., Krizhevsky A. et al. Dropout: A simple way to prevent neural networks from overfitting // Journal of Machine Learning Research. 2014. Vol. 15. Pp. 1929–1958. DOI: 10.5555/2627435.2670313.
Steim I. Uma proposta de arquitetura de rede neural convolucional intervalar para o processamento de imagens intervalares. Dissertação (Mestrado em Ciências da Computação) – Programa de Pós-Graduação em Ciências da Computação, Centro de Desenvolvimento Tecnológico. Pelotas: Universidade Federal de Pelotas, 2017. 113 p.
Tretiak K., Schollmeyer G., Ferson S. Neural network model for imprecise regression with interval dependent variables // Neural Networks. 2023. Vol. 161. Pp. 550–564. DOI: 10.1016/j.neunet.2023.02.005.
Баженов А.Н., Жилин С.И., Кумков С.И., Шарый С.П. Обработка и анализ интервальных данных. М.; Ижевск: Регулярная и хаотическая динамика, 2024. 363 с. EDN: FOKVPI.
Баженов А.Н., Тельнова А.Ю. Обобщение коэффициента Жаккара для анализа данных с интервальной неопределенностью // Измерительная техника. 2022. № 12. С. 15–22. DOI: 10.32446/0368-1025it.2022-12-15-22. EDN: LHKUAN.
Бекетов С.М., Зубкова Д.А., Гинцяк А.М. и др. Современные методы оптимизации и особенности их применения // Russian Technological Journal. 2025. Т. 13. № 4. С. 78–94. DOI: 10.32362/2500-316X-2025-13-4-78-94. EDN: CVZOXD.
Мирошников А.И. Специальное математическое и программное обеспечение реляционных СУБД для интервальнозначных типов данных: дис. ... канд. техн. наук. Воронеж, 2019. 156 с.
Полозова Ю.Е. Разработка методов идентификации интервальных нейронных сетей в информационно-аналитических системах при управлении объектами с неопределенностью: дис. ... канд. техн. наук. Воронеж, 2019. 156 с.
Тихонов А.Н. О некорректных задачах линейной алгебры и устойчивом методе их решения // Доклады Академии наук СССР. 1965. Т. 163. № 3. С. 591–594.
Шарый С.П. Сильная согласованность в задачах восстановления зависимостей по данным с интервальной неопределенностью // Сборник трудов Всероссийской конференции по математике «МАК-2016»: матер. молодежной прикладной IT-школы «Математическое моделирование в экологии, агроэкологии и природопользовании» (Барнаул, 29 июня – 1 июля 2016 г.). Барнаул: АлтГУ, 2016. С. 113–115.
Шарый С.П., Андросов А.С. Восстановление полиномиальных зависимостей по данным с интервальной неопределенностью // Журнал вычислительной математики и математической физики. 2025. Т. 65. № 11. С. 1761–1778. DOI: 10.7868/S303453325110015. EDN: PKWENT.
Abdar M., Pourpanah F., Hussain S. et al. A review of uncertainty quantification in deep learning: Techniques, applications and challenges // Information Fusion. 2021. Vol. 76. Pp. 243–297. DOI: 10.1016/j.inffus.2021.05.008.
Amnuaypongsa W., Songsiri J. Large width penalization for neural network-based prediction interval estimation // arXiv preprint. 2024. Pp. 1–28. DOI: 10.48550/arXiv.2411.19181.
Chinnapnan R.R., Sundaram D. Image enhancement framework combining interval-valued intuitionistic fuzzy sets and fractional sobel operator // Artificial Intelligence Review. 2025. Vol. 58. Art. 291. DOI: 10.1007/s10462-025-11294-8.
Fase M., Broggi M., Patelli E. et al. Inverse quantification of epistemic uncertainty under scarce data: Bayesian or Interval approach? // Proceedings of the 13th International Conference on Applications of Statistics and Probability on Civil Engineering (Seoul, South Korea, May 26–30, 2019). Seoul, 2019. Pp. 226–233. DOI: 10.22725/ICASP13.060.
Ferah M.A., Kumbasar T. Beyond prediction: Interval neural networks for uncertainty-aware system identification // arXiv preprint. 2026. Pp. 1–37. DOI: 10.48550/arXiv.2605.11460.
Ferah M.A., Kumbasar T. Introducing interval neural networks for uncertainty-aware system identification // arXiv preprint. 2025. Pp. 1–7. DOI: 10.48550/arXiv.2504.18845.
Iandola F.N., Han S., Moskewicz M.W. et al. SqueezeNet: AlexNet-level accuracy with 50× fewer // International Conference on Learning Representations (Toulon, France, April 24–26, 2017). Toulon, 2017. DOI: 10.48550/arXiv.1602.07360.
Kabir S., Wagner C., Ellerby Z. Towards handling uncertainty-at-source in AI – a review and next steps for interval regression // IEEE Transactions on Artificial Intelligence. 2024. Vol. 5. Issue 1. Pp. 3–22. DOI: 10.1109/TAI.2023.3234930.
Kingma D.P., Ba J.L. Adam: A method for stochastic optimization // arXiv preprint. 2014. DOI: 10.48550/arXiv.1412.6980.
Llorente F., Martino L., Read J., Delgado D. A survey of Monte Carlo methods for noisy and costly densities with application to reinforcement learning and ABC // International Statistical Review. 2025. Vol. 93. No. 1. Pp. 18–61. DOI: 10.1111/insr.12573.
Lopez-Molina C., Marco-Detchart C., Cerron J. et al. Gradient extraction operators for discrete interval-valued data // Conference of the International Fuzzy Systems Association and the European Society for Fuzzy Logic and Technology (Gijon, Spain, June 30 – July 3, 2015). Gijon, 2015. Pp. 836–843. DOI: 10.2991/ifsa-eusflat-15.2015.118.
Lyra A. Uma fundamentação matemática para o processamento de imagens digitais intervalares. Tese (Doutorado em Ciências) – Curso de Pós Graduação em Engenharia Elétrica. Natal: Universidade Federal do Rio Grande do Norte, 2003. 183 p.
Macdonald J., Marz M., Oala L., Samek W. Interval neural networks as instability detectors for image reconstructions // arXiv preprint. 2020. DOI: 10.48550/arXiv.2003.13471.
Srivastava N., Hinton G., Krizhevsky A. et al. Dropout: A simple way to prevent neural networks from overfitting // Journal of Machine Learning Research. 2014. Vol. 15. Pp. 1929–1958. DOI: 10.5555/2627435.2670313.
Steim I. Uma proposta de arquitetura de rede neural convolucional intervalar para o processamento de imagens intervalares. Dissertação (Mestrado em Ciências da Computação) – Programa de Pós-Graduação em Ciências da Computação, Centro de Desenvolvimento Tecnológico. Pelotas: Universidade Federal de Pelotas, 2017. 113 p.
Tretiak K., Schollmeyer G., Ferson S. Neural network model for imprecise regression with interval dependent variables // Neural Networks. 2023. Vol. 161. Pp. 550–564. DOI: 10.1016/j.neunet.2023.02.005.
Ключевые слова:
интервальный анализ, неопределенность, интервальные сверточные нейронные сети, оптимизация.
