Нейросетевые методы отслеживания знаний на экзаменационных данных учащихся среднего образования: роль маскирования ответов в предобучении трансформеров
(Стр. 61-71)
Подробнее об авторах
Чайкин Георгий Александрович
аспирант
Санкт-Петербургский государственный университет
г. Санкт-Петербург, Российская Федерация Блеканов Иван Станиславович кандидат технических наук, доцент; заведующий, кафедра технологий программирования; Санкт-Петербургский государственный университет; г. Санкт-Петербург, Российская Федерация
Санкт-Петербургский государственный университет
г. Санкт-Петербург, Российская Федерация Блеканов Иван Станиславович кандидат технических наук, доцент; заведующий, кафедра технологий программирования; Санкт-Петербургский государственный университет; г. Санкт-Петербург, Российская Федерация
Нажимая на кнопку купить вы соглашаетесь с условиями договора оферты
Аннотация:
Целью работы является адаптация и сравнение моделей отслеживания знаний (Knowledge Tracing) на данных экзаменационных результатов Всероссийских проверочных работ (ВПР), а также оценка того, как специфика структуры этих данных и предобучение влияют на качество прогноза следующего ответа учащегося. В экспериментах сравниваются классическая вероятностная модель, рекуррентные и attention-подходы, трансформерные архитектуры, а также модели с предобученными двунаправленными кодировщиками и двухэтапные схемы с дообучаемой выходной «головой». Показано преимущество трансформерных моделей над другими архитектурами по метрикам. Использование расширенного набора текстовых и категориальных признаков оказывает влияние на результаты, однако не приводит к устойчивым существенным улучшениям. Предобучение на задаче восстановления замаскированных ответов может быть полезным, однако эффект существенно зависит от схемы маскирования: маскирование последнего ответа оказывает сильное влияние на итоговое качество и в ряде конфигураций превосходит случайное маскирование. Отмечено, что предобученная модель на основе архитектуры BERT может показывать сравнительно высокие результаты уже без этапа дообучения, тогда как для архитектуры MAE добавление дообучаемого декодировщика дает наиболее заметный выигрыш.
Образец цитирования:
ОБРАЗЕЦ ЦИТИРОВАНИЯ: Чайкин Г.А., Блеканов И.С. Нейросетевые методы отслеживания знаний на экзаменационных данных учащихся среднего образования: роль маскирования ответов в предобучении трансформеров // Computational Nanotechnology. 2026. Т. 13. № 2. С. 61-71. DOI: 10.33693/2313-223X-2026-13-2-61-71. EDN: ZMXHQS
Список литературы:
Choi Y., Lee Y., Cho J. et al. Towards an appropriate query, key, and value computation for knowledge tracing. In: Proceedings of the seventh ACM conference on learning@ scale. 2020. Pp. 341–344. DOI: 10.1145/3386527.3405945.
Corbett A.T., Anderson J.R. Knowledge tracing: Modeling the acquisition of procedural knowledge. User Modeling and User-Adapted Interaction. 1994. Vol. 4. No. 4. Pp. 253–278. DOI: 10.1007/BF01099821.
Ghosh A., Heffernan N., Lan A. Context-aware attentive knowledge tracing. In: Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2020. Pp. 2330–2339. DOI: 10.1145/3394486.3403282.
Kuo M., Sarker S., Qian L. et al. Enhancing deep knowledge tracing via diffusion models for personalized adaptive learning. arXiv. 2024. DOI: 10.48550/arXiv.2405.05134.
Li Z., Rao Z., Pan L. et al. Ti-MAE: Self-supervised masked time series autoencoders. arXiv. 2023. DOI: 10.48550/arXiv.2301.08871.
Liu N., Wang Z., Baraniuk R.G. et al. GPT-based open-ended knowledge tracing. arXiv. 2023. DOI: 10.48550/arXiv.2203.03716.
Nakagawa H., Iwasawa Y., Matsuo Y. Graph-based knowledge tracing: modeling student proficiency using graph neural network. In: Proceedings of the IEEE/WIC/ACM International Conference on Web Intelligence. 2019. Pp. 156–163. DOI: 10.1145/3350546.3352513.
Neshaei S.P., Davis R. L., Hazimeh A. et al. Towards modeling learner performance with large language models. arXiv. 2024. DOI: 10.48550/arXiv.2403.14661.
Pandey S., Karypis G. A self-attentive model for knowledge tracing. arXiv. 2019. DOI: 10.48550/arXiv.1907.06837.
Piech C., Bassen J., Huang J. et al. Deep knowledge tracing. arXiv. 2015. DOI: 10.48550/arXiv.1506.05908.
Scarlatos A., Baker R. S., Lan A. Exploring knowledge tracing in tutor-student dialogues using LLMs. In: Proceedings of the 15th International Learning Analytics and Knowledge Conference. 2025. Pp. 249–259. DOI: 10.1145/3706468.3706501.
Shin D., Shim Y., Yu H. et al. SAINT+: Integrating temporal features for EdNet correctness prediction. In: LAK21. Proceedings of the 11th International Learning Analytics and Knowledge Conference. 2021. Pp. 490–496. DOI: 10.1145/3448139.3448188.
Shu M., Balepur N., Feng S., Boyd-Graber J.L. KARL: Knowledge-aware retrieval and representations aid retention and learning in students. In: Proceedings of the Conference on Empirical Methods in Natural Language Processing. 2024. Pp. 14161–14178. DOI: 10.18653/v1/2024.emnlp-main.784.
Su Y., Liu Q., Liu Q. et al. Exercise-enhanced sequential modeling for student performance prediction. In: Proceedings of the AAAI Conference on Artificial Intelligence. 2018. Vol. 32. No. 1. Pp. 2435–2443. DOI: 10.1609/aaai.v32i1.11864.
Tan W., Jin Y., Liu M., Zhang H. BiDKT: Deep knowledge tracing with BERT. In: Ad Hoc Networks and tools for IT (ADHOCNETS 2021, TridentCom 2021). Springer, Cham, 2022. Vol. 428. Pp. 260–278. DOI: 10.1007/978-3-030-98005-4_19.
Wang Z., Zhou J., Chen Q. et al. LLM-KT: Aligning large language models with knowledge tracing using a plug-and-play instruction. arXiv. 2025. DOI: 10.48550/arXiv.2502.02945.
Yin Y., Dai L., Huang Z. et al. Tracing knowledge instead of patterns: Stable knowledge tracing with diagnostic transformer. In: Proceedings of the ACM Web Conference. 2023. Pp. 855–864. DOI: 10.1145/3543507.3583255.
Zhan B., Guo T., Li X. et al. Knowledge tracing as language processing: A large-scale autoregressive paradigm. In: Artificial Intelligence in Education (AIED 2024). Recife, Brazil, 2024. Pp. 177–191. DOI: 10.1007/978-3-031-64302-6_13.
Zhang J., Shi X., King I., Yeung D.-Y. Dynamic key-value memory networks for knowledge tracing. In: Proceedings of the 26th International Conference on World Wide Web (WWW 2017). 2017. Pp. 765–774. DOI: 10.1145/3038912.3052580.
Zhang J., Mo Y., Chen C., He X. Neural attentive knowledge tracing model for student performance prediction. In: Proceedings of the IEEE International Conference on Knowledge Graph (ICKG 2020). 2020. Pp. 641–648. DOI: 10.1109/ICBK50248.2020.00096.
Corbett A.T., Anderson J.R. Knowledge tracing: Modeling the acquisition of procedural knowledge. User Modeling and User-Adapted Interaction. 1994. Vol. 4. No. 4. Pp. 253–278. DOI: 10.1007/BF01099821.
Ghosh A., Heffernan N., Lan A. Context-aware attentive knowledge tracing. In: Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2020. Pp. 2330–2339. DOI: 10.1145/3394486.3403282.
Kuo M., Sarker S., Qian L. et al. Enhancing deep knowledge tracing via diffusion models for personalized adaptive learning. arXiv. 2024. DOI: 10.48550/arXiv.2405.05134.
Li Z., Rao Z., Pan L. et al. Ti-MAE: Self-supervised masked time series autoencoders. arXiv. 2023. DOI: 10.48550/arXiv.2301.08871.
Liu N., Wang Z., Baraniuk R.G. et al. GPT-based open-ended knowledge tracing. arXiv. 2023. DOI: 10.48550/arXiv.2203.03716.
Nakagawa H., Iwasawa Y., Matsuo Y. Graph-based knowledge tracing: modeling student proficiency using graph neural network. In: Proceedings of the IEEE/WIC/ACM International Conference on Web Intelligence. 2019. Pp. 156–163. DOI: 10.1145/3350546.3352513.
Neshaei S.P., Davis R. L., Hazimeh A. et al. Towards modeling learner performance with large language models. arXiv. 2024. DOI: 10.48550/arXiv.2403.14661.
Pandey S., Karypis G. A self-attentive model for knowledge tracing. arXiv. 2019. DOI: 10.48550/arXiv.1907.06837.
Piech C., Bassen J., Huang J. et al. Deep knowledge tracing. arXiv. 2015. DOI: 10.48550/arXiv.1506.05908.
Scarlatos A., Baker R. S., Lan A. Exploring knowledge tracing in tutor-student dialogues using LLMs. In: Proceedings of the 15th International Learning Analytics and Knowledge Conference. 2025. Pp. 249–259. DOI: 10.1145/3706468.3706501.
Shin D., Shim Y., Yu H. et al. SAINT+: Integrating temporal features for EdNet correctness prediction. In: LAK21. Proceedings of the 11th International Learning Analytics and Knowledge Conference. 2021. Pp. 490–496. DOI: 10.1145/3448139.3448188.
Shu M., Balepur N., Feng S., Boyd-Graber J.L. KARL: Knowledge-aware retrieval and representations aid retention and learning in students. In: Proceedings of the Conference on Empirical Methods in Natural Language Processing. 2024. Pp. 14161–14178. DOI: 10.18653/v1/2024.emnlp-main.784.
Su Y., Liu Q., Liu Q. et al. Exercise-enhanced sequential modeling for student performance prediction. In: Proceedings of the AAAI Conference on Artificial Intelligence. 2018. Vol. 32. No. 1. Pp. 2435–2443. DOI: 10.1609/aaai.v32i1.11864.
Tan W., Jin Y., Liu M., Zhang H. BiDKT: Deep knowledge tracing with BERT. In: Ad Hoc Networks and tools for IT (ADHOCNETS 2021, TridentCom 2021). Springer, Cham, 2022. Vol. 428. Pp. 260–278. DOI: 10.1007/978-3-030-98005-4_19.
Wang Z., Zhou J., Chen Q. et al. LLM-KT: Aligning large language models with knowledge tracing using a plug-and-play instruction. arXiv. 2025. DOI: 10.48550/arXiv.2502.02945.
Yin Y., Dai L., Huang Z. et al. Tracing knowledge instead of patterns: Stable knowledge tracing with diagnostic transformer. In: Proceedings of the ACM Web Conference. 2023. Pp. 855–864. DOI: 10.1145/3543507.3583255.
Zhan B., Guo T., Li X. et al. Knowledge tracing as language processing: A large-scale autoregressive paradigm. In: Artificial Intelligence in Education (AIED 2024). Recife, Brazil, 2024. Pp. 177–191. DOI: 10.1007/978-3-031-64302-6_13.
Zhang J., Shi X., King I., Yeung D.-Y. Dynamic key-value memory networks for knowledge tracing. In: Proceedings of the 26th International Conference on World Wide Web (WWW 2017). 2017. Pp. 765–774. DOI: 10.1145/3038912.3052580.
Zhang J., Mo Y., Chen C., He X. Neural attentive knowledge tracing model for student performance prediction. In: Proceedings of the IEEE International Conference on Knowledge Graph (ICKG 2020). 2020. Pp. 641–648. DOI: 10.1109/ICBK50248.2020.00096.
Ключевые слова:
отслеживание знаний, электронное обучение, трансформеры, маскированные автокодировщики.
