Проблемы инфляции оценок и симптомы академического мошенничества на МООК: о чем говорит учебная аналитика

В статье рассматриваются вопросы использования массовых открытых онлайн-курсов (МООК) при реализации образовательных программ в вузах и связанные с этим проблемы оценивания результатов обучения студентов. Широкое внедрение в образовательную практику онлайн-курсов существенно повышает риски неконтролируемой инфляции оценок, что в дальнейшем может повлечь за собой потерю доверия к университетскому образованию со стороны работодателей. В рамках исследования был проведен анализ данных 18 онлайн-курсов УрФУ на Национальной платформе открытого образования (более 50 запусков в период пандемии COVID‑19) с целью оценки показателей качества контрольно-измерительных материалов курсов, успеваемости, активности и равномерности обучения студентов с помощью системы рекомендательных сервисов и поддержки индивидуализированного обучения «Цифровой тьютор». Результаты исследования дают основания утверждать, что существующие онлайн-курсы не позволяют объективно оценивать реальный уровень знаний и навыков студентов ввиду несовершенства контрольно-измерительных материалов и недостаточного объема банка заданий. Усугубляют ситуацию случаи академического мошенничества со стороны студентов, выявленные в ходе анализа их цифрового следа на платформе. Это приводит к неконтролируемой инфляции оценок, что подтверждается высокими значениями среднего балла слушателей (82 балла по текущему контролю и 70 баллов по итоговой аттестации), смещением медианных значений распределения в сторону больших баллов по отношению к среднему, а также критически высокой долей хороших и отличных оценок по всем курсам (80 %). Выявленные проблемы не позволяют использовать МООК в модели исключительно электронного обучения и требуют применения смешанных форматов обучения и итоговой аттестации в виде независимого тестового контроля на основе специально разработанного банка заданий, удовлетворяющего требованиям психометрики.

1. Статистическая информация Минобрнауки РФ. Форма № ВПО–2 «Сведения о материально-технической и информационной базе, финансово-экономической деятельности образовательной организации высшего образования». URL: https://minobrnauki.gov.ru/action/stat/highed/ (дата обращения: 30.11.2022).

2. Абрамова М. О., Баранников К. А., Груздев И. А., Жихарев Д. А., Лешуков О. В., Отт М. А., Рогозин Д. М., Сандлер Д. Г., Суханова Е. А., Терентьев Е. А., Фрумин И. Д. Качество образования в российских университетах: что мы поняли в пандемию: Аналитический доклад. Томск: Издательство Томского государственного университета, 2021. 46 с.

3. Семенова Т. В. «Когда сидишь просто перед компьютером, он от тебя ничего не требует»: трудности и стратегии студентов при прохождении МООК в вузах // Мониторинг общественного мнения: экономические и социальные перемены. 2022. № 2. С. 292–316. DOI:10.14515/monitoring.2022.2.1999

4. Захарова У. С., Танасенко К. И. МООК в высшем образовании: достоинства и недостатки для преподавателей // Вопросы образования. 2019. № 3. С. 176–202. DOI:10.17323/1814–9545–2019–3–176–202

5. Шмелева Е. Д., Семенова Т. В. Академическое мошенничество студентов: учебная мотивация vs образовательная среда // Вопросы образования. 2019. № 3. С. ­101–129. DOI:10.17323/1814–9545–2019–3–101–129

6. Karadag E. Effect of COVID–19 Pandemic on Grade Inflation in Higher Education in Turkey // Plos One. 2021. Vol. 16. № 8. P. e0256688. DOI:10.1371/journal.pone.0256688

7. Pattison E., Grodsky E., Muller C. Is the Sky Falling? Grade Inflation and the Signaling Power of Grades // Educational Researcher. 2013. Vol. 42. № 5. P. 259–265.

8. Пискунов А. Ф., Филимонова Е. Н. Инфляция оценок: реальная или мнимая угроза? // Оценивание: образовательные возможности. Сборник научно-методических статей. Вып. 4. Серия «Современные технологии университетского образования». Минск : БГУ, 2006. С. 78–87.

9. Stone J. E. Inflated Grades, Enrollments & Budgets // Education Policy Analysis Archives. 1995. Vol. 3 (11). P. 1–30. DOI:10.14507/epaa.v3n11.1995

10. Daineko L., Larionova V., Yurasova I., Davy Y., Karavaeva N. Educational process digiltalization in Ural Federal University. Proceedings of the 19th European Conference on e-Learning. ECEL 2020, Berlin, 2020. P. 146–153. DOI:10.34190/EEL.20.029

11. Daineko L., Goncharova N., Larionova V. Retrospective comparative analysis of student performance before and during the pandemic. ICERI2021 Proceedings, 2021. P. 6434–6440. DOI:10.21125/iceri.2021.1457

12. Макарова Г. Ю., Харитонова Ю. Н., Рыбаков В. Е., Гужин А. А. Кризис высшего образования. Взгляд изнутри // Инновации и инвестиции. 2016, № 2. С. 106–109.

13. Bar T., Kadiyali V., Zussman A. Grade information and grade inflation: The Cornell experiment // Journal of Economic Perspectives. 2009. Vol. 23 (3). P. 93–108. DOI:10.1257/jep.23.3.93

14. Kostal J. W., Kuncel N. R., Sackett P. R. Grade inflation marches on: Grade increases from the 1990s to 2000s // Educational Measurement: Issues and Practice. 2016. Vol. 35 (1). P. 11–20. DOI:10.1111/emip.12077

15. Chen W. E. Case Study on Using MOOC. Materials in a Small Private Online Course. International Workshop on Learning Technology for Education Challenges, 2016. P. ­162–167. DOI:10.1007/978–3–319–42147–6_14

16. DeBoer J., Breslow L. Tracking progress: predictors of students’ weekly achievement during a circuits and electronics MOOC. Proceedings of the first ACM conference on Learning@scale conference, 2014. P. 169–170. DOI:10.1145/2556325.2567863

17. Ewais A., Awad M., Hadia K. Aligning learning materials and assessment with course learning outcomes in MOOCs using data mining techniques. Advances in integrations of intelligent methods. Springer, Singapore, 2020. P. 1–25. DOI:10.1007/978–981–15–1918–5_1

18. Weinhardt J. M., Sitzmann T. Revolutionizing training and education? Three questions regarding massive open online courses (MOOCs) // Human Resource Management Review. 2019. Vol. 29. № 2. P. 218–225.

19. Kolås L., Nordseth H., Hoem J. Interactive modules in a MOOC. 15th International Conference on Information Technology Based Higher Education and Training (ITHET), IEEE, 2016. P. 1–8. DOI:10.1109/ITHET.2016.7760707

20. Ollé J., Namestovski Ž. Student Performance and Learning Experience in MOOCs: The Possibilities of Interactive Activity-Based Online Learning Materials. International Conference on Interactive Collaborative Learning, Springer, 2017. P. 649–653. DOI:10.1007/978–3–319–73210–7_75

21. Стародубцев В. А., Ситникова О. В., Лобаненко О. Б. Оптимизация контента онлайн-курса по данным статистики активности пользователей // Высшее образование в России. 2019. Т. 28, № 8–9. С. 119–127. DOI:10.31992/0869–3617–2019–28–8–9–119–127

22. Тихонова Н. В. Организация контроля знаний студентов в условиях удаленного обучения // Казанский лингвистический журнал. 2021. Т. 4, № 1. С. 111–125.

23. Саяпин А. В. Методика конструирования контрольно-измерительных материалов в вузе с целью повышения качества // Научное мнение. 2012. № 8. С. 77–83.

24. Базанова Е. М., Соколова Е. Е. МООК по академическому письму: управление мотивацией обучения студентов // Высшее образование в России. 2017. № 2. С. 99–109.

25. Изосимов Д. В. Разработка дидактического банка контрольно-измерительных материалов как средства диагностики поэтапного формирования профессиональных умений у курсантов военного вуза // Вопросы педагогики. 2020. № 5–2. С. 172–177.

26. Brown K., Larionova V., Stepanova N., Lally V. Reimagining the Pedagogical Paradigm within a Technology Mediated Learning Environment // Open Education Studies. 2019. Vol. 1(1). P. 138–145. DOI:10.1515/edu–2019–0009

27. Brown K., Khalfin A., Sandler D., Sinitsyn E., Tolmachev A. System of Digital Services for Supporting the Individualized Learning Process. Proceedings of the 13th annual International Conference of Education, Research and Innovation (ICERI–2020), Sevilla, 2020. P. 8598–8607. DOI:10.21125/iceri.2020.1911

28. Sinitsyn E., Tolmachev A., Larionova V., Ovchinnikov A. Mathematical Models of Learning Analytics for Massive Open Online Courses. EDULEARN Proceedings, 2019. P. 4395–4404. DOI:10.21125/edulearn.2019.1107

29. Шмелев А. Г. Практическая тестология: тестирование в образовании, прикладной психологии и управлении персоналом. М.: Маска, 2013. 688 с.

30. Корн Г., Корн Т. Справочник по математике для научных работников и инженеров. М.: Главная редакция физико-математической литературы, 1973. 832 с.

31. Быстрова Т. Ю., Ларионова В. А., Синицын Е. В., Толмачев А. В. Учебная аналитика МООК как инструмент прогнозирования успешности обучающихся // Вопросы образования. 2018. № 4. С. 139–166. DOI:10.17323/1814–9545–2018–4–139–16