umjУниверситетское управление: практика и анализUniversity Management: Practice and Analysis1999-66401999-6659Federal State Autonomous Educational Institution of Higher Education «Ural Federal University named after the first President of Russia B.N.Yeltsin»; Non-Commercial Partnership “University Management: Practice and10.15826/umpa.2022.04.027umj-1567Research ArticleУПРАВЛЕНИЕ ОБРАЗОВАТЕЛЬНЫМ ПРОЦЕССОМMANAGING EDUCATIONAL PROCESSПроблемы инфляции оценок и симптомы академического мошенничества на МООК: о чем говорит учебная аналитикаProblems of Grade Inflation and Symptoms of Academic Fraud within the MOOCs: What Educational Analytics SaysЛарионоваВ. А.LarionovaV. A.

Ларионова Виола Анатольевна – кандидат физико-математических наук, доцент, заместитель директора по проектам развития образования, заведующий кафедрой экономики и управления строительством и рынком недвижимости

620002, Екатеринбург, ул. Мира, 19

Viola A. Larionova – PhD (Physics and Mathematics), Associate Professor, Vice-Director for Education Development Projects, Head of Department of Economics and Management in Construction and Real Estate Market

620002, Ekaterinburg, Mira str., 19

v.a.larionova@urfu.ruГончароваН. В.GoncharovaN. V.

Гончарова Наталья Вадимовна – кандидат технических наук, доцент кафедры экономики и управления на металлургических и машиностроительных предприятиях

620002, Екатеринбург, ул. Мира, 19

Natalia V. Goncharova – PhD (Engineering Sciences), Associate Professor, Department of Economics and Management at Metallurgical and Machine Building Enterprises

620002, Ekaterinburg, Mira str., 19

n.v.goncharova@urfu.ruДайнекоЛ. В.DainekoL. V.

Дайнеко Людмила Владимировна – старший преподаватель кафедры экономики и управления строительством и рынком недвижимости

620002, Екатеринбург, ул. Мира, 19

Ludmila V. Daineko – Senior Lecturer, Department of Economics and Management in Construction and Real Estate Market

620002, Ekaterinburg, Mira str., 19

l.v.daineko@urfu.ruУральский федеральный университет имени первого Президента России Б. Н. ЕльцинаРоссияUral Federal University named after the first President of Russia B. N. YeltsinRussian Federation202208022023264521Copyright © Ларионова В.А., Гончарова Н.В., Дайнеко Л.В., 20232023Ларионова В.А., Гончарова Н.В., Дайнеко Л.В.Larionova V.A., Goncharova N.V., Daineko L.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.umj.ru/jour/article/view/1567

В статье рассматриваются вопросы использования массовых открытых онлайн-курсов (МООК) при реализации образовательных программ в вузах и связанные с этим проблемы оценивания результатов обучения студентов. Широкое внедрение в образовательную практику онлайн-курсов существенно повышает риски неконтролируемой инфляции оценок, что в дальнейшем может повлечь за собой потерю доверия к университетскому образованию со стороны работодателей. В рамках исследования был проведен анализ данных 18 онлайн-курсов УрФУ на Национальной платформе открытого образования (более 50 запусков в период пандемии COVID‑19) с целью оценки показателей качества контрольно-измерительных материалов курсов, успеваемости, активности и равномерности обучения студентов с помощью системы рекомендательных сервисов и поддержки индивидуализированного обучения «Цифровой тьютор». Результаты исследования дают основания утверждать, что существующие онлайн-курсы не позволяют объективно оценивать реальный уровень знаний и навыков студентов ввиду несовершенства контрольно-измерительных материалов и недостаточного объема банка заданий. Усугубляют ситуацию случаи академического мошенничества со стороны студентов, выявленные в ходе анализа их цифрового следа на платформе. Это приводит к неконтролируемой инфляции оценок, что подтверждается высокими значениями среднего балла слушателей (82 балла по текущему контролю и 70 баллов по итоговой аттестации), смещением медианных значений распределения в сторону больших баллов по отношению к среднему, а также критически высокой долей хороших и отличных оценок по всем курсам (80 %). Выявленные проблемы не позволяют использовать МООК в модели исключительно электронного обучения и требуют применения смешанных форматов обучения и итоговой аттестации в виде независимого тестового контроля на основе специально разработанного банка заданий, удовлетворяющего требованиям психометрики.

The article studies the use of massive open online courses (MOOCs) when implementing educational programs at the university together with the related problems of evaluating students’ learning outcomes. The widespread introduction of online courses into educational practice significantly increases the risks of uncontrolled inflation of grades, which in the future may lead to a loss of employers’ confidence in university education. Within the study, there were analyzed the data of eighteen Ural Federal University’s online courses on the National Open Education Platform (more than 50 launches during the COVID‑19 pandemic). The aim was to assess the quality indicators of the course materials, academic performance, steadiness and regularity of students’ learning with the help of the «Digital Tutor» system. The results of the study show that the existing online courses cannot be a basis for an objective assessment of the real level of students’ knowledge and skills due to the imperfection of test materials and the insufficient volume of the task bank. The situation comes to be even worse thanks to the cases of students’ academic fraud, its traces identified during the analysis of their digital footprint on the platform. This leads to the uncontrolled inflation of grades, that is, to the high average score (82 points out of 100 in the semester and 70 points at the exam), to the shift in the median values of the distribution towards higher scores as compared to the average one, as well as to a critically high proportion of good and excellent marks in all courses (80%). The identified problems do not allow to use MOOCs in an exclusively e-learning model and require mixed learning formats and final certification in the form of an independent test control based on a specially developed bank of tasks that should meet the requirements of psychometrics.

цифровая трансформация образованиямассовые открытые онлайн-курсыучебная аналитикаконтрольно-измерительные материалыпсихометрикаинфляция оценокdigital transformation of educationmassive open online courseseducational analyticstest materialspsychometricsgrade inflationАвторы выражают благодарность Фонду Потанина за поддержку проекта создания новой программы онлайн-магистратуры и исследований в области онлайн-обучения (договор № ГСГК‑0090/21).The authors express their utmost gratitude to the Vladimir Potanin Foundation for supporting the project of creating a new online master’s program and research in the sphere of online learning (Contract No. ГСГК‑0090/21).ReferencesСтатистическая информация Минобрнауки РФ. Форма № ВПО–2 «Сведения о материально-технической и информационной базе, финансово-экономической деятельности образовательной организации высшего образования». URL: https://minobrnauki.gov.ru/action/stat/highed/ (дата обращения: 30.11.2022).Statisticheskaya informatsiya Minobrnauki RF. Forma № VPO–2 «Svedeniya o material’no-tekhnicheskoi i informatsionnoi baze, finansovo-ekonomicheskoi deyatel’nosti obrazovatel’noi organizatsii vysshego obrazovaniya» [Statistical Information of the Ministry of Education and Science of the Russian Federation. Form VPO–2 «Information about the Material and Technical and Information Base, Financial and Economic Activity of the Educational Organisation of Higher Education»], available at: https://minobrnauki.gov.ru/action/stat/highed/ (accessed 30.11.2022). (In Russ.).Абрамова М. О., Баранников К. А., Груздев И. А., Жихарев Д. А., Лешуков О. В., Отт М. А., Рогозин Д. М., Сандлер Д. Г., Суханова Е. А., Терентьев Е. А., Фрумин И. Д. Качество образования в российских университетах: что мы поняли в пандемию: Аналитический доклад. Томск: Издательство Томского государственного университета, 2021. 46 с.Sukhanova E. A., Frumin I. D. (Eds.) Kachestvo obrazovaniya v rossiiskikh universitetakh: chto my ponyali v pandemiyu [The Quality of Education in Russian Universities: What have we Learned during the Pandemic], Tomsk State University Press, 2021, 46 p. (In Russ.).Семенова Т. В. «Когда сидишь просто перед компьютером, он от тебя ничего не требует»: трудности и стратегии студентов при прохождении МООК в вузах // Мониторинг общественного мнения: экономические и социальные перемены. 2022. № 2. С. 292–316. DOI:10.14515/monitoring.2022.2.1999Semenova T. V. «Kogda sidish’ prosto pered komp’yuterom, on ot tebya nichego ne trebuet»: trudnosti i strategii studentov pri prokhozhdenii MOOK v vuzakh [«When You Just Sit in front of a Computer, It does not Require Anything from You»: Difficulties and Strategies of Students while Completing University-Level MOOCs]. Monitoring obshchestvennogo mneniya: ekonomicheskie i sotsial’nye peremeny [Monitoring of Public Opinion: Economic and Social Changes Journal], 2022, nr 2, pp. 292–316. doi:10.14515/monitoring.2022.2.1999. (In Russ.).Захарова У. С., Танасенко К. И. МООК в высшем образовании: достоинства и недостатки для преподавателей // Вопросы образования. 2019. № 3. С. 176–202. DOI:10.17323/1814–9545–2019–3–176–202Zakharova U. S., Tanasenko K. I. MOOK v vysshem obrazovanii: dostoinstva i nedostatki dlya prepodavatelei [MOOCs in Higher Education: Advantages and Pitfalls for Instructors]. Voprosy obrazovaniya [Educational Studies], 2019, nr 3, pp. 176–202. doi:10.17323/1814–9545–2019–3–176–202. (In Russ.).Шмелева Е. Д., Семенова Т. В. Академическое мошенничество студентов: учебная мотивация vs образовательная среда // Вопросы образования. 2019. № 3. С. ­101–129. DOI:10.17323/1814–9545–2019–3–101–129Shmeleva E. D., Semenova T. V. Akademicheskoe moshennichestvo studentov: uchebnaya motivatsiya vs obrazovatel’naya sreda [Academic Dishonesty among College Students: Academic Motivation vs Contextual Factors]. Voprosy obrazovaniya [Educational Studies], 2019, nr 3, pp. 101–129. doi:10.17323/1814–9545–2019–3–101–129. (In Russ.).Karadag E. Effect of COVID–19 Pandemic on Grade Inflation in Higher Education in Turkey // Plos One. 2021. Vol. 16. № 8. P. e0256688. DOI:10.1371/journal.pone.0256688Karadag E. Effect of COVID–19 Pandemic on Grade Inflation in Higher Education in Turkey. Plos One, 2021, vol. 16, nr 8, p. e0256688. doi:10.1371/journal.pone.0256688. (In Eng.).Pattison E., Grodsky E., Muller C. Is the Sky Falling? Grade Inflation and the Signaling Power of Grades // Educational Researcher. 2013. Vol. 42. № 5. P. 259–265.Pattison E., Grodsky E., Muller C. Is the Sky Falling? Grade Inflation and the Signaling Power of Grades. Educational Researcher, 2013, vol. 42, nr 5, pp. 259–265. (In Eng.).Пискунов А. Ф., Филимонова Е. Н. Инфляция оценок: реальная или мнимая угроза? // Оценивание: образовательные возможности. Сборник научно-методических статей. Вып. 4. Серия «Современные технологии университетского образования». Минск : БГУ, 2006. С. 78–87.Piskunov A. F., Filimonova E. N. Inflyatsiya otsenok: real’naya ili mnimaya ugroza? [Grade Inflation: Real or Perceived Threat?]. Otsenivanie: obrazovatel’nye vozmozhnosti. Sbornik nauchno-metodicheskikh statei. Vyp. 4. Seriya «Sovremennye tekhnologii universitetskogo obrazovaniya» [Evaluation: Educational Opportunities. Collection of Scientific and Methodological Articles. Vol. 4. Series “Modern Technologies of University Education], Minsk, 2006, pp. 78–87. (In Russ.).Stone J. E. Inflated Grades, Enrollments & Budgets // Education Policy Analysis Archives. 1995. Vol. 3 (11). P. 1–30. DOI:10.14507/epaa.v3n11.1995Stone J. E. Inflated Grades, Enrollments & Budgets. Education Policy Analysis Archives, 1995, vol. 3 (11), pp. 1–30. doi:10.14507/epaa.v3n11.1995. (In Eng.).Daineko L., Larionova V., Yurasova I., Davy Y., Karavaeva N. Educational process digiltalization in Ural Federal University. Proceedings of the 19th European Conference on e-Learning. ECEL 2020, Berlin, 2020. P. 146–153. DOI:10.34190/EEL.20.029Daineko L., Larionova V., Yurasova I., Davy Y., Karavaeva N. Educational Process Digitalization in Ural Federal University. Proceedings of the 19th European Conference on e-Learning (ECEL 2020), Berlin, 2020, pp. 146–153. doi:10.34190/EEL.20.029. (In Eng.).Daineko L., Goncharova N., Larionova V. Retrospective comparative analysis of student performance before and during the pandemic. ICERI2021 Proceedings, 2021. P. 6434–6440. DOI:10.21125/iceri.2021.1457Daineko L., Goncharova N., Larionova V. Retrospective Comparative Analysis of Student Performance before and during the Pandemic. ICERI2021 Proceedings, 2021, pp. 6434–6440. doi:10.21125/iceri.2021.1457. (In Eng.).Макарова Г. Ю., Харитонова Ю. Н., Рыбаков В. Е., Гужин А. А. Кризис высшего образования. Взгляд изнутри // Инновации и инвестиции. 2016, № 2. С. 106–109.Makarova G. Yu., Kharitonova Yu. N., Rybakov V. E., Guzhin A. A. Krizis vysshego obrazovaniya. Vzglyad iznutri [The Crisis of Higher Education. A Look from the Inside]. Innovatsii i investitsii [Innovations and investments], 2016, nr 2, pp. 106–109. (In Russ.).Bar T., Kadiyali V., Zussman A. Grade information and grade inflation: The Cornell experiment // Journal of Economic Perspectives. 2009. Vol. 23 (3). P. 93–108. DOI:10.1257/jep.23.3.93Bar T., Kadiyali V., Zussman A. Grade Information and Grade Inflation: The Cornell Experiment. Journal of Economic Perspectives, 2009, vol. 23(3), pp. 93–108. doi:10.1257/jep.23.3.93. (In Eng.).Kostal J. W., Kuncel N. R., Sackett P. R. Grade inflation marches on: Grade increases from the 1990s to 2000s // Educational Measurement: Issues and Practice. 2016. Vol. 35 (1). P. 11–20. DOI:10.1111/emip.12077Kostal J. W., Kuncel N. R., Sackett P. R. Grade Inflation Marches On: Grade Increases from the 1990s to 2000s. Educational Measurement: Issues and Practice, 2016, vol. 35 (1), pp. 11–20. doi:10.1111/emip.12077. (In Eng.).Chen W. E. Case Study on Using MOOC. Materials in a Small Private Online Course. International Workshop on Learning Technology for Education Challenges, 2016. P. ­162–167. DOI:10.1007/978–3–319–42147–6_14Chen W. E. Case Study on Using MOOC. Materials in a Small Private Online Course. International Workshop on Learning Technology for Education Challenges, 2016, pp. 162–167. doi:10.1007/978–3–319–42147–6_14. (In Eng.).DeBoer J., Breslow L. Tracking progress: predictors of students’ weekly achievement during a circuits and electronics MOOC. Proceedings of the first ACM conference on Learning@scale conference, 2014. P. 169–170. DOI:10.1145/2556325.2567863DeBoer J., Breslow L. Tracking Progress: Predictors of Students’ Weekly Achievement during a Circuits and Electronics MOOC. Proceedings of the First ACM Conference on Learning@scale Conference, 2014, pp. 169–170. doi:10.1145/2556325.2567863. (In Eng.).Ewais A., Awad M., Hadia K. Aligning learning materials and assessment with course learning outcomes in MOOCs using data mining techniques. Advances in integrations of intelligent methods. Springer, Singapore, 2020. P. 1–25. DOI:10.1007/978–981–15–1918–5_1Ewais A., Awad M., Hadia K. Aligning Learning Materials and Assessment with Course Learning Outcomes in MOOCs Using Data Mining Techniques. Advances in Integrations of Intelligent Methods, Springer, Singapore, 2020, pp. 1–25. doi:10.1007/978–981–15–1918–5_1. (In Eng.).Weinhardt J. M., Sitzmann T. Revolutionizing training and education? Three questions regarding massive open online courses (MOOCs) // Human Resource Management Review. 2019. Vol. 29. № 2. P. 218–225.Weinhardt J. M., Sitzmann T. Revolutionizing Training and Education? Three Questions Regarding Massive Open Online Courses (MOOCs). Human Resource Management Review, 2019, vol. 29, nr 2, pp. 218–225. (In Eng.).Kolås L., Nordseth H., Hoem J. Interactive modules in a MOOC. 15th International Conference on Information Technology Based Higher Education and Training (ITHET), IEEE, 2016. P. 1–8. DOI:10.1109/ITHET.2016.7760707Kolås L., Nordseth H., Hoem J. Interactive Modules in a MOOC. 15th International Conference on Information Technology Based Higher Education and Training (ITHET), IEEE, 2016, pp. 1–8. doi:10.1109/ITHET.2016.7760707. (In Eng.).Ollé J., Namestovski Ž. Student Performance and Learning Experience in MOOCs: The Possibilities of Interactive Activity-Based Online Learning Materials. International Conference on Interactive Collaborative Learning, Springer, 2017. P. 649–653. DOI:10.1007/978–3–319–73210–7_75Ollé J., Namestovski Ž. Student Performance and Learning Experience in MOOCs: The Possibilities of Interactive Activity-Based Online Learning Materials. International Conference on Interactive Collaborative Learning, Springer, 2017, pp. 649–653. doi:10.1007/978–3–319–73210–7_75. (In Eng.).Стародубцев В. А., Ситникова О. В., Лобаненко О. Б. Оптимизация контента онлайн-курса по данным статистики активности пользователей // Высшее образование в России. 2019. Т. 28, № 8–9. С. 119–127. DOI:10.31992/0869–3617–2019–28–8–9–119–127Starodubtsev V. A., Sitnikova O. V., Lobanenko O. B. Optimizatsiya kontenta onlain-kursa po dannym statistiki aktivnosti pol’zovatelei [Optimization of Online Course Content according to Users Activity Statistics]. Vysshee obrazovanie v Rossii [Higher Education in Russia], 2019, vol. 28, nr 8–9, pp. 119–127. doi:10.31992/0869–3617–2019–28–8–9–119–127. (In Russ.).Тихонова Н. В. Организация контроля знаний студентов в условиях удаленного обучения // Казанский лингвистический журнал. 2021. Т. 4, № 1. С. 111–125.Tikhonova N. V. Organizatsiya kontrolya znanii studentov v usloviyakh udalennogo obucheniya [Students’ Knowledge Assessment in Online Learning]. Kazanskii lingvisticheskii zhurnal [Kazan Linguistic Journal], 2021, vol. 4, nr 1, pp. 111–125. (In Russ.).Саяпин А. В. Методика конструирования контрольно-измерительных материалов в вузе с целью повышения качества // Научное мнение. 2012. № 8. С. 77–83.Sayapin A. V. Metodika konstruirovaniya kontrol’noizmeritel’nykh materialov v vuze s tsel’yu povysheniya kachestva [Method of Monitoring Tests Building in Higher Education Aimed at Their Quality Improvement]. Nauchnoe mnenie [The Scientific Opinion], 2012, nr 8, pp. 77–83. (In Russ.).Базанова Е. М., Соколова Е. Е. МООК по академическому письму: управление мотивацией обучения студентов // Высшее образование в России. 2017. № 2. С. 99–109.Bazanova E. M., Sokolova E. E. MOOK po akademicheskomu pis’mu: upravlenie motivatsiei obucheniya studentov [Massive Open Online Course on Academic Writing: Management of Students’ Motivation to Study]. Vysshee obrazovanie v Rossii [Higher Education in Russia], 2017, nr 2, pp. 99–109. (In Russ.).Изосимов Д. В. Разработка дидактического банка контрольно-измерительных материалов как средства диагностики поэтапного формирования профессиональных умений у курсантов военного вуза // Вопросы педагогики. 2020. № 5–2. С. 172–177.Izosimov D. V. Razrabotka didakticheskogo banka kontrol’no-izmeritel’nykh materialov kak sredstva diagnostiki poetapnogo formirovaniya professional’nykh umenii u kursantov voennogo vuza [Development of a Didactic Bank of Control and Measurement Materials as a Means of Diagnosing the Gradual Formation of Professional Skills among Military Cadets]. Voprosy pedagogiki [Pedagogical Issues], 2020, nr 5–2, pp. 172–177. (In Russ.).Brown K., Larionova V., Stepanova N., Lally V. Reimagining the Pedagogical Paradigm within a Technology Mediated Learning Environment // Open Education Studies. 2019. Vol. 1(1). P. 138–145. DOI:10.1515/edu–2019–0009Brown K., Larionova V., Stepanova N., Lally V. Reimagining the Pedagogical Paradigm within a Technology Mediated Learning Environment. Open Education Studies, 2019, vol. 1 (1), pp. 138–145. doi:10.1515/edu–2019–0009. (In Eng.).Brown K., Khalfin A., Sandler D., Sinitsyn E., Tolmachev A. System of Digital Services for Supporting the Individualized Learning Process. Proceedings of the 13th annual International Conference of Education, Research and Innovation (ICERI–2020), Sevilla, 2020. P. 8598–8607. DOI:10.21125/iceri.2020.1911Brown K., Khalfin A., Sandler D., Sinitsyn E., Tolmachev A. System of Digital Services for Supporting the Individualized Learning Process. Proceedings of the 13th Annual International Conference of Education, Research and Innovation (ICERI–2020), Sevilla, 2020, pp. 8598–8607. doi:10.21125/iceri.2020.1911. (In Eng.).Sinitsyn E., Tolmachev A., Larionova V., Ovchinnikov A. Mathematical Models of Learning Analytics for Massive Open Online Courses. EDULEARN Proceedings, 2019. P. 4395–4404. DOI:10.21125/edulearn.2019.1107Sinitsyn E., Tolmachev A., Larionova V., Ovchinnikov A. Mathematical Models of Learning Analytics for Massive Open Online Courses. EDULEARN Proceedings, 2019, pp. 4395–4404. doi:10.21125/edulearn.2019.1107 (In Eng.).Шмелев А. Г. Практическая тестология: тестирование в образовании, прикладной психологии и управлении персоналом. М.: Маска, 2013. 688 с.Shmelev A. G. Prakticheskaya testologiya: testirovanie v obrazovanii, prikladnoi psikhologii i upravlenii personalom [Practical Testology. Testing in Education, Applied Psychology and Human Resource management], Moscow, Maska, 2013, 688 p. (In Russ.).Корн Г., Корн Т. Справочник по математике для научных работников и инженеров. М.: Главная редакция физико-математической литературы, 1973. 832 с.Korn G., Korn T. Spravochnik po matematike dlya nauchnykh rabotnikov i inzhenerov [Mathematics Handbook for Scientists and Engineers], Moscow, Glavnaya redaktsiya fiziko-matematicheskoi literatury, 1973, 832 p. (In Russ.).Быстрова Т. Ю., Ларионова В. А., Синицын Е. В., Толмачев А. В. Учебная аналитика МООК как инструмент прогнозирования успешности обучающихся // Вопросы образования. 2018. № 4. С. 139–166. DOI:10.17323/1814–9545–2018–4–139–16Bystrova T. Yu., Larionova V. A., Sinitsyn E. V., Tolmachev A. V. Uchebnaya analitika MOOK kak instrument prognozirovaniya uspeshnosti obuchayushchikhsya [Learning Analytics in MOOC as a Tool for Predicting Students’ Performance]. Voprosy obrazovaniya [Educational Studies], 2018, nr 4, pp. 139–166. doi:10.17323/1814–9545–2018–4–139–166. (In Russ.).

The authors declare that there are no conflicts of interest present.