umjУниверситетское управление: практика и анализUniversity Management: Practice and Analysis1999-66401999-6659Federal State Autonomous Educational Institution of Higher Education «Ural Federal University named after the first President of Russia B.N.Yeltsin»; Non-Commercial Partnership “University Management: Practice and10.15826/umpa.2020.02.018umj-1201Research ArticleЭФФЕКТИВНОСТЬ УНИВЕРСИТЕТОВUNIVERSITIES’ PERFORMANCEМониторинг эффективности образовательных организаций как источник данных о российском высшем образованииThe Survey of HEIs Performance as a Data Source on Higher Education in RussiaЦивинскаяА. О.TsivinskayaA. O.

Цивинская Анжелика Олеговна – младший научный сотрудник Центра институционального анализа науки и образования

191187, Санкт-Петербург, ул. Гагаринская, 6/1а

Angelika O. Tsivinskaya – Junior Researcher at the Center for Institutional Analysis of Science and Education

6/1a Gagarinskaya Str., Saint Petersburg, 191187

atsivinskaya@eu.spb.ruГубаК. С.GubaK. S.

Губа Катерина Сергеевна – кандидат социологических наук, директор Центра институционального анализа науки и образования

191187, Санкт-Петербург, ул. Гагаринская, 6/1а

Katerina S. Guba – PhD (Sociology), Director of the Center for Institutional Analysis of Science and Education

6/1a Gagarinskaya Str., Saint Petersburg, 191187

kguba@eu.spb.ruЕвропейский университет в Санкт-ПетербургеРоссияEuropean University at Saint PetersburgRussian Federation202001082020242121130Copyright © Цивинская А.О., Губа К.С., 20202020Цивинская А.О., Губа К.С.Tsivinskaya A.O., Guba K.S.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.umj.ru/jour/article/view/1201

Мониторинг эффективности деятельности организаций высшего образования, проводимый с 2012 года, является самым полным источником открытой информации об организационной популяции российских вузов. В настоящее время дискуссия о показателях Мониторинга ведется в ключе их применимости для оценки организаций высшего образования; как вторичный источник сведений для исследователей высшего образования материалы Мониторинга не рассматриваются. Предлагаемая статья должна ликвидировать существующий пробел – в ней данные Мониторинга оцениваются с точки зрения их качества и потенциала для статистического анализа. Качество данных Мониторинга рассматривается авторами через призму основных измерений, таких как точность, актуальность, полнота и согласованность. Техническое удобство данных Мониторинга оценивается с позиции характера распределения переменных, что позволяет понять, какие методы анализа данных могут быть применены к Мониторингу. В завершение авторы дают рекомендации представителям научного сообщества, планирующим использовать данные Мониторинга для исследования российского высшего образования. 

Annual Survey of Performance of Higher Education Institutions, conducted in Russiasince 2012, is the main source of open-access information on Russian universities. The discussion on the indicators of the Survey mainly focuses on their applicability for assessing higher education institutions (HEIs). The Survey, however, is not observed as a possible source of data for researchers in higher education. To remedy this deficiency, this paper evaluates the Survey data in terms of their quality and applicability for statistical analysis. The quality of the data is measured in four dimensions: accuracy, timeliness, completeness, and consistency. The technical convenience of the data is evaluated through the analysis of the variables distribution. The conclusion contains recommendations for researchers, who plan to use the Survey data for studying Russian higher education.

высшее образованиехарактеристики и показатели образованияраспределения переменныхкачество данныхадминистративные данныеhigher educationKPIdistribution fitdata qualityadministrative dataСтатья подготовлена в рамках гранта РАНХиГС № AAAA-A18-118060590091-8.This research was supported by the RANEPA via grant № AAAA-A18-118060590091-8.ReferencesГуба К., Завадская М. Лучше быть неэффективным, чем негосударственным: как Рособрнадзор наказывает вузы // Аналитические записки по проблемам правоприменения / ИПП ЕУСПб. Санкт-Петербург, 2017. 12 c.Guba K., Zavadskaya M. Luchshe byt’ neeffektivnym, chem negosudarstvennym: kak Rosobrnadzor nakazyvaet vuzy [Better Ineffective than Private: How Universities are Penalized by Rosobrnadzor], Saint Petersburg, The Institute for the Rule of Law, European University, 2017, 12 p. (In Russ.).Типология и анализ научно-образовательной результативности российских вузов / И. В. Абанкина, Ф. Т. Алескеров, В. Ю. Белоусова [и др.] // ФОРСАЙТ. 2013. Т. 7, № 3. С. 48–63. DOI: 10.17323/1995-459x.2013.3.48.63.Abankina I., Aleskerov F., Belousova V., Gokhberg L., Zinkovsky K., Kiselgof S., Shvydun S. Tipologiya i analiz nauchno-obrazovatel’noi rezul’tativnosti rossiiskikh vuzov [Typology and Analysis of Russian Universities’ Performance in Education and Science Perspectives]. Foresight-Russia, 2013, vol. 7, no. 3, pp. 48–63. DOI: 10.17323/1995-459x.2013.3.48.63. (In Russ.).Кузьминов Я. И., Семенов Д. С., Фрумин И. Д. Структура вузовской сети: от советского к российскому мастерплану // Вопросы образования. 2013. № 4. С. 8–69. DOI: 10.17323/1814-9545-2013-4-8-69.Kuzminov J., Semenov D., Froumin I. Struktura vuzovskoi seti: ot sovetskogo k rossiiskomu «master-planu» [University Network Structure: from the Soviet to the Russian «Master Plan»]. Voprosy obrazovaniya, 2013, no. 4, pp. 8–69. DOI: 10.17323/1814-9545-2013-4-8-69. (In Russ.).Прохоров С. Г., Свирина А. А. Мониторинг эффективности вузов и перспективы малых городов РФ // Высшее образование в России. 2014. № 11. С. 121–125.Prokhorov S. G., Svirina A. A. Monitoring effektivnosti vuzov i perspektivy malykh gorodov RF [Efficiency of University Monitoring and Russian Small Cities Perspectives]. Vysshee obrazovanie v Rossii, 2014, no. 11, pp. 121–125. (In Russ.).Публикационная активность вузов: эффект проекта «5–100» / О. В. Польдин, Н. Н. Матвеева, И. А. Стерлигов, М. М. Юдкевич // Вопросы образования. 2017. № 2. С. 10–35. DOI: 10.17323/1814-9545-2017-2-10-35.Poldin O., Matveeva N., Sterligov I., Yudkevich Publikatsionnaya aktivnost’ vuzov: effekt proekta «5– 100» [Publication Activities of Russian Universities: The Effects of Project 5-100]. Voprosy obrazovaniya, 2017, no. 2, pp. 10–35. DOI: 10.17323/1814-9545-2017-2-10-35. (In Russ.).Соколов М. Миф об университетской стратегии. Экономические ниши и организационные карьеры российских вузов // Вопросы образования. 2017. № 2. С. 36–73. DOI: 10.17323/1814-9545-2017-2-36-73.Sokolov M. Mif ob universitetskoi strategii. Ekonomicheskie nishi i organizatsionnye kar’ery rossiiskikh vuzov [The Myth of University Strategy. Market Niches and Organizational Careers of Russian Universities]. Voprosy obrazovaniya, 2017, no. 2, pp. 36–73. DOI: 10.17323/1814-9545-2017-2-36-73. (In Russ.).Вкусов А. В. Проблемы оценки эффективности деятельности университетов // Социологические исследования. 2018. № 1. С. 140–145. DOI: 10.7868/S0132162518010154.Vkusov A. V. Problemy otsenki effektivnosti deyatel’nosti universitetov [Problems of Assessing the Effectiveness of universities]. Sotsiologicheskie issledovaniya, 2018, no. 1, pp. 140–145. DOI: 10.7868/S0132162518010154. (In Russ.).Винокуров М. А. Мониторинг эффективности российских вузов: совершенствование методологии // Известия ИГЭА. 2013. № 6 (92). С. 5–11.Vinokurov M. A. Monitoring effektivnosti rossiiskikh vuzov: sovershenstvovanie metodologii [Monitoring the Effectiveness of Russian Universities: Enhancing the Methodology]. Izvestiya Irkutskoi gosudarstvennoi ekonomicheskoi akademii, 2013, no. 6 (92), pp. 5–11. (In Russ.).Левашов Е. Н. Критерии оценки эффективности деятельности вузов в России // Символ науки. 2016. № 2–2 (14). С. 170–173.Levashov E. N. Kriterii otsenki effektivnosti deyatel’nosti vuzov v Rossii [Сriteria for Evaluating the Effectiveness of Universities in Russia]. Simvol nauki, 2016, no. 2–2 (14), pp. 170–173. (In Russ.).The Role of Administrative Data in the Big Data Revolution in Social Science Research / R. Connelly, C. J. Playford, V. Gayle, C. Dibben // Social Science Research. 2016. Vol. 59. P. 1–12. DOI: 10.1016/j.ssresearch.2016.04.015.Connelly R., Playford C. J., Gayle V., Dibben C. The Role of Administrative Data in the Big Data Revolution in Social Science Research. Social Science Research, 2016, vol. 59, pp. 1–12. DOI: 10.1016/j.ssresearch.2016.04.015. (In Eng.).Hand D. J. Statistical Challenges of Administrative and Transaction Data // Journal of the Royal Statistical Society: Series A (Statistics in Society). 2018. No. 181 (3). P. 555–605. DOI: 10.1111/rssa.12315.Hand D. J. Statistical Challenges of Administrative and Transaction Data. Journal of the Royal Statistical Society: Series A (Statistics in Society), 2018, no. 181 (3), pp. 555–605. DOI: 10.1111/rssa.12315. (In Eng.).Ballou D. P., Pazer H. L. Modeling Data and Process Quality in Multi-Input, Multi-Output Information Systems // Management Science. 1985. No. 31 (2). P. 150–162. DOI: 10.1287/mnsc.44.4.462.Ballou D. P., Pazer H. L. Modeling Data and Process Quality in Multi-Input, Multi-Output Information Systems. Management Science, 1985, no. 31 (2), pp. 150–162. DOI: 10.1287/mnsc.44.4.462. (In Eng.).Fox C., Levitin A., Redman T. The Notion of Data and Its Quality Dimensions // Information Processing & Management. 1994. No. 30 (1). P. 9–19. DOI: 10.1016/0306-4573(94)90020-5.Fox C., Levitin A., Redman T. The Notion of Data and Its Quality Dimensions. Information Processing & Management, 1994, no. 30 (1), pp. 9–19. DOI: 10.1016/0306-4573 (94) 90020-5. (In Eng.).Tayi G. K., Ballou D. P. Examining Data Quality // Communications of the ACM. 1998. No. 41 (2). P. 54–57. DOI: 10.1145/269012.269021.Tayi G. K., Ballou D. P. Examining Data Quality. Communications of the ACM, 1998, no. 41 (2), pp. 54–57. DOI: 10.1145/269012.269021. (In Eng.).Kitchin R. Big Data, New Epistemologies and Paradigm Shifts // Big Data & Society. 2014. Vol. 1, no. 1. P. 1–12. DOI: 10.1177/2053951714528481.Kitchin R. Big Data, New Epistemologies and Paradigm Shifts. Big Data & Society, 2014, vol. 1, no. 1, pp. 1–12. DOI: 10.1177/2053951714528481. (In Eng.).Quality Assessment for Linked Data: A Survey / A. Zaveri, A. Rula, A. Maurino [et al.] // Semantic Web. 2016. No. 7 (1). P. 63–93. DOI: 10.3233/sw-150175.Zaveri A., Rula A., Maurino A., Pietrobon R., Lehmann J., Auer S. Quality Assessment for Linked Data: A Survey. Semantic Web, 2016, no. 7 (1), pp. 63–93. DOI: 10.3233/sw-150175. (In Eng.).Herzog T. N., Scheuren F. J., Winkler W. E. Data Quality and Record Linkage Techniques. New York : Springer Science & Business Media, 2007. 234 p.Herzog T. N., Scheuren F. J., Winkler W. E. Data Quality and Record Linkage Techniques. New York : Springer Science & Business Media, 2007. 234 p. (In Eng.)Indicators on Individual Higher Education Institutions: Addressing Data Problems and Comparability Issues / A. Bonaccorsi, C. Daraio, B. Lepori, S. Slipersaeter // Research Evaluation. 2007. No. 16. P. 66 –78. DOI: 10.3152/095820207X218141.Bonaccorsi A., Daraio C., Lepori B., Slipersaeter S. Indicators on Individual Higher Education Institutions: Addressing Data Problems and Comparability Issues. Research Evaluation, 2007, no. 16, pp. 66–78. DOI: 10.3152/095820207X218141. (In Eng.).Lepori B., Jeroen Huisman J., Seeber M. Convergence and Differentiation Processes in Swiss Higher Education: an Empirical Analysis // Studies in Higher Education. 2014. Vol. 39, no. 2. P. 197–218. DOI: 10.1080/03075079.2011.647765.Lepori B., Jeroen Huisman J., Seeber M. Convergence and Differentiation Processes in Swiss Higher Education: an Empirical Analysis. Studies in Higher Education, 2014, vol. 39, no. 2, pp. 197–218. DOI: 10.1080/03075079.2011.647765. (In Eng.).Mateos-González J. L., Boliver V. Performance-Based University Funding and the Drive Towards ‘Institutional Meritocracy’ in Italy // British Journal of Sociology of Education. 2018. Vol. 40, no. 2. P. 1–14. DOI: 10.1080/01425692.2018.1497947.Mateos-González J. L., Boliver V. Performance-Based University Funding and the Drive Towards ‘Institutional Meritocracy’ in Italy. British Journal of Sociology of Education, 2018, vol. 40, no. 2, pp. 1–14. DOI: 10.1080/01425692.2018.1497947. (In Eng.).Self-citations as Strategic Response to the Use of Metrics for Career Decisions / M. Seeber, M. Cattaneo, M. Meoli, P. Malighetti // Research Policy. 2019. No. 48 (2). P. 478–491. DOI: 10.1016/j.respol.2017.12.004.Seeber M., Cattaneo M., Meoli M., Malighetti P. Self-Citations as Strategic Response to the Use of Metrics for Career Decisions. Research Policy, 2019, no. 48 (2), pp. 478–491. DOI: 10.1016/j.respol.2017.12.004. (In Eng.).Piro F. N., Aksnes D. W., Rørstad K. A Macro Analysis of Productivity Differences across Fields: Challenges in the Measurement of Scientific Publishing // Journal of the American Society for Information Science and Technology. 2013. Vol. 64, no. 2. P. 307–320. DOI: 10.1002/asi.22746.Piro F. N., Aksnes D. W., Rørstad K. A Macro Analysis of Productivity Differences across Fields: Challenges in the Measurement of Scientific Publishing. Journal of the American Society for Information Science and Technology, 2013, vol. 64, no. 2, pp. 307–320. DOI: 10.1002/asi.22746. (In Eng.).

The authors declare that there are no conflicts of interest present.