Аналитический центр «Эксперт» представляет третью волну исследования научной продуктивности российских университетов. За сравнительно недолгий период своего существования оно прошло большой путь. В обсуждении его методики с 2016 года участвуют руководители крупнейших вузов страны и специалисты в области наукометрии и компании Elsevier. Это позволило создать рейтинг, который на данный момент является одним из наиболее качественных инструментов анализа и оценки публикационной активности более чем ста высших учебных заведений.

Карта университетской науки

Немного идеологии

Рейтинг научной продуктивности строится на двух ключевых принципах. Первый — узкая специализация и глубокое погружение в проблематику. Наиболее авторитетные российские и международные исследования — не важно, оценивают они вузы в целом или в отдельных предметных областях, — как правило, стремятся к комплексному анализу деятельности университетов. Их авторы изучают образовательный и научный процесс, успехи в коммерциализации исследований, достижения в международной кооперации и т. д. Мы же концентрируем внимание на одном направлении — статьях, которые опубликованы в журналах, индексируемых в международных базах. Единственным известным проектом, фокусирующимся, как и мы, на библиометрии, является Лейденский рейтинг (выпускается с 2007 года Центром науки и технологических исследований Лейденского университета).

Второй принцип — объективность. Все наши расчеты основаны на открытых данных. При желании вузы обратным счетом могут верифицировать все использованные нами исходные показатели. Преимущество такого подхода — возможность относительно легко объяснить причины успехов и неудач. Спорный момент — отсутствие в оценке репутационной составляющей. Мы пошли на ее исключение осознанно. Безусловно, имидж вуза — один из наиболее важных его активов. Однако подчас он затеняет истинное положение дел и за счет прошлых заслуг выталкивает на поверхность университеты, начавшие тонуть в той или иной предметной отрасли. Вместе с тем опросные показатели снижают прозрачность расчетов и создают практически непреодолимый барьер для новых и небольших университетов.

Используемые в рейтинге показатели разделены на три равнозначных блока: «Востребованность/качество», «Масштаб и устойчивость деятельности» и «Качество роста». Первый блок оценивает среднюю цитируемость, взвешенную цитируемость в той или иной предметной области, качество журналов. Второй — насколько устойчивы текущие результаты, получены они за счет одного-двух сильных исследователей или большой группы.

Количество университетов в рейтинге по предметам

Чуть подробнее о третьем блоке. Он учитывает особенности роста университетских систем, его задача — фиксация и нейтрализация не совсем чистых практик. Мы включили в него два показателя: «Качество цитирований» (рассчитывает долю самоцитат в общем объеме цитирований, при достижении порогового значения 40% балл начинает серьезно снижаться) и «Концентрация статей» (оценивает, насколько широк круг журналов, где вуз представляет результаты исследований). Сильные результаты по этим индикаторам свидетельствуют, что деятельность научных коллективов университета обширна и нужна не только им самим.

За три года мы существенно модернизировали методику рейтинга (и продолжаем работать в этом направлении). Большинство изменений носили косметический характер, но два касались фундаментальных основ. Первое, что мы сделали, — трансформировали подход к расчету концентрации статей. В первый раз мы опирались на индекс Херфендаля—Хиршмана. Он позволял отлавливать ситуации, когда в одном-двух журналах размещалось более 50–60% всех публикаций университета. Но его использование имело ограничения. Главным из них была зависимость показателя от предметной области. Чем она у́же, тем меньше разнообразие журналов и тем выше концентрация. В результате с 2017 года мы начали переход на новый индекс, учитывающий общее число изданий в предметной области. К 2018-му этот подход был распространен на все сферы (в том числе на экономику, гуманитарные и общественные науки).

Второе изменение касалось составления собственного перечня недобросовестных журналов. При составлении двух первых рейтингов мы опирались на единственный в этой сфере источник — список Билла (составлялся Джеффри Биллом из Университета штата Колорадо, расположенного в Денвере). Но в начале 2017 года эта база перестала обновляться и была удалена (к тому моменту в ней насчитывалось 1155 изданий).

При составлении третьего рейтинга мы посчитали некорректным опираться на данные января 2017-го и начали формировать свой список нерекомендованных изданий. На данный момент в нем 56 наименований (постепенно он будет дополняться). Мы ни в коем случае не считаем, что этот перечень совершенен, однако полагаем, что российские университеты уже сейчас могут на него опираться.

Высшая лига

В 2018 году мы проанализировали 14 предметных областей. Как и годом ранее, лидирующие позиции в большинстве технических сфер остались за Московским государственным университетом. В области гуманитарных и общественных наук властвовала Высшая школа экономики. Первые позиции по итогам 2017 года они отдали только в четырех сегментах: в математике впереди всех оказался МФТИ, в компьютерных науках — ИТМО, в науках о Земле — Казанский федеральный, в химических технологиях — Новосибирский госуниверситет.

За год первые десятки в 13 областях (медицина была включена только в 2018-м и будет рассмотрена отдельно) практически не изменились. Их новыми участниками стали только 16 университетов, которые раньше наступали на пятки лидерам. Исключениями стали два вуза: УрФУ, прыгнувший в социальных науках с 20-го места сразу на восьмое, и Санкт-Петербургский политех Петра Великого, сменивший 20-е место по экономике на девятое.

Отметим также несколько неожиданное вхождение в топ-10 по гуманитарным наукам РУДН и Российского экономического университета имени Г. В. Плеханова.

Как видно, основные изменения произошли в нетехнических областях. Это обусловлено двумя факторами. Во-первых, распространением на сферу социально-гуманитарного знания методики расчета концентрации статей. Во-вторых, сравнительно небольшим числом публикаций в этой предметной области. Из-за этого даже незначительные колебания показателей могут оказывать существенное влияние на позиции в рейтинге.

В 2018-м рейтинг очистился. В прошлом году в ряде предметных областей нижняя граница была настолько низкой, что в поле нашего зрения попадали университеты, практически не занимающиеся соответствующими исследованиями. В первую очередь это касалось гуманитарных наук. В 2017-м благодаря общему росту числа статей минимальная планка подросла, и большинство случайных участников были отсечены (в тех же гуманитарных науках из 31 учебного заведения остались только 16, в рейтинг мы включаем вузы, доля которых в общем числе российских публикаций превышает 0,5%).

Любопытен географический разрез рейтинга. Он позволяет понять, насколько и в чем с точки зрения публикационной активности сильны университеты того или иного города. На лидирующих позициях ожидаемо оказались Москва и Санкт-Петербург. В пятерке — Томск, Новосибирск и Казань. Следом — Екатеринбург, который очень серьезно проседает в области инженерных наук, зато опережает тройку нестоличных конкурентов в сфере гуманитарных знаний.

В числе наименее представленных в рейтинге территорий — Рязань, Сургут, Ставрополь, Новокузнецк и Краснодар. Вузы этих городов были заметны только в одной предметной области, да и то на очень далеких позициях.

38 университетов вошли в рейтинг лишь в одной предметной области.

Атипичные медики

В 2016–2017 годах единственной крупной предметной областью, не присутствовавшей в нашем рейтинге, оставалась медицина. В первую волну исследований эта сфера была предварительно проанализирована, однако результаты вызывали массу вопросов. В итоге мы решили временно отказаться от ранжирования университетов в этом сегменте. Но в 2018-м к идее пришлось вернуться. Не замечать одну из наиболее перспективных и быстроразвивающихся отраслей знания более невозможно.

Из 35 университетов, попавших рейтинг по медицине, 16 оказались абсолютными новичками: в периметре двух прошлых исследований они не присутствовали.

Логично было предположить, что благодаря узкой направленности медвузы должны оккупировать лидирующие позиции в своей предметной области. Однако гипотеза не подтвердилась. В топ-10 вошли только три специализированных заведения — Первый Московский государственный медицинский университет имени И. М. Сеченова (входит в программу 5–—100, четвертое место), Российский национальный исследовательский медицинский университет (шестое место), Первый Санкт-Петербургский государственный медицинский университет (десятое место).

Впереди остальных по публикационной активности в области медицины оказались МГУ и, казалось бы, совсем не связанная с предметом Высшая школа экономики. Победу Московскому университету обеспечили три фактора. Первый — обладание самым сильным научным коллективом: более 25 сотрудников университета имеют индекс Хирша выше 25. Результаты их исследований публикуются в широком круге журналов, в том числе первого квартиля (включая Nature и Science).

Второй фактор — активная коллаборация как внутри России, так и на международном уровне. В 2017 году около 75% всех статей МГУ по медицине были написаны совместно с другими организациями (РАН, РАМН, Министерство здравоохранения РФ, Первый МГМУ им. Сеченова). Третий фактор — большое число междисциплинарных исследований в смежных областях.

Успех НИУ ВШЭ замешан на совершенно других ингредиентах. Главный из них — работа профессора кафедры управления и экономики здравоохранения Василия Власова. Он стал соавтором ряда международных публикаций, которые были посвящены обобщению результатов исследований по вопросам лишнего веса, рака, анализу причин смертности в разных странах мира и др. В подготовке этих статей принимали участие сотни ученых из разных стран, важным достижением которых стало обобщение и сведение раздробленной национальной статистики. Эти интернациональные работы стали основой для сотен исследований. На ряд из них было сделано две-три тысячи цитат, это в 350–450 раз больше, чем в среднем по предметной области (на публикации с участием Власова пришлось 95 и 12,7% цитат, полученных в медицинской сфере НИУ ВШЭ и всей отечественной наукой соответственно).

Другой составляющей успеха Вышки стали активные коллаборации и публикации на смежные с медициной темы. В обоих случаях исследователи университета получили возможность использовать свои сильные компетенции в сфере эконометрики и статистки.

Закон первого квартиля

Одним из важнейших блоков нашего исследования в 2018 году стал сбор мнений руководителей ведущих вузов страны относительно главных вызовов, стоящих перед университетами в сфере научной продуктивности. Ответы были на удивление единообразны. Фундаментальный вопрос текущего момента — как повысить качество публикационной активности.

Когда мы только задумывали наш рейтинг, эта тема поднималась не очень охотно. Оно и понятно: все силы вузы бросали на количественное наращивание статей. Иного способа стать видимыми в международных рейтингах не существовало. За пять лет (с 2012-го по 2017-й) число российских публикаций увеличилось с 45 до 80 тысяч. Среднегодовая динамика составила 12,5% (в то время как весь мир демонстрировал 1,1%).

Чтобы не проиграть в конкурентной борьбе, научные коллективы взяли на вооружение целый букет «хищнических» практик. Первая и самая распространенная из них — публикации в «мусорных» журналах, по какой-то причине индексирующихся в международных базах. Вторая практика — договорные и самоцитирования. Третья — покупка аффиляций или мест в коллаборациях (а еще некоторые вузы платят иностранным ученым, которые в России носа не показывают, но раз в три месяца стабильно выдают по статье). И, наконец, еще один сомнительный способ выглядеть хорошо — бесконечная публикация тезисов.

Сегодня представители ведущих вузов страны эти практики бичуют, говоря, что их применение оборачивается слишком высокими репутационными издержками. Они предлагают бить по хищническим повадкам сразу с трех сторон. На уровне государства важно внедрить более сложные механизмы оценки и мониторинга деятельности вузов, совмещающие как количественные, так и качественные инструменты.

На уровне академического сообщества необходимо решать вопрос с «хищническими» журналами; стимулировать рост академической мобильности, ведущей к развитию горизонтальных неформальных связей и коллабораций (в том числе с промышленными партнерами), а также создать систему внутрироссийских метрик. Декан факультета повышения квалификации и переподготовки кадров, руководитель группы по рейтингам МИФИ Сергей Киреев полагает, что она должна опираться на два столпа — качество журналов и востребованность исследований.  

— Наш университет печатается в изданиях самого высокого класса. По числу статей в топовом одном проценте мировых журналов по физике мы занимаем первое место в России. Да, по абсолютному числу публикаций мы проигрываем более крупным университетам. Но разве можно нас за это «наказывать» и ставить ниже вузов, более широко представленных, но не пользующихся спросом ни на внутренней, ни на внешней арене? Еще один показатель, кажущийся мне крайне важным, — востребованность научной деятельности. Ее можно оценивать по доле публикаций, написанных совместно с индустриальными партнерами и другими научными организациями.

От себя заметим: движение в сторону увеличения веса качественных показателей мы в целом поддерживаем. Однако полное пренебрежение количественными характеристиками считаем опасной крайностью. Такой подход дискриминирует крупные вузы. Безусловно, они имеют ресурсы для проведения серьезных исследований и публикации их итогов в топовых журналах. Но на фоне тысячи (или тысяч) других статей эти успехи будут не слишком заметны. Кроме того, ценность, значимость той или иной научной работы — величина очень субъективная. Вполне может статься, что материал, напечатанный в журнале не слишком высокого уровня, станет основой для прорыва.

Отдельно остановимся и на «хищнических» журналах. Руководители ведущих вузов сходятся в том, что главная задача здесь даже не составление «черного списка», а разработка общих правил поведения, некой декларации о fair play. Но продвинуть эту идею в Минобре пока не получается. «И это существенный риск, — замечает директор Наукометрического центра НИУ ВШЭ Иван Стерлигов. — Мы видим, что далеко не всегда изменения в различных официальных инструментах оценки, внедряемых Министерством образования, ФАНО и фондами, идут в сторону повышения планки качества учитываемых публикаций. Для борьбы с этим и для поддержки ответственного использования данных библиометрии было подготовлено открытое обращение совета по этике научных публикаций Ассоциации научных редакторов и издателей».

От академического сообщества спускаемся ниже — к уровню конкретного университета. Здесь должны быть разработаны программа повышения качества публикационной активности и привязанные к ней целевые показатели, механизмы поощрения и депремирования. Не менее важная задача вуза — обучение научно-педагогических работников, привитие им новой культуры.

Один из удачных примеров — Новосибирский госуниверситет. Здесь ввели формулу оценки публикационной активности, которая учитывает не только импакт-фактор журналов (или CiteScore), но и количество отработанных аудиторных часов (если сотрудник не работает со студентами, премия за публикационную активность намного меньше).

Другой важный момент, внедренный в НГУ, — поддержка академической мобильности на основе экспертной оценки качественного состава участников мероприятия. Если она низка, сотруднику рекомендуется не ездить на эту конференцию, симпозиум или стажировку.

И последний базовый принцип, которого придерживаются в Новосибирске, — демотивация сотрудников к быстрому набору баллов за счет публикации тезисов конференций в «хищнических» журналах. «Мы индивидуально работаем с организаторами наших мероприятий и советуем, в каких сборниках размещаться стоит, а в каких нет», — комментирует проректор по программам развития Новосибирского государственного университета Алексей Окунев.

Еще один пример выстраивания новой культуры — МИСиС.

— С 2016 года мы кардинально изменили внутренний подход к оценке публикационной активности подразделений, — констатирует проректор по науке и инновациям МИСиС Михаил Филонов. — На первом месте по значимости у нас стоят статьи в топовом одном проценте. За них сотрудники получают хорошие надбавки. Мы также поощряем публикации в изданиях первого квартиля (Q1). Поддержка Q2 сегодня сведена к минимуму, за печать в Q3 и Q4 мы наказываем рублем. Внедрение такой политики дало отличный результат: за два года доля статей в Q1 и Q2 у нас выросла с 20–25 до 50 процентов. Да, мы немного «подсели» по количеству статей, но зато вдвое приросли в качестве. Это был осознанный шаг.

Деготь дифференциации

В предыдущей главе мы не зря каждый раз употребляли словосочетание «ведущие вузы» — таки образом мы пытались избежать распространения выводов на всю высшую школу.

Мы видим, что в России сегодня сформировалось несколько университетских эшелонов, понятийные разрывы между которыми очень велики. Далеко впереди всех — МГУ и СПбГУ, участники программы 5–100 и некоторые НИУ. Они рассуждают о повышении качества, бьют по рукам за хищнические практики. Но в то же время сотни других вузов идут в противоположном направлении. Именно поэтому в 2017 году около 30% всех российских научных статей в области общественных и гуманитарных наук были опубликованы в журналах, которые вошли в наш список недобросовестных. По той же причине доля мировых цитирований, приходящихся на отечественных ученых, составляет всего два процента. «При этом в России сегодня функционирует более 450 государственных и 280 частных вузов. Согласитесь, эти цифры мало сопоставимы с двумя процентами», — замечает исполнительный директор ассоциации «Глобальные университеты» Ирина Карелина.

Очевидно, что подавляющее большинство отечественных вузов для преобразований не созрели. Они попросту до сих пор не смогли справиться с задачей количественного роста.

Результаты применения списка исключенных журналов