Министерство образования и науки, несмотря на непрекращающуюся критику, продолжает пытаться оценить результативность работы подведомственных организаций. В прошлом году ведомство Дмитрия Ливанова занималось рейтингом эффективности вузов. Теперь министерство возьмется за научные учреждения.
Для этого Минобрнауки подготовило изменения к приказу 2009 года «Об оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения».
Проводить мониторинг и составлять рейтинги предлагается не раз в пять лет, как это было раньше, а ежегодно. По результатам этой работы организации поделят на три категории: «научные организации-лидеры», «стабильные научные организации, демонстрирующие удовлетворительную результативность» и «научные организации, утратившие научный профиль и перспективы развития». Кроме того, каждые пять лет подведомственные министерству учреждения будет посещать межведомственная комиссия.
По всей видимости, руководство Министерства образования и науки учло критику, вызванную «сравнением творческих вузов с техническими». На сей раз от единого набора критериев для оценки учреждений решено отказаться. Вместо этого сравнивать будут институты схожего профиля, объединяя их в «референтные группы». Предполагается, что методы оценки и «показатели результативности» в каждой группе будут свои.
Григорий Зацман, старший аналитик Российского индекса научного цитирования, в интервью «Полит.ру» так прокомментировал эту инициативу Минобрнауки.
«Когда мы говорим о методиках оценки организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы, то важно понимать, что здесь невозможен такой же подход, как в других областях человеческой деятельности, - допустим, как в экономике. Здесь нет однозначных показателей роста или падения; сама по себе сфера науки настолько сложна и многогранна, что опыт и Европейского Союза, и Соединенных Штатов убеждает в необходимости совершенно особых инструментов оценки.
Сложившиеся мировые методики сейчас работают с тремя видами результатов научной деятельности - это так называемые outputs, outcomes и impacts. Outputs - это то, с чем Минобрнауки в принципе уже работало: показатели публикационной активности, результаты в виде объектов интеллектуальной собственности (патенты, полезные модели), outcomes – это "отложенный" эффект от результатов outputs, когда дается оценка содержания публикаций, качественная прежде всего. Есть непосредственный результат, а есть отсроченный, и вот impacts - это уже долгосрочный результат в социально-экономической сфере, в общественной - то, что имеет прямое отношение к развитию страны.
Вот что касается двух последних групп - с ними, к сожалению, пока вообще работа по сути не велась и эти показатели никаким образом в Минобнауки не затрагивались - понятно, недостаточно специалистов, хотя если говорить о Штатах, то подобное разделение результатов там принято с 1993 года, а в ЕС, несмотря на их корректировки этих групп - с конца 2000-х. Важно также не забывать о недавнем опыте оценки МОНом эффективности деятельности вузов, - где, на мой взгляд, было несколько серьезных упущений.
Например, недостаточно были учтены направления деятельности вузов, отчего сильно пострадали педагогические вузы - которые в итоге вместе с вузами сельскохозяйственными почти по всем регионам попали в категорию неэффективных. Что уж говорить о творческих вузах, к которым просто неприменимы некоторые критерии, заложенные в тот мониторинг. Очень бы не хотелось повторения этих ошибок в нынешнем мониторинге.
Есть научные работы, разработки, публикации в этой области - и при желании можно ими воспользоваться, тем более, что сейчас сложилась такая ситуация, которая действительно позволяет изменить ситуацию с мониторингом, - основав его на глубоком анализе происходящего, с привлечением экспертов. Причем это вполне реально, даже несмотря на все проблемы с экспертизой в России, у нас отбор экспертов происходит по непрозрачным критериям (как недавно сказал Константин Сонин (РЭШ), "в российской экспертизе главная проблема не с ангажированностью экспертов – эксперт будет скорее дураком, чем жуликом").
Вопрос не в том, какая структура будет проводить мониторинг, а именно в том, каких специалистов привлекут к этому процессу. Внутренняя ли это комиссия РАН или выбранные министерством исполнители - главное, чтобы точкой отсчета стал профессиональный опыт привлеченных специалистов и экспертов. Их можно найти и в России, и за рубежом, они участвуют и в международных конференциях, публикуются в профильных научных журналах, их деятельность не скрыта.
Сейчас, на мой взгляд, подходящий момент для того, чтобы переломить ситуацию в этой области. Ситуация в Российской академии наук сдвинулась с мертвой точки, планируется реформа и избранный президент РАН готов к диалогу - самое время заняться не сведением счетов, а созданием профессиональной команды совместными силами РАН и Министерства. Звучит это, наверное, немного наивно, но другого сценария с позитивным для страны исходом пока не видно», - считает Григорий Зацман.
В свою очередь, Ирина Дежина, доктор экономических наук, заведующая сектором экономики науки и инноваций Института мировой экономики и международных отношений РАН, отметила ряд пробелов, допущенных при подготовке приказа Минобонауки.
«Из текста проекта следует, что вводится три новшества в оценке – ее вневедомственный характер, составление референтных групп институтов, а также изменение периодичности сбора данных. По всем трем пунктам есть недоговоренность. Вневедомственный характер оценки будет достигаться, как следует из документа, благодаря созданию Межведомственной комиссии по оценке результативности научных организаций. На нее возложено немало задач, включая определение минимальных значений показателей – что очень важно и во многом определяет результаты оценки. Поэтому отсутствие в тексте описания хотя бы принципов формирования такой комиссии и критериев отбора в нее персоналий – это существенный пробел.
Второй аспект – референтные группы и в целом принципы проведения оценки. Последнее можно понять, только прочитав пояснительную записку к проекту – из нее следует, что возможно привлечение экспертного сообщества, хотя, судя по контексту, оценка будет сугубо количественной по некому набору из 25-30 показателей. В связи с этим непонятно – будет ли сочетаться количественная и качественная оценка или нет? Если качественная оценка предусмотрена, то какая – только на этапе составления референтных групп или где-то еще?
При этом формирование референтных групп действительно требует тщательного экспертного подхода, поскольку сделать сопоставимыми области знаний, да еще и учесть характер проводимых работ, и при необходимости – «источники и механизмы финансирования, а также организационно-правовую форму научных организаций» - это очень непросто. Проект по формированию «Корпуса экспертов» – отличный пример того, насколько кропотливой является работа по классификации областей и подобластей знаний. Поэтому критерии отбора экспертов тоже должны быть как-то обозначены, в то время как, повторюсь, самого слова «эксперт» и его производных в проекте постановления вообще нет.
Третий аспект – периодичность оценки. Теперь данные будут собираться ежегодно, и это названо мониторингом, а оценка проводиться раз в пять лет. Насколько отличаются данные, собираемые ежегодно, от тех, по которым будет проводиться оценка раз в пять лет? Или они совпадают? Здесь можно строить предположения, но ясности в тексте нет. Дискуссионным является и сам вопрос о периодичности – будут ли собираемые сведения действительно использоваться ежегодно, или это еще одна нагрузка на организации?
До сих пор по разным аспектам научной жизни происходило утяжеление систем оценки и разного рода форм и метрик, но при этом серьезные решения об изменениях принимаются, судя по всему, в том числе и по недавнему проекту реформирования государственных академий, совсем по иным параметрам. Мониторинг и оценка – это всегда дорого стоит, и в пояснительной записке нет обоснования целесообразности роста таких затрат. Более того, сказано, что все эти процедуры не потребуют дополнительных бюджетных расходов. Значит, это будет чья-то дополнительная бесплатная работа или произойдет перераспределение имеющихся средств?
Таким образом, пока при чтении проекта возникает слишком много серьезных вопросов, и при этом изумляет внимание к некоторым мелочам – например, в тексте можно найти слова о необходимости «усиленной квалифицированной электронной подписи» при оформлении документов по оценке. Не раскрыты важные аспекты, а некоторым бюрократическим моментам придано особое значение», – заключила Дежина.
