Публикуем статью зам. директора ИППИ РАН, доктора биолог. наук, кандидата физико-математических наук Михаила Гельфанда, посвященную системе оценке научных организаций. Статья была опубликована в газете "Троицкий вариант", №13N, 30 сентября 2008 г.
На позапрошлой неделе Минобрнауки опубликовало проект правительственного постановления «Об оценке результативности научных организаций Российской федерации». В проекте и прилагаемом к нему документах указывается, что результаты оценки будут использоваться при определении перечня и объемов финансирования научно-исследовательских, опытно-конструкторских и технологических работ, а также для оптимизации сети научных организаций.
Для проведения последней будет произведено ранжирование научных организаций в соответствии с перечисленными показателями, а затем отнесение их к одной из нескольких категорий: подлежащих ликвидации или реструктуризации, либо, наоборот, повышению статуса и уровня финансирования. При этом ранжирование проводится независимо в так называемых «референтных группах», которые в настоящее время определены в зависимости от области науки. Показатели результативности собраны в семь больших блоков: собственно научный (публикации и т.п.), прикладной, репутационный («вовлеченность в научное сообщество»), кадровый, ресурсный, финансовый и «перспективный», причем веса оценок по блокам в суммарном показателе зависят от «референтной группы»: у физиков и математиков наибольший вес имеют публикации, у биологов – публикации и коммерциализация, у инженеров – коммерциализация и ресурсная обеспеченность.
Само по себе использование для оценки академических и отраслевых институтов, ГНЦ и т.п. единой четкой процедуры с большим количеством объективных параметров представляется совершенно разумным шагом – и в любом случае, это существенный шаг вперед по сравнению с произволом, который царит сейчас. В то же время, все это – даже если сделать оценку безукоризненно точно – сведется просто к перераспределению потоков сметного финансирования и не решит основной проблемы: отсутствия прозрачной конкурентной среды. Министерство упорно не хочет признавать, что основным действующим субъектом в науке является не целый институт, а лаборатория или научная группа (сразу оговорюсь, что я не имею в виду институты, живущие вокруг одной большой установки – ускорителя или телескопа, и институты, чаще всего в закрытых областях, создаваемые для решения конкретной технической задачи). А полабораторное сметное финансирование невозможно – никаких бухгалтеров не хватит. И потому для фундаментальной науки необходимо грантовое финансирование, а для отраслевой – проектное.
Как бы то ни было, проект опубликован и предложен к обсуждению. Мне кажется, что можно поставить авторам документа в заслугу то, что они достаточно последовательно пытались выдержать принцип объективности и прозрачности, хотя это и не всегда удалось. В то же время, ряд предложений могут оказаться просто вредными и должны быть пересмотрены.
Основные возражения вызывает предложенный авторами способ деления научных организаций на «референтные группы», внутри которых происходит ранжирование. Сейчас это сделано чисто по отраслевому признаку. Тем самым, например, все биологические институты, будь то молекулярно-биологические, зоологические и ботанические или же чисто прикладные биотехнологические оказываются в одной группе и должны соревноваться друг с другом. С другой стороны, физические институты, которые дают основную массу российских инноваций, оказались в одной группе с математическими, и их оценка в основном зависит от публикационных критериев.
Эту коллизию просто разрешить. Достаточно сделать три-четыре набора весовых параметров («фундаментальный», «прикладной», «смешанный», возможно, какие-то еще) и предложить организациям самим решать, какой набор должен применяться для их оценки и, соответственно, к какой референтной группе они себя относят. При этом отраслевое деление, по-видимому, все же должно сохраниться.
Другой существенной проблемой является присутствие в списке большого числа бессмысленных пунктов. Примеров этому довольно много, приведу лишь самые характерные: число официальных научных школ (в каком смысле «официальных»? – если имеются в виду, получившие одноименный грант, то проблема в том, что соответствующий конкурс был конкурсом только по названию); наличие концепции привлечения и удержания научных кадров высокой квалификации (а что, без концепции никак нельзя? – ну, напишут все ученые секретари по концепции); основные сложности при поиске и привлечении высококвалифицированных научных кадров (этот пункт вообще выглядит как строка из социологического опроса); описание концепции, условий и т.п. продвижения молодых ученых (опять концепция – это уже зам. директора писать, чтобы по справедливости); оценка перспектив потенциала исследовательского поля (sic! – кто бы объяснил, что это такое), распределение научных сотрудников по полу с разбивкой по подразделениям (господибожемой, а это еще зачем?). Ну и так далее. Больше всего таких пунктов в разделе «Кадровая обеспеченность организации», но встречаются и в других. Тут решение, по-видимому, довольно простое: их надо просто исключить.
Заодно и вопросник станет короче: сейчас в около сотни пунктов, и еще подпункты. Многие пункты следует уточнить: скажем, следует учитывать надо не наличие в организации базовых кафедр вузов (кафедра может быть чисто бумажной), а количество выпускников этих кафедр и курсов лекций, читаемых сотрудниками организации, при этом не обязательно на базовой кафедре, но обязательно по профилю.
Странная ситуация создается при учете ресурсов. Сейчас показатели ресурсовооруженности просто складываются с показателями результативности (с соответствующими весами, своими в каждой референтной группе). Таким образом, получается, что институт, сделавший сто статей на пяти приборах, и институт, сделавший пять статей на ста приборах, получат одни и те же 105 баллов. С другой стороны, для чисто прикладного, отраслевого учреждения недостаточность и устарелость ресурсов вполне может быть поводом к жесткому реформированию: как в известном анекдоте, иногда бывает проще «новых наделать, чем этих помыть». Ясно, что простыми арифметическими манипуляциями эту проблему не решить.
Вообще, стремление авторов проекта свести все, в конечном счете, к одному, единому, суммарно-тотальному показателю кажется не вполне оправданным. Да оно и не получается: в проекте «Типовой методики оценки результативности» авторы выписывают рецепты с учетом научного профиля организации и в зависимости не столько от суммарного показателя, сколько от баллов по отдельным блокам. Какие же предложения можно сделать, кроме учета сказанного выше и существенной чистки списка показателей.
Во-первых, разумной кажется идея разделения оценивающей экспертной комиссии, которая выносит заключение об уровне организации и её перспективах, и органа, принимающего решение на основе этого заключения.
Во-вторых, в первое время система должна работать «на холостом ходу»: данные – собираться и публиковаться, причем со всеми подробностями – это обязательно (разумеется, кроме составляющих государственную или коммерческую тайну), показатели – вычисляться и сверяться со здравым смыслом. Пока система оценки не пройдет этого этапа уточнения формул и формулировок, принимать на ее основе серьезные решения нельзя.
В-третьих, помимо анкеты для организаций должен быть сделан и тщательно отработан экспертный вопросник, в котором указывались бы как выставляемые баллы, так и их обоснование. Структура этого вопросника должна в общем повторять анкету организации, но пункты его должны быть сформулированы иначе.
В-четвертых, должны быть разработаны процедуры сбора информации с указанием ответственных как в организациях, так и в проводящих оценку ведомствах, а также регламенты работы комиссии по оценке и проведения самой экспертизы. В частности, должны быть сформулированы принципы отбора экспертов и квалификационные критерии для них, а также определение конфликта интересов. При экспертизе открытых учреждений следует широко использовать зарубежных экспертов, как из российской научной диаспоры, так и иностранных.
Ну и последнее. Заполнение пунктов, связанных с публикациями, требует знания импакт-факторов и показателей цитируемости. Авторы проекта предлагают брать их из баз данных SCI (Science Citation Index) и SCOPUS. Это правильно – отечественный аналог, РИНЦ (российский индекс научного цитирования), пока еще находится в настолько зачаточном состоянии, что не может быть использован ни в каких серьезных целях. Дело за малым: надо подписать все российские научные учреждения на Web of Science.
Использованы материалы дискуссии на форуме scientific.ru и круглого стола, проведенного 19 сентября Минобрнауки, Фондом «Открытая экономика» и Высшей школой экономики (http://www.strf.ru/organization.aspx?CatalogId=221&d_no=15594)
Наталия Демина. Научные организации, на категории рассчитайсь!
Материалы на сайте Strf.ru:Пакет документов по оценке результативности научных организаций государственного сектора включает в себя четыре документа:
