Адрес: https://polit.ru/article/2008/09/30/mon190908/


30 сентября 2008, 20:39

Научные организации, на категории рассчитайсь!

-- Один -- это я, два -- это Теленок, три -- это Корова, четыре -- это Бык.
Один, два, три, четыре! -- сказал Козленок.

19 сентября 2008 года, в  зале Коллегии Министерства образования и науки РФ, состоялся круглый стол, посвященный обсуждению проектов документов по оценке результативности научных организаций в России. Отсутствие свободных мест вызвало и удивление, и радость у нового заместителя Министра образования и науки Александра Хлунова. Он отметил, что интерес коллег, наверное, вызван важностью заявленной темы.

Действительно, значимость будущих решений нельзя недооценивать. Ведь в скором времени все 2500 научных государственных организаций России будут регулярно проходить через единую систему оценки их деятельности, учитывающую сложную систему количественных показателей.  Предполагается, что данная система должна повысить эффективность работы российских НИИ, перераспределив финансовые потоки от слабых организаций и ученых – сильным и конкурентоспособным.

Представленные на суд ученых и руководителей научных организаций документы были разработаны Минобрнаукой на основании поручения Президента и Правительства РФ, а затем прошли обсуждение на Правительственной комиссии по высоким технологиям и инновациям. Немного удивило то, что заявленные подходы сначала обсуждались наверху, и только через две недели спустились к научному сообществу, которое через свои организации и станет объектом оценивания. Означает ли такая процедура обсуждения проекта, что какими бы ни были итоги дискуссии на Круглом столе и последующие замечания ученых, принципиальных изменений проекта ожидать не приходится?

Проект оценки научных организаций был представлен в докладах разработчиков проекта: директора Департамента государственной научно-технической политики Минобрнауки Александра Наумова и первого проректора, директора Института статистических исследований и экономики знаний ГУ-ВШЭ Леонида Гохберга.

А. Наумов и Л. Гохберг привели неутешительные данные статистики деятельности научных организаций. Было отмечено, что на сегодняшний день финансирование гражданской науки достигло 127 млрд. рублей, что позволяет говорить не только о выживании, но и развитии российской науки. В России, по данным Росстата, работают более 3,5 тысяч научных организации, из них более 2,5 тысяч научных организаций – государственные. Однако лишь 0,3% мирового рынка высокотехнологичной продукции – исчезающее малая величина – принадлежат нашей стране (объём экспорта равен 0.5 млрд. долларов), в то время как Сингапур, Корея,  Тайвань имеют доли в 4-8%.

Россия занимает 14-ое место по публикационной активности (2.03% всех научных публикаций мира) и с каждым годом её показатели снижаются (1980 – 3-е место, 1995 –7-е место). За это время Китай передвинулся на пятое место, и ожидается, что по итогам 2007 г. он займет третье-четвёртое место

Такая низкая эффективность вложений в науку побудила Министерство образования и науки к тому, чтобы ввести новый инструмент оценки и ранжирования  научно-инновационного потенциала государственных научных организаций.

А. Наумов подчеркнул, что Россия начинает идти по этому пути фактически с 30-летним опозданием. Свои системы оценки эффективности НИИ уже давно существуют в большинстве стран Европы (Германия, Нидерланды, Франция, Великобритания и т.п.), в Японии и США, а также были введены в Казахстане, Беларуси и Молдове. Вместе с тем, директор Департамента считает, что в этом отставании есть и преимущество: «мы можем воспользоваться теми результатами, которые есть в мировом опыте, и взять за основу то, что уже апробировано и показало свою результативность».

Он обратил внимание на то, что оценку эффективности НИИ будут проводить сами ученые: «Предлагаемая система оценки не есть инструмент в руках чиновника… Она предназначена для использования научным сообществом. В результате …бюджетное финансирование должно перераспределяться от неэффективных научных организаций к наиболее успешным, создавать им дополнительные возможности для прорыва».

А. Наумов сообщил, что при федеральных органах исполнительной власти и госакадемиям наук, в подчинении которых работают научные организации, будут созданы комиссии по оценке. Основными функциями Комиссий по оценке результативности станут: сбор и анализ информации, формирование состава экспертов, рассмотрение и разрешение спорных ситуаций, утверждение оценочных  заключений и рекомендаций по действиям в отношении нее, представление утвержденных оценочных заключений, рекомендаций (по запросу).

В свою очередь, Л. Гохберг выразил убеждение, что при внедрении этой системы оценки в России необходимо опираться на репутацию тех экспертов, которые будут работать в комиссиях, их компетентность, авторитет и независимость, отсутствие личной заинтересованности в результатах оценивания. Впрочем, судя по предложенным документам, все эти благие пожелания могут остаться только на бумаге. Принципы должны подкрепляться процедурами, а они или не прописаны или говорят совсем об обратном.

Так, согласно проекту Типового положения, комиссии будут формироваться из представителей федерального органа исполнительной власти или государственной академии наук, видных ученых, представителей бизнеса, являющихся получателем продукции соответствующих научных организаций, и заинтересованных некоммерческих и общественных организаций. В проекте ничего не сказано о том, в каком соотношении это представительство будет осуществляться, и не получится ли так, что от науки и бизнеса будет 2-3 «свадебных генерала», а всю работу и все выводы сделают представители власти или госакадемий. Кто и как будет решать, кого включать и кого не включать – непонятно.

Состав комиссий будет утверждаться сроком на три года. Решение на комиссиях будет приниматься простым большинством голосов, а при их равенстве голос Председателя комиссии станет решающим. Кто и как будет избирать или назначать Председателя – не сказано. Радует, что в Положении предусмотрен принцип ротации кадров: одни и те же лица не могут входить в состав Комиссии более двух сроков подряд, хотя и за шесть лет можно сделать как много полезного, так и «наломать дров». Как будет и будет ли вообще оцениваться работа самих комиссий и его председателей – так же не сказано.  По-видимому, считается, что сбор, взвешивание и интерпретация количественных показателей не оставляет много места для субъективности и произвола.

Комиссии смогут привлекать к своей работе от 3 до 5 экспертов, на конфиденциальной основе. Согласно положению ими смогут стать активно работающие ученые, подтвердившие свои квалификацию и компетенцию результатами своей работы, но опять же – выбор экспертов целиком и полностью зависит от вкусов и целеполагания руководства Комиссий, которое, в свою очередь, будет назначаться (?) федеральным органом исполнительной власти или госакадемией.

Предполагается, что полученные Комиссиями данные о результативности научных организаций потом будут использованы федеральными органами исполнительной власти и академиями наук при принятии управленческих решений, что позволит «убедительно обосновывать эти решения перед научным сообществом. Что, в свою очередь, позволит избежать в будущем ситуаций с большим числом писем научных сотрудников … по поводу необоснованности и неясных критериев сокращения численности или ликвидации научных организаций».

Л. Гохберг отметил, что существующие ныне экспертные процедуры носят, как правило, «весьма субъективный закрытый характер и часто не базируются на открытых количественных методах. С другой стороны, ведомственные системы даже там, где происходит подобного рода оценивание, носят закрытый характер. Скажем, традиционная отчётность – финансовая, статистическая и прочая – практически не привязана к индикаторам результативности». Предлагаемый проект призван эти недостатки устранить.

В ходе Круглого стола прозвучала информация, что в 2006–2007 годах Минобрнауки был реализован пилотный проект по статистическому оцениванию результативности 119 научных организаций (включая государственные научные центры, организации РАН), а Физико-технический институт им. Иоффе апробировал предлагаемую методику у себя в институте, создал комиссию по оценке, прошел через все рекомендуемые процедуры. Всё это позволило внести необходимые изменения, протестировать целый ряд новых подходов к применению тех или иных статистических измерителей.

Л. Гохберг сообщил, что по результатам тестирования было выявлено четыре кластера организаций: «Национальные лидеры», «Фундаментальный профиль», «Ведомственный профиль» и «Аутсайдеры» (названия условные), что можно в какой-то степени проецировать и на все научные госорганизации России. Если в выборке из 119 организаций первых оказалось всего 16%, то последних аж 38%. Фундаментальных и ведомственных почти поровну – 24 и 22%. «Если в первой группе все показатели …достаточно высоки, то вторая группа отличается высоким качеством научных исследований, но низкой устойчивостью. Третья группа отличается низким качеством исследований, высокой обеспеченностью ресурсами и высокой продуктивностью – в терминах, иных, нежели публикации результатов», – пояснил Гохберг. У группы аутсайдеров все показатели находились на самых нижних отметках.

В заключение своего содоклада Директор Института статистических исследований и экономики знаний привел два примера организаций, прошедших через пилотное тестирование. У одной из них оказалось 0,2 патента в расчёте на 100 исследователей, 0 (нуль) международных контрактов, лишь 13% исследователей, имеющих учёные степени, при этом почти 80% бюджета приходит из федерального бюджета и зарплата сотрудников достаточно высока (33 тыс. рублей). У другой организации есть «и гранты, и масса научных публикаций, и международные контракты, 71 сотрудник обладает патентами», при этом зарплата в 2,5 раза ниже, чем в первой организации, 48% средств дает бюджет, 26% – бизнес, а 25% – международные источники. «Что государство должно делать [в этом случае]? Должно ли оно предъявлять к ним равные требования, и равным образом подходить к развитию?», – задал Гохберг риторический вопрос.

По его мнению, при принятии решений по отношению к неэффективным научным организациям, стоит обратить внимание на опыт CNRS во Франции, где по итогам оценивания лаборатория не закрывается, а просто лишается статуса. Подобное ведет к колоссальным репутационным, а, значит, и финансовым последствиям. Эти организации никогда уже не получат никаких государственных заказов, а их сотрудники не приглашаются на престижные международные конференции, не имеют возможности подавать заявки на гранты и так далее. «Далее вопрос уже решается на рынке: могут ли эти организации выжить за счёт …альтернатив или нет?».

Л. Гохберг подчеркнул, что «ни в коем случае …нельзя абсолютизировать ни количественные оценки, ни экспертные оценки». Системы оценки в ведущих странах мира «выстраиваются в довольно сложных системах взаимодействия между государством, научным и экспертным сообществами с участием бизнеса. Критерии, индикаторы, выводы носят достаточно мягкий, гибкий характер, а решения принимаются …не в лоб».

Согласно проекту Порядка оценки, «по результатам интерпретации состояния показателей» все научные организации будут ранжированы на 4 категории. В 1-ую войдут те самые аутсайдеры – научные организации, утратившие научный профиль и перспективы развития, в отношении которых могут быть проведены преобразование, реорганизация или ликвидация, а их ресурсы (кадровые или материально-технические), находящиеся в хорошем состоянии, переданы под управление других научных организаций. Во 2-ую – научные организации, нуждающиеся в проведении реорганизации в соответствии с законодательством РФ (или изменению типа – для научных учреждений). В 3-ую категорию запишут стабильные научные организации, демонстрирующие удовлетворительную результативность. В 4-ую категорию включат научные организации-лидеры, что позволит им претендовать на дополнительное финансирование и на получение особого правового статуса (национального  исследовательского  центра, государственного научного  центра или  федерального центра науки и высоких технологий).

Интересно, что в Типовой методике оценки отмечается, что «для организаций в области гуманитарных наук основным критерием ресурсной несостоятельности следует считать недостаток кадровых ресурсов. Если по данным показателям организация имеет минимальный балл, по всему блоку ресурсов организацию следует считать имеющей минимальный балл».  При этом в методике в качестве первых показателей оценки состояния кадров выступают распределение научных сотрудников по полу и наличие концепции (плана) привлечения и удержания научных кадров высокой квалификации, что вызвало справедливую иронию в ходе обсуждения. Непонятно, какое соотношение М и Ж будет считаться приемлемым и почему оно так важно для кадровой состоятельности. Концепцию же удержания кадров и систему внутреннего премирования руководство научных организаций напишет и введет за 2 дня, если узнает, что они нужны для получения дополнительных баллов.

После выступления разработчиков в адрес проекта прозвучали как слова поддержки, так и резкой критики. Как отметил Михаил Гельфанд, зам. директора по науке Института проблем передачи информации РАН, идея перехода к единой системе оценки очень здравая, и «является практически единственным способом ухода от …произвола в принятии решений, который в значительной степени присутствовал все предыдущие годы». Он считает, что список предложенных параметров оценки относительно разумен и призвал к максимально возможной (с учетом коммерческой и государственной тайны) открытости при публикации данных по оценке (см. также статью М. Гельфанда "Правильный шаг в неправильном направлении").

Однако, по его мнению, авторы проекта допустили две основные ошибки. Во-первых, предложенная система оценки не предполагает никакой конкурсности, в ее рамках будет происходить лишь перераспределение сметного финансирования в рамках нового «социалистического соревнования по 137 параметрам» и ничего не будет делаться в направлении развития конкурсной и грантовой систем и проектного финансирования. Во-вторых, в предлагаемой системе оценки единицей финансирования по-прежнему являются институты, хотя настоящими научными единицами, за редким исключением, следует считать лаборатории и научные группы. В современных российских научных организациях уровень лабораторий  и групп очень неравномерен: от очень слабых до международного уровня, а оптика предложенной системы не позволяет эту разницу учесть и увидеть.

М. Гельфанд, как и многие выступившие позднее, отметил, что предлагаемой в проекте разбиение научных организаций на типовые референтные группы очень «кривое». Действительно, в Типовой методике предполагается оценивать все научные организации в зависимости от их референтных групп (академическая наука, ГНЦ, ведомственные НИИ и вузы) – показатели разных групп будут иметь разные веса (5, 10, …, 30) для той или иной группы статистических показателей, показатели внутри одной группы – одни веса. Разработчики поделили, в частности, все академические организации на физико-математическое, естественное, инженерное и социально-гуманитарное направления, предположив, что внутри этих областей все институты в своей деятельности обладают одинаковыми характеристиками. Так, обо всех физмат организациях написано, что они «характеризуются преобладанием фундаментальных исследований…, слабой прикладной ориентацией…», а о естественниках, биологах и химиках, что для них «характерно гармоничное сочетание фундаментальных и прикладных исследований», все же государственные научные центры отнесли к прикладному направлению. О некоторых государственных научных организациях: музеях, ботанических садах и библиотеках в этом разделении просто забыли. Участники дискуссии отмечали, что нельзя оценивать науку только исходя из её деления на дисциплины или отношения к ведомствам, что не все физики занимаются фундаментальной наукой, а все биологи, напротив, прикладной, и деление на группы должно быть более детальным и продуманным.

Александр Асеев, новоизбранный председатель Сибирского отделения РАН, директор Института физики полупроводников РАН, отметил, что Сибирское отделение уже давно ранжирует институты по трём макропоказателям: качеству и количеству публикаций, финансовому положению и подготовке кадров (т.е. наличию молодых сотрудников и пр.). Он призвал разработчиков проекта к тому, чтобы в погоне за продуктивностью и результативностью не выплеснуть «с водой и ребенка», т.е. те научные институты (например, Институт космофизики и аэрономии в Якутске, Институт солнечно-земной физики в Иркутске, Институт оптики и атмосферы в Томске), которые занимаются направлениями, не самыми востребованными сейчас, но важными для будущего (для освоения полярных регионов побережья Северного Ледовитого океана и др.). Асеев также подчеркнул, что, несмотря на более устойчивое положение науки в России, паритет в финансировании российской науки и зарубежной пока не достигнут, а «нам предлагают использовать систему оценок, которая существует в развитых странах».

Проведенное разработчиками тестирование на 119 организациях можно было бы считать его большим плюсом, если бы данные о тестировании в более-менее полном виде были бы представлены на суд научной общественности. Пока же представители Минобрнауки говорят о том, что раскрыть названия прошедших оценку институтов и результаты не могут, что на это нужно спрашивать разрешения у Академии наук. Таким образом, о настоящем peer review проекта говорить не приходится.

Все это дало повод ученым усомниться в корректности методики представленного проекта. Андрей Финкельштейн, директор Института прикладной астрономии РАН, предложил протестировать предложенную методику до её внесения в правительство на российских астрономических организациях и сравнить полученные выводы с оценками тех же организаций международными экспертами, например, Национальной астрономической лаборатории США. Он рассказал о том, что попытался оценить по методике те организации, которые он хорошо знает и чьи отчеты открыты. В итоге он был потрясен тем, что «одна из крупных астрономических организаций в стране оказалась …на последнем месте, а совершенно незначительная организация …не в центральной части России, оказалась среди передовых».

О необходимости корректировки методики на основе её тестирования на организациях-лидерах говорил и Алексей Дуб, генеральный директор ГНЦ «ЦНИИТМАШ». Иначе получается, что «мы пытаемся сначала что-то формализовать, а потом под эту формализацию подстроить реальную жизнь», – заявил он. Он также высказался за то, чтобы запрашиваемые методикой показатели учитывали не только статику, но и динамику развития, количество и эффективность использования вложенных государством средств: одной организации дали много денег, другой мало, а результаты совпадают, кого же в этой ситуации поддерживать дальше?

Михаил Данилов, заместитель директора Института теоретической и экспериментальной физики, отметил, что предложенные в проекте критерии сложны, непонятны и подчас дублируют друг друга. По его мнению, «для научных организаций фундаментального профиля достаточно иметь один критерий – это соответствие международному уровню в данной области. Этот уровень вполне легко определить по цитируемости и по числу и качеству выступлений на конференциях, а будущее организации оценить по наличию молодёжи, по уровню интегрированности науки и образования, и [учитывать] не только количество, но и качество молодёжи». Он также призвал доработать процедуру экспертной оценки и вместо пары «секретных экспертов» создавать экспертные комитеты, в которые бы вошли и международные эксперты.

Сергей Егоров, заместитель проректора МГУ им. М.В. Ломоносова, руководитель отдела международной и региональной кооперации в научной и инновационной сфере, отметил, что, несмотря на слова о том, что комиссии по оценке должны создавать «минимальную дополнительную нагрузку на оцениваемые научные  организации», все запрашиваемые в методике показатели составят один большой том в дополнение к тем, что МГУ предоставляет Счетной палате, Госстату и другим проверяющим организациям. Он высказал пожелание, чтобы вся собираемая статистика была бы унифицирована и в её сборе наблюдалась бы некоторая преемственность.

В заключение Круглого стола, Борис Салтыков, президент ассоциации «Российский дом международного научно-технического сотрудничества», министр науки и технической политики РФ в 1991-1996 гг., отметил, что в любом из возможных методов оценки эффективности деятельности организаций: «живой и субъективной экспертизе» и детальном исследовании всех количественных статистических показателей есть свои достоинства и недостатки, свои «волчьи ямы». Он призвал не кошмарить НИИ, требуя от них заполнения больших томов отчетов, а найти «золотую середину».

По его мнению, главными показателями для фундаментальной науки должны быть, прежде всего, публикационная активность, цитируемость, определяемая как по зарубежным индексам цитирования, так и по Российскому индексу (РИНЦ), а для прикладной науки – состояние приборной базы и востребованность патентов. Он предложил авторам проекта существенно сократить число показателей, данные по которым будут запрашиваться у научных организаций, так чтобы работа по оценке была понятной, прозрачной и не требовала непомерных бюрократических усилий. Б. Салтыков также высказался за то, чтобы к оценке работы научных организаций привлекли Корпуса независимых экспертов, работа по созданию которых уже идет в области физики и астрономии.

Резюмируя итоги дискуссии, заместитель министра Александр Хлунов отметил, что обсуждаемая система оценки вовсе не направлена на то, чтобы «кошмарить научное сообщество», а нацелена на поддержку ученых, работающих на мировом уровне науки, на повышение эффективности и результативности научных исследований. «Это только начало пути по отработке предоставленного проекта методики оценки», – сказал он и призвал всех заинтересованных лиц отправлять свои конструктивные предложения по улучшению методики на электронный адрес Министерства (sudarikov@mon.gov.ru).

Несмотря на прозвучавшие заявления о том, что данный пакет документов представлен на широкое обсуждение научного сообщества, А. Хлунов предложил завершить дискуссию через 15 дней (начиная с 20 сентября). Такой короткий срок вызван тем, что в конце октября  Министерство науки и образования должно завершить доработку проекта и представить его для утверждения в Правительство РФ (проект правительственного постановления).

Получается, что создатели проекта не готовы к кардинальному пересмотру подходов к проекту, считают его правильным и заинтересованы в исправлении лишь мелких недочетов. Это подтвердил нам и один из участников Круглого стола, который, впрочем, не выступал и пожелал остаться неизвестным, заявивший о том, что в течение двух лет участвует в подобных обсуждениях, и ни разу не видел случая, когда Министерство существенным образом учло бы прозвучавшую критику. По его мнению, эти обсуждения устраиваются скорее для «выхода пара», чем для реальной обратной связи с научным сообществом. «Полит.ру» будет следить за развитием событий.

Иллюстрация художника Н. Харлампиевой из сказки А. Прейсена "Козленок, который умел считать до 10".

См. также:

Пакет документов по оценке результативности научных организаций государственного сектора включает в себя четыре документа (с сайта Strf.ru):