29 марта 2024, пятница, 04:58
TelegramVK.comTwitterYouTubeЯндекс.ДзенОдноклассники

НОВОСТИ

СТАТЬИ

PRO SCIENCE

МЕДЛЕННОЕ ЧТЕНИЕ

ЛЕКЦИИ

АВТОРЫ

15 мая 2007, 12:00

Формальные показатели, их польза, вред и разумное место

«Полит.ру» публикует полную стенограмму семинара Семинара о стратегиях развития фундаментальной науки в России, прошедшего 26 декабря 2006 г. в МГУ. Его организаторами выступили ф-т биоинженерии и биоинформатики и проект Scientific.ru. Центральными проблемами, заявленными для обсуждения на семинаре, были: «Мировой уровень в науке: излишняя роскошь или ресурс развития страны? Технологии создания "точек роста": гранты? элитные центры? Как решить проблему воспроизводства научно-образовательных кадров?» На семинаре с докладами и сообщениями выступили зав. каф. Химической физики в Imperial College London, А. А. Корнышев, и авторы ряда предложений по реформированию науки в России, опубликованных в последние годы: А. В. Соболев, А. К. Казанский, Г. А. Цирлина, М. В. Фейгельман; один из основателей Scientific.ru и ведущий проекта Индекс цитирования российских ученых Б. Е. Штерн; бывший министр науки Б. Г. Салтыков; известный лингвист Р. М. Фрумкина; председатель Совета профсоюза работников РАН В. Ф. Вдовин. Семинар вел М. С. Гельфанд.

Михаил Гельфанд (МГ). Всё. Я прошу прощения. Борис Евгеньевич Штерн, здесь присутствует именно в качестве создателя неоднократно критикуемого списка наиболее цитируемых российских учёных. Насколько я понимаю, сейчас он объяснит, почему этот список еще хуже, чем все остальные про него думают.

Борис Штерн (БШ). Да, примерно так. Ну слава богу, мне уже не надо объяснять, что такое формальные показатели и индекс цитируемости, хотя формальных показателей, на самом деле, можно придумать много. Например, упомянутая в первом докладе скорость продвижения по карьерной лестнице – тоже формальный показатель. Значит, будем говорить в основном об индексе цитируемости. И об импакт-факторах.

Вообще мнения по поводу этих показателей просто полярны. От мнений о том, что без них у нас в науке будет полная непрозрачность и мафиозность, до мнений о том, что это полная ерунда и что индекс цитируемости накручивается жульническими методами. И в той, и в другой точке зрения есть доля правды. Конечно, индекс цитируемости очень сильно зависит от всяких вненаучных обстоятельств. Начнём с того, что это в значительной степени результат PR-активности учёного. Мало написать статью – просто так её не заметят. Ты должен ездить на конференции, общаться, убеждать, пропагандировать чтобы в конце концов начали хорошо ссылаться. Индекс цитируемости недооценивает пионерские статьи, особенно если они технически сложные. Индекс цитируемости поощряет мейнстрим, то есть работы преимущественно приличного среднего уровня. Есть такая проблема. Дело, опять же, во всяких «лейблах» человека: где он работает, какая у него позиция… Когда тот же российский человек приезжает в Америку, работает на том же уровне, на него начинают ссылаться в два раза больше. Всё это есть. Ошибочные работы, например, человек опубликовал ерунду и потом все его пинают, что он, например, завысил уровень значимости или что-нибудь в этом роде – и ссылаются на него тем самым.

Все эти проблемы реальны и касаются каждого из нас, но: когда мы просуммируем все эти ошибочные вещи, оказывается, что на самом деле индекс цитируемости конкретного человека очень сильно коррелирует с какими-то другими оценками его значимости, даже с академическим знанием, с вашими внутренними ощущениями. Ну например, в списке у нас по стране лидеры: Арнольд, Гинзбург, Гельфанд (математик), далее по-моему, Владимир Евгеньевич Захаров, это классик по солитонам, Фаддеев, Сюняев (кроме того, что сильный ученый – мастер по пиару своих работ). Если мы возьмём, скажем, институт, то там все эти ошибки ещё меньше. Но всё-таки определение индивидуального рейтинга человека – вещь довольно скользкая и опасная, потому что есть масса примеров, когда по всем отзывам блестящий учёный не набирает тысячи цитирований за всю свою биографию. То есть корреляция есть, но на эту корреляцию очень часто нельзя полагаться, если эта цифра не подкреплена дальнейшей оценкой качества.

Поэтому конечной инстанцией, конечно, должна быть человеческая экспертная оценка. Но – откуда мы её возьмём? Это, вообще, тяжёлый труд, квалифицированный труд, чреватый конфликтами интересов и прочими вещами. Кроме того, в какой ситуации мы сейчас находимся? Проблема в том, что для экспертной оценки должна существовать живая научная среда. У нас её в стране нет. Сильные учёные есть – научной среды нет; это моя презумпция (добавлю к тому, что говорил Михаил про несколько презумпций). Без этой среды система экспертных оценок не существует. Мы не доверяем никакой экспертизе, мы не доверяем частному мнению. Что делать? В этом плане формальные показатели – это то первое, нулевое приближение, за которое можно зацепиться.

Я в своё время, лет пять назад, занялся этим проектом, к чему люди относились по разному. Один из институтских начальников сказал: «Ты вообще чем занимаешься? Обычно такими вещами занимаются люди, не состоявшиеся профессионально, с тобой вроде всё в порядке, зачем ты этим занялся?» Именно затем, что эта формальная деятельность, списки людей с цифирью, висящие на всеобщем обозрении, способствуют тому, что пробуждается интерес: а кто там? а что там? что человек с такой цифрой сделал – почему у него такая цифра? Дальше начинается следующий этап; мне говорят: «Твой список плохой, потому что этот человек сделал на самом деле очень много, а у тебя его нет». Этот интерес, эти споры и есть начало возникновения научной среды. Кстати, начальники приходят и уходит, а научная среда – это нечто более долговременное.

Хорошо. Индекс цитируемости может сыграть полезную роль, если за него зацепиться, как за первоначальную систему координат. Но в нем есть опасность, как в телевизионных и читательских рейтингах, которые, вообще говоря, уродуют культуру, плодя попсу. Если абсолютизировать формальные критерии, они начнут несколько деформировать мотивацию научных исследований. И это происходит на Западе, например. В принципе можно сказать, что существует научная попса. Например: люди строят простые модели сложного явления, эти модели понятны студентам, с этими моделями легко играться; я могу привести такие примеры, скажем, с астрофизикой, но не буду. Наверняка люди из других областей тоже могут привести такие попсовые направления науки. Там легко нагоняется индекс цитирования, потому что работа простая, работ много и ссылок тоже много. Поэтому все равно от экспертных оценок не уйти. Любой показатель должен подкрепляться научным общественным мнением. Всё это должно быть пропущено через сознание, для чего должна сложиться некоторая научная среда, какой-то аналог гражданского общества.

Это несколько общих утверждений, теперь несколько слов о системе стимулирующих надбавок, которая наконец-то подписана и заработает. Была драка, все знают, что Президиум РАН был (и остается) резко против этой системы. Совет директоров испустил резкий документ, что «эта система основана на заявительном принципе, то есть научный сотрудник сам приходит в учёный совет и просит надбавки. Это недопустимо, потому что стимулироваться должны приоритетные направления". С моей точки зрения, эта цитата переводится просто: «начальству виднее, кого, за что и как стимулировать». Люди привыкли жить в этой системе ценностей, и переломить это очень сложно. И вообще, есть в головах у людей две модели науки: наша старая добрая командно-административная система (сейчас называется «вертикальная власть» или как угодно), другая – горизонтальная, где основным субъектом является не иерархия, а конкретный исследователь или конкретная группа и т. д. И эта система стимулирующих надбавок всё-таки работает скорее на вторую модель. Потому что она прозрачная: человек знает, за что он эту надбавку получит. Поэтому многие учёные, хотя и относятся к ней настороженно, но всё-таки принимают.

У системы стимулирующих надбавок тоже есть масса дыр, недостатков и т. д. Есть вполне обоснованные возражения, например: она не стимулирует этап подготовки какого-нибудь крупного эксперимента, скажем, если человек не публикует статей, но делает важную работу. Другое возражение: она стимулирует серость (точнее – хороший средний уровень), она не выделяет талантливых людей. Потому что, чтобы публиковаться в хороших журналах, достаточно хорошего среднего уровня. Люди, делающие что-то пионерское, скорее всего, публикуют меньше. Глупо требовать от одной системы всеобъемлющего эффекта. Эта система и имеет назначение подтянуть хороший средний уровень, приучить людей, что надо публиковаться в приличных журналах, и не более того. Она неполна. Значит, нужны системы дифференциации по достижениям. Нужна система грантов, в том числе и крупных грантов, которые поддерживали бы начальные этапы крупных мероприятий. На самом деле надо бороться за диверсификацию системы каналов финансирования науки. Чем больше разных каналов имеет система финансирования, тем она справедливей. Всё.

Николай Демченко (НД), ИПКОН РАН. Почему эти факторы должны входить в стимулирующую надбавку? Почему они не должны входить в квалификационную характеристику? Это же основная деятельность человека.

БШ. А почему нет? Ну, они должны быть помягче, но от человека нужно требовать определённого количества публикаций определённого уровня, иначе он не соответствует своей должности.

Из зала. У меня короткий вопрос. Нам Дмитрий Шапиро читал в своё время лекции исторические про четвёртое уравнение Максвелла. Максвелл думал над ним семь лет, и вроде он даже ничего не публиковал в промежутке. Потом появилось четвёртое уравнение Максвелла, решение его, как известно, электромагнитные волны, весь мир изумился. Понимаете, всё это не очень стыкуется. Тенденции типа MTV-Science, то, что Вы называли попсой научной.

БШ. Уникальные случаи выдающихся достижений должны оцениваться премиями. А не рутинным распределением зарплаты.

Из зала. Вся ваша система работает постфактум: человек должен сначала статью написать, рейтинг, только потом он стимулируется. Вопрос в том, как ему начать работу?

БШ. Я только что сказал, что эта система односторонняя и неполна. Есть два варианта: найти хорошего руководителя, который напишет, что ему нужен аспирант, либо самому апеллировать, писать проект, получать поддержку.

Из зала. Известно, что ограничение числа ссылок в журнале влечёт за собой элиминацию т. н. тоталитарных ссылок. В какой степени результаты расчета индекса цитирования зависят от политики редколлегии?

БШ. Редакционная политика, конечно, влияет.

Из зала. Как Вы приготавливаете списки цитируемых учёных?

БШ. Очень тупая и неприятная работа. С чего начинали? Списки авторов по физике и математике, и начинали прочёсывать. Цепочка по соавторам. Заявительный принцип: пишите, кого считаете нужным проверить. Сейчас способ уже более корректный – взяли выжимку за шесть лет статей, автоматическая обработка, и дальше людей с числом более 70 цитирований за 6 лет – а таких было пять тысяч – проверял вручную. Из них 600 человек прошли отбор.

Самохин, ИОФ РАН. Вы правильно, с моей точки зрения отметили плюсы и минусы этой системы. Не могли бы Вы привести пример крайне неадекватной ситуации с индексом цитирования?

БШ: Например, астрофизик (не наш) с индексом цитирования 30000, выпускает сто статей в год, с коллективом из соавторов 5-6 человек, которые всё время меняются. Но он действительно приличный ученый, хотя его роль в этих статьях ничтожна. Но вот такой он человек. Есть другое: Александр Васильев, недавно умерший, из Ленинградского университета, мнения о нём высочайшие, но он с трудом набрал к концу жизни 1000 цитирований. Он публиковался только в наших журналах, малоизвестных на Западе, создал великолепную школу. Вот это пример обратной ситуации.

(А. К. Казанский пытается дать комментарий)

Выступления на семинаре

Редакция

Электронная почта: polit@polit.ru
VK.com Twitter Telegram YouTube Яндекс.Дзен Одноклассники
Свидетельство о регистрации средства массовой информации
Эл. № 77-8425 от 1 декабря 2003 года. Выдано министерством
Российской Федерации по делам печати, телерадиовещания и
средств массовой информации. Выходит с 21 февраля 1998 года.
При любом использовании материалов веб-сайта ссылка на Полит.ру обязательна.
При перепечатке в Интернете обязательна гиперссылка polit.ru.
Все права защищены и охраняются законом.
© Полит.ру, 1998–2024.