Полiт.ua Государственная сеть Государственные люди Войти
27 марта 2017, понедельник, 09:42
Facebook Twitter LiveJournal VK.com RSS

НОВОСТИ

СТАТЬИ

АВТОРЫ

ЛЕКЦИИ

PRO SCIENCE

СКОЛКОВО

РЕГИОНЫ

Формальные показатели, их польза, вред и разумное место

«Полит.ру» публикует полную стенограмму семинара Семинара о стратегиях развития фундаментальной науки в России, прошедшего 26 декабря 2006 г. в МГУ. Его организаторами выступили ф-т биоинженерии и биоинформатики и проект Scientific.ru. Центральными проблемами, заявленными для обсуждения на семинаре, были: «Мировой уровень в науке: излишняя роскошь или ресурс развития страны? Технологии создания "точек роста": гранты? элитные центры? Как решить проблему воспроизводства научно-образовательных кадров?» На семинаре с докладами и сообщениями выступили зав. каф. Химической физики в Imperial College London, А. А. Корнышев, и авторы ряда предложений по реформированию науки в России, опубликованных в последние годы: А. В. Соболев, А. К. Казанский, Г. А. Цирлина, М. В. Фейгельман; один из основателей Scientific.ru и ведущий проекта Индекс цитирования российских ученых Б. Е. Штерн; бывший министр науки Б. Г. Салтыков; известный лингвист Р. М. Фрумкина; председатель Совета профсоюза работников РАН В. Ф. Вдовин. Семинар вел М. С. Гельфанд.

Михаил Гельфанд (МГ). Всё. Я прошу прощения. Борис Евгеньевич Штерн, здесь присутствует именно в качестве создателя неоднократно критикуемого списка наиболее цитируемых российских учёных. Насколько я понимаю, сейчас он объяснит, почему этот список еще хуже, чем все остальные про него думают.

Борис Штерн (БШ). Да, примерно так. Ну слава богу, мне уже не надо объяснять, что такое формальные показатели и индекс цитируемости, хотя формальных показателей, на самом деле, можно придумать много. Например, упомянутая в первом докладе скорость продвижения по карьерной лестнице – тоже формальный показатель. Значит, будем говорить в основном об индексе цитируемости. И об импакт-факторах.

Вообще мнения по поводу этих показателей просто полярны. От мнений о том, что без них у нас в науке будет полная непрозрачность и мафиозность, до мнений о том, что это полная ерунда и что индекс цитируемости накручивается жульническими методами. И в той, и в другой точке зрения есть доля правды. Конечно, индекс цитируемости очень сильно зависит от всяких вненаучных обстоятельств. Начнём с того, что это в значительной степени результат PR-активности учёного. Мало написать статью – просто так её не заметят. Ты должен ездить на конференции, общаться, убеждать, пропагандировать чтобы в конце концов начали хорошо ссылаться. Индекс цитируемости недооценивает пионерские статьи, особенно если они технически сложные. Индекс цитируемости поощряет мейнстрим, то есть работы преимущественно приличного среднего уровня. Есть такая проблема. Дело, опять же, во всяких «лейблах» человека: где он работает, какая у него позиция… Когда тот же российский человек приезжает в Америку, работает на том же уровне, на него начинают ссылаться в два раза больше. Всё это есть. Ошибочные работы, например, человек опубликовал ерунду и потом все его пинают, что он, например, завысил уровень значимости или что-нибудь в этом роде – и ссылаются на него тем самым.

Все эти проблемы реальны и касаются каждого из нас, но: когда мы просуммируем все эти ошибочные вещи, оказывается, что на самом деле индекс цитируемости конкретного человека очень сильно коррелирует с какими-то другими оценками его значимости, даже с академическим знанием, с вашими внутренними ощущениями. Ну например, в списке у нас по стране лидеры: Арнольд, Гинзбург, Гельфанд (математик), далее по-моему, Владимир Евгеньевич Захаров, это классик по солитонам, Фаддеев, Сюняев (кроме того, что сильный ученый – мастер по пиару своих работ). Если мы возьмём, скажем, институт, то там все эти ошибки ещё меньше. Но всё-таки определение индивидуального рейтинга человека – вещь довольно скользкая и опасная, потому что есть масса примеров, когда по всем отзывам блестящий учёный не набирает тысячи цитирований за всю свою биографию. То есть корреляция есть, но на эту корреляцию очень часто нельзя полагаться, если эта цифра не подкреплена дальнейшей оценкой качества.

Поэтому конечной инстанцией, конечно, должна быть человеческая экспертная оценка. Но – откуда мы её возьмём? Это, вообще, тяжёлый труд, квалифицированный труд, чреватый конфликтами интересов и прочими вещами. Кроме того, в какой ситуации мы сейчас находимся? Проблема в том, что для экспертной оценки должна существовать живая научная среда. У нас её в стране нет. Сильные учёные есть – научной среды нет; это моя презумпция (добавлю к тому, что говорил Михаил про несколько презумпций). Без этой среды система экспертных оценок не существует. Мы не доверяем никакой экспертизе, мы не доверяем частному мнению. Что делать? В этом плане формальные показатели – это то первое, нулевое приближение, за которое можно зацепиться.

Я в своё время, лет пять назад, занялся этим проектом, к чему люди относились по разному. Один из институтских начальников сказал: «Ты вообще чем занимаешься? Обычно такими вещами занимаются люди, не состоявшиеся профессионально, с тобой вроде всё в порядке, зачем ты этим занялся?» Именно затем, что эта формальная деятельность, списки людей с цифирью, висящие на всеобщем обозрении, способствуют тому, что пробуждается интерес: а кто там? а что там? что человек с такой цифрой сделал – почему у него такая цифра? Дальше начинается следующий этап; мне говорят: «Твой список плохой, потому что этот человек сделал на самом деле очень много, а у тебя его нет». Этот интерес, эти споры и есть начало возникновения научной среды. Кстати, начальники приходят и уходит, а научная среда – это нечто более долговременное.

Хорошо. Индекс цитируемости может сыграть полезную роль, если за него зацепиться, как за первоначальную систему координат. Но в нем есть опасность, как в телевизионных и читательских рейтингах, которые, вообще говоря, уродуют культуру, плодя попсу. Если абсолютизировать формальные критерии, они начнут несколько деформировать мотивацию научных исследований. И это происходит на Западе, например. В принципе можно сказать, что существует научная попса. Например: люди строят простые модели сложного явления, эти модели понятны студентам, с этими моделями легко играться; я могу привести такие примеры, скажем, с астрофизикой, но не буду. Наверняка люди из других областей тоже могут привести такие попсовые направления науки. Там легко нагоняется индекс цитирования, потому что работа простая, работ много и ссылок тоже много. Поэтому все равно от экспертных оценок не уйти. Любой показатель должен подкрепляться научным общественным мнением. Всё это должно быть пропущено через сознание, для чего должна сложиться некоторая научная среда, какой-то аналог гражданского общества.

Это несколько общих утверждений, теперь несколько слов о системе стимулирующих надбавок, которая наконец-то подписана и заработает. Была драка, все знают, что Президиум РАН был (и остается) резко против этой системы. Совет директоров испустил резкий документ, что «эта система основана на заявительном принципе, то есть научный сотрудник сам приходит в учёный совет и просит надбавки. Это недопустимо, потому что стимулироваться должны приоритетные направления". С моей точки зрения, эта цитата переводится просто: «начальству виднее, кого, за что и как стимулировать». Люди привыкли жить в этой системе ценностей, и переломить это очень сложно. И вообще, есть в головах у людей две модели науки: наша старая добрая командно-административная система (сейчас называется «вертикальная власть» или как угодно), другая – горизонтальная, где основным субъектом является не иерархия, а конкретный исследователь или конкретная группа и т. д. И эта система стимулирующих надбавок всё-таки работает скорее на вторую модель. Потому что она прозрачная: человек знает, за что он эту надбавку получит. Поэтому многие учёные, хотя и относятся к ней настороженно, но всё-таки принимают.

У системы стимулирующих надбавок тоже есть масса дыр, недостатков и т. д. Есть вполне обоснованные возражения, например: она не стимулирует этап подготовки какого-нибудь крупного эксперимента, скажем, если человек не публикует статей, но делает важную работу. Другое возражение: она стимулирует серость (точнее – хороший средний уровень), она не выделяет талантливых людей. Потому что, чтобы публиковаться в хороших журналах, достаточно хорошего среднего уровня. Люди, делающие что-то пионерское, скорее всего, публикуют меньше. Глупо требовать от одной системы всеобъемлющего эффекта. Эта система и имеет назначение подтянуть хороший средний уровень, приучить людей, что надо публиковаться в приличных журналах, и не более того. Она неполна. Значит, нужны системы дифференциации по достижениям. Нужна система грантов, в том числе и крупных грантов, которые поддерживали бы начальные этапы крупных мероприятий. На самом деле надо бороться за диверсификацию системы каналов финансирования науки. Чем больше разных каналов имеет система финансирования, тем она справедливей. Всё.

Николай Демченко (НД), ИПКОН РАН. Почему эти факторы должны входить в стимулирующую надбавку? Почему они не должны входить в квалификационную характеристику? Это же основная деятельность человека.

БШ. А почему нет? Ну, они должны быть помягче, но от человека нужно требовать определённого количества публикаций определённого уровня, иначе он не соответствует своей должности.

Из зала. У меня короткий вопрос. Нам Дмитрий Шапиро читал в своё время лекции исторические про четвёртое уравнение Максвелла. Максвелл думал над ним семь лет, и вроде он даже ничего не публиковал в промежутке. Потом появилось четвёртое уравнение Максвелла, решение его, как известно, электромагнитные волны, весь мир изумился. Понимаете, всё это не очень стыкуется. Тенденции типа MTV-Science, то, что Вы называли попсой научной.

БШ. Уникальные случаи выдающихся достижений должны оцениваться премиями. А не рутинным распределением зарплаты.

Из зала. Вся ваша система работает постфактум: человек должен сначала статью написать, рейтинг, только потом он стимулируется. Вопрос в том, как ему начать работу?

БШ. Я только что сказал, что эта система односторонняя и неполна. Есть два варианта: найти хорошего руководителя, который напишет, что ему нужен аспирант, либо самому апеллировать, писать проект, получать поддержку.

Из зала. Известно, что ограничение числа ссылок в журнале влечёт за собой элиминацию т. н. тоталитарных ссылок. В какой степени результаты расчета индекса цитирования зависят от политики редколлегии?

БШ. Редакционная политика, конечно, влияет.

Из зала. Как Вы приготавливаете списки цитируемых учёных?

БШ. Очень тупая и неприятная работа. С чего начинали? Списки авторов по физике и математике, и начинали прочёсывать. Цепочка по соавторам. Заявительный принцип: пишите, кого считаете нужным проверить. Сейчас способ уже более корректный – взяли выжимку за шесть лет статей, автоматическая обработка, и дальше людей с числом более 70 цитирований за 6 лет – а таких было пять тысяч – проверял вручную. Из них 600 человек прошли отбор.

Самохин, ИОФ РАН. Вы правильно, с моей точки зрения отметили плюсы и минусы этой системы. Не могли бы Вы привести пример крайне неадекватной ситуации с индексом цитирования?

БШ: Например, астрофизик (не наш) с индексом цитирования 30000, выпускает сто статей в год, с коллективом из соавторов 5-6 человек, которые всё время меняются. Но он действительно приличный ученый, хотя его роль в этих статьях ничтожна. Но вот такой он человек. Есть другое: Александр Васильев, недавно умерший, из Ленинградского университета, мнения о нём высочайшие, но он с трудом набрал к концу жизни 1000 цитирований. Он публиковался только в наших журналах, малоизвестных на Западе, создал великолепную школу. Вот это пример обратной ситуации.

(А. К. Казанский пытается дать комментарий)

Выступления на семинаре

Обсудите в соцсетях

Система Orphus
Loading...

Главные новости

09:35 Дума рассмотрит законопроект о запрете суррогатного материнства
09:34 Кремль назвал законопроект о платном въезде коррупционным
09:16 Второго ребенка Камбербэтча назвали в честь героя Шекспира
09:03 На акции 26 марта в Москве задержаны более тысячи человек
26.03 20:38 Под Раккой обрушилась крупнейшая в Сирии плотина
26.03 20:09 В Южной Корее подняли затонувший паром «Севоль»
26.03 19:47 Трамп выставил Меркель счет на 300 млрд фунтов за услуги НАТО
26.03 19:26 При крушении украинского Ми-2 в Донбассе погибли пятеро
26.03 19:09 Чеченская военная полиция вернулась из Сирии
26.03 18:32 Россия отказалась менять своего представителя на «Евровидении»
26.03 18:22 При стрельбе в ночном клубе в Огайо погиб человек и пострадали 15 человек
26.03 18:10 Под Краматорском разбился украинский военный вертолет
26.03 17:40 Forbes назвал Эмму Уотсон самой высокооплачиваемой актрисой мира
26.03 17:19 СМИ сообщили об атаке хакеров КНДР на сайты Всемирного банка и ЕЦБ
26.03 16:47 МИД Белоруссии отказался считать задержания в Минске «неевропейскими»
26.03 16:20 Глава МИД Украины призвал дать России коллективный отпор
26.03 15:53 В Кремле подтвердили подготовку встречи Путина с лидером Палестины
26.03 15:03 Минздрав подтвердил наличие альтернативы пробе Манту при приеме в детсады
26.03 14:39 США и Британия запретили провоз гаджетов в самолетах из-за бомбы
26.03 14:10 МИД отказался отчитываться перед НАТО за «Искандеры» в Калининграде
26.03 13:35 Себастьян Феттель выиграл Гран-при Австралии «Формулы-1»
26.03 13:16 Иран ввел санкции против американских компаний
26.03 12:37 Россия впервые в истории взяла серебро ЧМ по керлингу
26.03 12:09 Глава ПАСЕ рассказал о разногласиях с Россией
26.03 11:51 Медведев выделил 1,5 млрд рублей на концертный комплекс в «Артеке»
26.03 11:20 Объем нефтедобычи в феврале сократился на 94%
26.03 11:03 При взрыве в Великобритании пострадали более 20 человек
26.03 10:37 Президента Йемена приговорили к казни за госизмену
26.03 10:16 На митингах «Он нам не Димон» в городах РФ начались задержания
26.03 10:02 Детский омбудсмен предложила разрешить родителям отказываться от пробы Манту
26.03 09:49 Пентагон подтвердил ликвидацию одного из лидеров ИГ
26.03 09:34 ЕС призвал Белоруссию освободить задержанных на акции протеста
26.03 09:19 МИД РФ прокомментировал введение США санкций против российских компаний
26.03 09:05 Украина назвала условие участия России в «Евровидении»
25.03 20:37 В марше против Brexit в Лондоне приняли участие десятки тысяч человек
25.03 20:28 Пономарев рассказал об ожидании Вороненковым покушения
25.03 19:54 В Минобороны усомнились в скором взятии западной коалицией сирийской Ракки
25.03 19:46 Делегация германских политиков и бизнесменов приехала в Крым
25.03 19:28 СМИ сообщили о сотнях задержанных на оппозиционной акции в Минске
25.03 19:14 Грибаускайте назвала Россию угрозой для всех в Европе
25.03 18:45 Саперы НАТО прибыли для разминирования сгоревшего склада боеприпасов под Харьковом
25.03 18:25 Пономарев заявил о желании Максаковой остаться на Украине
25.03 17:38 В Бишкеке разогнали сторонников претендента на пост президента Киргизии
25.03 16:56 Вороненкова похоронили в Киеве на кладбище «криминальных авторитетов»
25.03 16:24 В Минске начались задержания демонстрантов в «День Воли»
25.03 15:56 Десятки спортсменов отравились во время сборов в Подмосковье
25.03 15:32 СМИ сообщили продробности ДТП с детьми в Подмосковье
25.03 14:57 27 стран подписали Римскую декларацию по будущему Евросоюза без Великобритании
25.03 14:41 Экс-депутата Госдумы Вороненкова отпели во Владимирском соборе Киева
25.03 14:18 Глава Европарламента признал множество допущенных Евросоюзом ошибок
Apple Boeing Facebook Google IT NATO PRO SCIENCE видео ProScience Театр Pussy Riot Twitter аварии на железной дороге авиакатастрофа Австралия Австрия автопром администрация президента Азербайджан акции протеста Александр Лукашенко Алексей Кудрин Алексей Навальный Алексей Улюкаев алкоголь амнистия Анатолий Сердюков Ангела Меркель Антимайдан Армения армия Арсений Яценюк археология астрономия атомная энергия аукционы Афганистан Аэрофлот баллистические ракеты банковский сектор банкротство Барак Обама Башар Асад Башкирия беженцы Белоруссия Белый дом Бельгия беспорядки бизнес биология ближневосточный конфликт бокс болельщики «болотное дело» большой теннис Борис Немцов Бразилия ВВП Великая Отечественная война Великобритания Венесуэла Верховная Рада Верховный суд взрыв взятка видеозаписи публичных лекций «Полит.ру» видео «Полит.ру» визовый режим Виктор Янукович вирусы Виталий Мутко «ВКонтакте» ВКС Владивосток Владимир Жириновский Владимир Маркин Владимир Мединский Владимир Путин ВМФ военная авиация Волгоград ВТБ Вторая мировая война вузы выборы выборы губернаторов выборы мэра Москвы газовая промышленность «Газпром» генетика Генпрокуратура Германия ГИБДД ГЛОНАСС Голливуд гомосексуализм госбюджет Госдеп Госдума госзакупки гражданская авиация Греция Гринпис Грузия гуманитарная помощь гуманитарные и социальные науки Дагестан Дальний Восток деньги День Победы дети Дмитрий Медведев Дмитрий Песков Дмитрий Рогозин доллар Домодедово Дональд Трамп Донецк допинг дороги России драка ДТП Евгения Васильева евро Евровидение Еврокомиссия Евромайдан Евросоюз Египет ЕГЭ «Единая Россия» Екатеринбург ЕСПЧ естественные и точные науки ЖКХ журналисты Забайкальский край закон об «иностранных агентах» законотворчество здравоохранение в России землетрясение «Зенит» Израиль Индия Индонезия инновации Интервью ученых интернет инфляция Ирак Ирак после войны Иран Иркутская область искусство ислам «Исламское государство» Испания история История человечества Италия Йемен Казань Казахстан казнь Калининград Камчатка Канада Киев кино Киргизия Китай Климат Земли, атмосферные явления КНДР Книга. Знание Компьютеры, программное обеспечение кораблекрушение коррупция космодром Восточный космос КПРФ кража Краснодарский край Красноярский край кредиты Кремль крушение вертолета Крым крымский кризис Куба культура Латвия ЛГБТ ЛДПР Левада-Центр легкая атлетика лесные пожары Ливия лингвистика Литва литература Лондон Луганск Малайзия МВД МВФ медиа медицина междисциплинарные исследования Мексика Мемория метро мигранты МИД России Минздрав Минкомсвязи Минкульт Минобороны Минобрнауки Минтранспорта Минтруд Минфин Минэкономразвития Минюст мировой экономический кризис «Мистраль» Михаил Саакашвили Михаил Ходорковский МКС Молдавия Мосгорсуд Москва Московская область мошенничество музыка МЧС наводнение Надежда Савченко налоги нанотехнологии наркотики НАСА наука Наука в современной России «Нафтогаз Украины» недвижимость некоммерческие организации некролог Нерусский бунт нефть Нигерия Нидерланды Нобелевская премия Новосибирск Новые технологии, инновации Новый год Норвегия Нью-Йорк «Оборонсервис» образование обрушение ОБСЕ общественный транспорт общество ограбление Одесса Олимпийские игры ООН оппозиция опросы оружие отставки-назначения Пакистан палеонтология Палестинская автономия Папа Римский Париж ПДД педофилия пенсионная реформа Пентагон Петр Порошенко пищевая промышленность погранвойска пожар полиция Польша похищение права человека правительство Право правозащитное движение «Правый сектор» преступления полицейских преступность Приморский край происшествия публичные лекции Рамзан Кадыров РАН Революция в Киргизии Реджеп Эрдоган рейтинги религия Реформа армии РЖД ритейл Роскомнадзор Роскосмос Роспотребнадзор Россельхознадзор Российская академия наук Россия Ростов-на-Дону Ростовская область РПЦ рубль русские националисты РФС Санкт-Петербург санкции Саудовская Аравия Сахалин Сбербанк Свердловская область связь связь и телекоммуникации Севастополь сельское хозяйство сепаратизм Сербия Сергей Лавров Сергей Собянин Сергей Шойгу Сирия Сколково Славянск Следственный комитет следствие смартфоны СМИ Совбез ООН Совет по правам человека Совет Федерации сотовая связь социальные сети социология Социология в России Сочи Сочи 2014 «Спартак» спецслужбы «Справедливая Россия» спутники СССР Ставропольский край стихийные бедствия Стихотворения на случай страхование стрельба строительство суды суицид США Таджикистан Таиланд Татарстан театр телевидение телефонный терроризм теракт терроризм технологии транспорт туризм Турция тюрьмы и колонии убийство УЕФА Украина Условия труда ФАС Федеральная миграционная служба физика Филиппины Финляндия ФИФА фондовая биржа фоторепортаж Франсуа Олланд Франция ФСБ ФСИН ФСКН футбол Хабаровский край хакеры Харьков Хиллари Клинтон химическое оружие хоккей хулиганство Центробанк ЦИК Цикл бесед "Взрослые люди" ЦСКА Челябинская область Чехия Чечня ЧМ-2018 шахты Швейцария Швеция школа шоу-бизнес шпионаж Эбола Эдвард Сноуден экология экономика экономический кризис экстремизм Эстония Южная Корея ЮКОС Юлия Тимошенко ядерное оружие Япония

Редакция

Электронная почта: politru.edit1@gmail.com
Адрес: 129343, Москва, проезд Серебрякова, д.2, корп.1, 9 этаж.
Телефон: +7 495 980 1894.
Стоимость услуг Полит.ру
Свидетельство о регистрации средства массовой информации
Эл. № 77-8425 от 1 декабря 2003г. Выдано министерством
Российской Федерации по делам печати, телерадиовещания и
средств массовой информации. Выходит с 21 февраля 1998 года.
При любом использовании материалов веб-сайта ссылка на Полит.ру обязательна.
При перепечатке в Интернете обязательна гиперссылка polit.ru.
Все права защищены и охраняются законом.
© Полит.ру, 1998–2014.