Полiт.ua Государственная сеть Государственные люди Войти
23 сентября 2018, воскресенье, 21:47
Facebook Twitter VK.com Telegram

НОВОСТИ

СТАТЬИ

АВТОРЫ

ЛЕКЦИИ

PRO SCIENCE

СКОЛКОВО

РЕГИОНЫ

15 мая 2007, 12:00

Формальные показатели, их польза, вред и разумное место

«Полит.ру» публикует полную стенограмму семинара Семинара о стратегиях развития фундаментальной науки в России, прошедшего 26 декабря 2006 г. в МГУ. Его организаторами выступили ф-т биоинженерии и биоинформатики и проект Scientific.ru. Центральными проблемами, заявленными для обсуждения на семинаре, были: «Мировой уровень в науке: излишняя роскошь или ресурс развития страны? Технологии создания "точек роста": гранты? элитные центры? Как решить проблему воспроизводства научно-образовательных кадров?» На семинаре с докладами и сообщениями выступили зав. каф. Химической физики в Imperial College London, А. А. Корнышев, и авторы ряда предложений по реформированию науки в России, опубликованных в последние годы: А. В. Соболев, А. К. Казанский, Г. А. Цирлина, М. В. Фейгельман; один из основателей Scientific.ru и ведущий проекта Индекс цитирования российских ученых Б. Е. Штерн; бывший министр науки Б. Г. Салтыков; известный лингвист Р. М. Фрумкина; председатель Совета профсоюза работников РАН В. Ф. Вдовин. Семинар вел М. С. Гельфанд.

Михаил Гельфанд (МГ). Всё. Я прошу прощения. Борис Евгеньевич Штерн, здесь присутствует именно в качестве создателя неоднократно критикуемого списка наиболее цитируемых российских учёных. Насколько я понимаю, сейчас он объяснит, почему этот список еще хуже, чем все остальные про него думают.

Борис Штерн (БШ). Да, примерно так. Ну слава богу, мне уже не надо объяснять, что такое формальные показатели и индекс цитируемости, хотя формальных показателей, на самом деле, можно придумать много. Например, упомянутая в первом докладе скорость продвижения по карьерной лестнице – тоже формальный показатель. Значит, будем говорить в основном об индексе цитируемости. И об импакт-факторах.

Вообще мнения по поводу этих показателей просто полярны. От мнений о том, что без них у нас в науке будет полная непрозрачность и мафиозность, до мнений о том, что это полная ерунда и что индекс цитируемости накручивается жульническими методами. И в той, и в другой точке зрения есть доля правды. Конечно, индекс цитируемости очень сильно зависит от всяких вненаучных обстоятельств. Начнём с того, что это в значительной степени результат PR-активности учёного. Мало написать статью – просто так её не заметят. Ты должен ездить на конференции, общаться, убеждать, пропагандировать чтобы в конце концов начали хорошо ссылаться. Индекс цитируемости недооценивает пионерские статьи, особенно если они технически сложные. Индекс цитируемости поощряет мейнстрим, то есть работы преимущественно приличного среднего уровня. Есть такая проблема. Дело, опять же, во всяких «лейблах» человека: где он работает, какая у него позиция… Когда тот же российский человек приезжает в Америку, работает на том же уровне, на него начинают ссылаться в два раза больше. Всё это есть. Ошибочные работы, например, человек опубликовал ерунду и потом все его пинают, что он, например, завысил уровень значимости или что-нибудь в этом роде – и ссылаются на него тем самым.

Все эти проблемы реальны и касаются каждого из нас, но: когда мы просуммируем все эти ошибочные вещи, оказывается, что на самом деле индекс цитируемости конкретного человека очень сильно коррелирует с какими-то другими оценками его значимости, даже с академическим знанием, с вашими внутренними ощущениями. Ну например, в списке у нас по стране лидеры: Арнольд, Гинзбург, Гельфанд (математик), далее по-моему, Владимир Евгеньевич Захаров, это классик по солитонам, Фаддеев, Сюняев (кроме того, что сильный ученый – мастер по пиару своих работ). Если мы возьмём, скажем, институт, то там все эти ошибки ещё меньше. Но всё-таки определение индивидуального рейтинга человека – вещь довольно скользкая и опасная, потому что есть масса примеров, когда по всем отзывам блестящий учёный не набирает тысячи цитирований за всю свою биографию. То есть корреляция есть, но на эту корреляцию очень часто нельзя полагаться, если эта цифра не подкреплена дальнейшей оценкой качества.

Поэтому конечной инстанцией, конечно, должна быть человеческая экспертная оценка. Но – откуда мы её возьмём? Это, вообще, тяжёлый труд, квалифицированный труд, чреватый конфликтами интересов и прочими вещами. Кроме того, в какой ситуации мы сейчас находимся? Проблема в том, что для экспертной оценки должна существовать живая научная среда. У нас её в стране нет. Сильные учёные есть – научной среды нет; это моя презумпция (добавлю к тому, что говорил Михаил про несколько презумпций). Без этой среды система экспертных оценок не существует. Мы не доверяем никакой экспертизе, мы не доверяем частному мнению. Что делать? В этом плане формальные показатели – это то первое, нулевое приближение, за которое можно зацепиться.

Я в своё время, лет пять назад, занялся этим проектом, к чему люди относились по разному. Один из институтских начальников сказал: «Ты вообще чем занимаешься? Обычно такими вещами занимаются люди, не состоявшиеся профессионально, с тобой вроде всё в порядке, зачем ты этим занялся?» Именно затем, что эта формальная деятельность, списки людей с цифирью, висящие на всеобщем обозрении, способствуют тому, что пробуждается интерес: а кто там? а что там? что человек с такой цифрой сделал – почему у него такая цифра? Дальше начинается следующий этап; мне говорят: «Твой список плохой, потому что этот человек сделал на самом деле очень много, а у тебя его нет». Этот интерес, эти споры и есть начало возникновения научной среды. Кстати, начальники приходят и уходит, а научная среда – это нечто более долговременное.

Хорошо. Индекс цитируемости может сыграть полезную роль, если за него зацепиться, как за первоначальную систему координат. Но в нем есть опасность, как в телевизионных и читательских рейтингах, которые, вообще говоря, уродуют культуру, плодя попсу. Если абсолютизировать формальные критерии, они начнут несколько деформировать мотивацию научных исследований. И это происходит на Западе, например. В принципе можно сказать, что существует научная попса. Например: люди строят простые модели сложного явления, эти модели понятны студентам, с этими моделями легко играться; я могу привести такие примеры, скажем, с астрофизикой, но не буду. Наверняка люди из других областей тоже могут привести такие попсовые направления науки. Там легко нагоняется индекс цитирования, потому что работа простая, работ много и ссылок тоже много. Поэтому все равно от экспертных оценок не уйти. Любой показатель должен подкрепляться научным общественным мнением. Всё это должно быть пропущено через сознание, для чего должна сложиться некоторая научная среда, какой-то аналог гражданского общества.

Это несколько общих утверждений, теперь несколько слов о системе стимулирующих надбавок, которая наконец-то подписана и заработает. Была драка, все знают, что Президиум РАН был (и остается) резко против этой системы. Совет директоров испустил резкий документ, что «эта система основана на заявительном принципе, то есть научный сотрудник сам приходит в учёный совет и просит надбавки. Это недопустимо, потому что стимулироваться должны приоритетные направления". С моей точки зрения, эта цитата переводится просто: «начальству виднее, кого, за что и как стимулировать». Люди привыкли жить в этой системе ценностей, и переломить это очень сложно. И вообще, есть в головах у людей две модели науки: наша старая добрая командно-административная система (сейчас называется «вертикальная власть» или как угодно), другая – горизонтальная, где основным субъектом является не иерархия, а конкретный исследователь или конкретная группа и т. д. И эта система стимулирующих надбавок всё-таки работает скорее на вторую модель. Потому что она прозрачная: человек знает, за что он эту надбавку получит. Поэтому многие учёные, хотя и относятся к ней настороженно, но всё-таки принимают.

У системы стимулирующих надбавок тоже есть масса дыр, недостатков и т. д. Есть вполне обоснованные возражения, например: она не стимулирует этап подготовки какого-нибудь крупного эксперимента, скажем, если человек не публикует статей, но делает важную работу. Другое возражение: она стимулирует серость (точнее – хороший средний уровень), она не выделяет талантливых людей. Потому что, чтобы публиковаться в хороших журналах, достаточно хорошего среднего уровня. Люди, делающие что-то пионерское, скорее всего, публикуют меньше. Глупо требовать от одной системы всеобъемлющего эффекта. Эта система и имеет назначение подтянуть хороший средний уровень, приучить людей, что надо публиковаться в приличных журналах, и не более того. Она неполна. Значит, нужны системы дифференциации по достижениям. Нужна система грантов, в том числе и крупных грантов, которые поддерживали бы начальные этапы крупных мероприятий. На самом деле надо бороться за диверсификацию системы каналов финансирования науки. Чем больше разных каналов имеет система финансирования, тем она справедливей. Всё.

Николай Демченко (НД), ИПКОН РАН. Почему эти факторы должны входить в стимулирующую надбавку? Почему они не должны входить в квалификационную характеристику? Это же основная деятельность человека.

БШ. А почему нет? Ну, они должны быть помягче, но от человека нужно требовать определённого количества публикаций определённого уровня, иначе он не соответствует своей должности.

Из зала. У меня короткий вопрос. Нам Дмитрий Шапиро читал в своё время лекции исторические про четвёртое уравнение Максвелла. Максвелл думал над ним семь лет, и вроде он даже ничего не публиковал в промежутке. Потом появилось четвёртое уравнение Максвелла, решение его, как известно, электромагнитные волны, весь мир изумился. Понимаете, всё это не очень стыкуется. Тенденции типа MTV-Science, то, что Вы называли попсой научной.

БШ. Уникальные случаи выдающихся достижений должны оцениваться премиями. А не рутинным распределением зарплаты.

Из зала. Вся ваша система работает постфактум: человек должен сначала статью написать, рейтинг, только потом он стимулируется. Вопрос в том, как ему начать работу?

БШ. Я только что сказал, что эта система односторонняя и неполна. Есть два варианта: найти хорошего руководителя, который напишет, что ему нужен аспирант, либо самому апеллировать, писать проект, получать поддержку.

Из зала. Известно, что ограничение числа ссылок в журнале влечёт за собой элиминацию т. н. тоталитарных ссылок. В какой степени результаты расчета индекса цитирования зависят от политики редколлегии?

БШ. Редакционная политика, конечно, влияет.

Из зала. Как Вы приготавливаете списки цитируемых учёных?

БШ. Очень тупая и неприятная работа. С чего начинали? Списки авторов по физике и математике, и начинали прочёсывать. Цепочка по соавторам. Заявительный принцип: пишите, кого считаете нужным проверить. Сейчас способ уже более корректный – взяли выжимку за шесть лет статей, автоматическая обработка, и дальше людей с числом более 70 цитирований за 6 лет – а таких было пять тысяч – проверял вручную. Из них 600 человек прошли отбор.

Самохин, ИОФ РАН. Вы правильно, с моей точки зрения отметили плюсы и минусы этой системы. Не могли бы Вы привести пример крайне неадекватной ситуации с индексом цитирования?

БШ: Например, астрофизик (не наш) с индексом цитирования 30000, выпускает сто статей в год, с коллективом из соавторов 5-6 человек, которые всё время меняются. Но он действительно приличный ученый, хотя его роль в этих статьях ничтожна. Но вот такой он человек. Есть другое: Александр Васильев, недавно умерший, из Ленинградского университета, мнения о нём высочайшие, но он с трудом набрал к концу жизни 1000 цитирований. Он публиковался только в наших журналах, малоизвестных на Западе, создал великолепную школу. Вот это пример обратной ситуации.

(А. К. Казанский пытается дать комментарий)

Выступления на семинаре

Обсудите в соцсетях

Система Orphus
Loading...

Главные новости

21:00 ЦСКА и «Спартак» впервые за пять лет разошлись ничьей
20:39 Лидерство Фургала на выборах главы Хабаровского края достигло почти 70%
20:15 Голосование на выборах владимирского губернатора завершилось
19:38 «Зенит» обыграл «Локомотив» в матче РПЛ
19:18 Фургал сохранил лидерство после обработки 80,05% бюллетеней
18:39 Армия Израиля ответила на брифинг Минобороны по Ил-20
18:13 Россиянина задержали в Норвегии по подозрению в шпионаже
17:49 Число жертв крушения парома в Танзании достигло 225 человек
17:19 Преимущество Фургала перед Шпортом достигло 40%
16:48 ЦИК не нашел оснований отменять итоги выборов в Хабаровском крае
16:27 Кандидат ЛДПР вышел в лидеры на выборах главы Хабаровского края
16:05 Явка на выборах главы Владимирской области составила 26,53%
15:56 Глава ЦИК призвала избиркомы не поддаваться давлению
15:33 Синоптики пообещали москвичам снег в сентябре
15:12 Новак назвал срок реализации соглашения ОПЕК+
14:40 ЛДПР отказалась признать итоги выборов в Хабаровском крае
14:19 СМИ узнали о решении США ужесточить правила выдачи грин-карт
13:51 Экзит-пол отдал победу на выборах врио хабаровского губернатора
13:33 Израиль отказался сменить тактику в Сирии
13:13 Врио главы Хабаровского края подал 19 жалоб на конкурента
12:52 СМИ узнали цену российского билета на Луну
12:20 Иран вызвал дипломатов трех стран из-за теракта на параде
11:52 Россия обвинила Израиль во враждебных действиях
11:31 Израиль испугался ответа России на гибель Ил-20
11:14 СМИ узнали о плане Украины создать базу ВМС на Азове
10:53 В России появился 16-й город-миллионник
10:37 Лондон начал тайную подготовку к досрочным выборам
10:10 СМИ узнали о готовности России достроить «Северный поток — 2» за свой счет
09:43 Российские пограничники заметили украинские суда у берегов Крыма
09:24 Поветкин проиграл бой за чемпионские титулы
09:05 Явка во втором туре выборов главы Хабаровского края достигла почти 35%
22.09 21:16 Минкульт Украины начал опись имущества Московского патриархата
22.09 21:03 МИД КНР вызвал посла США из-за антироссийских санкций
22.09 20:43 Украина запретила детективы Устиновой и энциклопедию для мальчиков
22.09 20:10 Минобороны РФ анонсировало доклад о гибели Ил-20
22.09 19:33 Три российских города попали в рейтинг самых криминальных в мире
22.09 18:42 Число жертв крушения парома в Танзании выросло до 209 человек
22.09 17:46 Норвежская разведка помогала эстонцам ловить «шпиона ГРУ»
22.09 17:07 «Роскосмос» опроверг отказ от строительства окололунной станции с США
22.09 16:33 Декан истфака МГУ Иван Тучков умер после приступа астмы
22.09 16:21 Президент Литвы поблагодарила Папу за поддержку антисоветской борьбы
22.09 15:37 Россия и Белорусия утрясли все газовые и нефтяные вопросы
22.09 15:23 Власти Сызрани попросили убрать с афиши «Ревизора» фразу о чиновниках
22.09 14:19 И.о. замглавы администрации властей Дагестана задержан ФСБ
22.09 13:51 Чечня приступает к созданию Евразийского майнингового пула
22.09 13:34 В России проходят согласованные акции против повышения пенсионного возраста
22.09 12:35 Рогозин допустил строительство российской окололунной станции
22.09 11:32 Разведка США назвала будущий атомный подводный флот РФ непобедимым
22.09 11:09 Фигуристка Медведева уступила американке на своем первом турнире в Канаде
22.09 10:55 Глава МИД Венгрии призвал ЕС обсудить смысл антироссийских санкций
Apple Bitcoin Boeing Facebook Google iPhone IT NATO PRO SCIENCE видео ProScience Театр Pussy Riot Telegram Twitter Абхазия аварии на железной дороге авиакатастрофа Австралия Австрия автопром авторское право администрация президента Азербайджан акции протеста Александр Лукашенко Александр Турчинов Алексей Кудрин Алексей Навальный Алексей Улюкаев алкоголь амнистия Анатолий Сердюков Ангела Меркель Антимайдан Антон Силуанов Аргентина Аркадий Дворкович Арктика Армения армия Арсений Яценюк археология астрономия атомная энергия аукционы Афганистан Аэрофлот баллистические ракеты банковский сектор банкротство Барак Обама Басманный суд Башар Асад Башкирия беженцы Белоруссия Белый дом Бельгия беспилотник беспорядки биатлон бизнес биология бокс болельщики «болотное дело» большой теннис Борис Немцов борьба с курением Бразилия Валентина Матвиенко вандализм Ватикан ВВП Великая Отечественная война Великобритания Венесуэла Верховная Рада Верховный суд взрыв взятка видеозаписи публичных лекций «Полит.ру» визовый режим Виктор Янукович вирусы Виталий Мутко «ВКонтакте» ВКС Владивосток Владимир Жириновский Владимир Маркин Владимир Мединский Владимир Путин ВМФ Внуково военная авиация Волгоград ВПК ВТБ Вторая мировая война вузы ВЦИОМ выборы выборы губернаторов выборы мэра Москвы Вячеслав Володин гаджеты газовая промышленность «Газпром» генетика Генпрокуратура Германия ГИБДД ГЛОНАСС Голливуд гомосексуализм госбюджет Госдеп Госдума госзакупки госизмена гражданская авиация Греция Гринпис Грузия гуманитарная помощь Дагестан Дальний Восток декларации чиновников деньги День Победы дети Дмитрий Медведев Дмитрий Песков Дмитрий Рогозин доллар Домодедово Дональд Трамп Донецк допинг дороги России драка ДТП Евгения Васильева евро Евровидение Еврокомиссия Евромайдан Евросоюз Египет ЕГЭ «Единая Россия» Екатеринбург ЕСПЧ естественные и точные науки ЖКХ журналисты Забайкальский край закон об «иностранных агентах» законотворчество здравоохранение в России землетрясение «Зенит» Израиль импорт инвестиции Ингушетия Индия Индонезия инновации Интервью ученых интернет инфляция информационные технологии ипотека Ирак Ирак после войны Иран Иркутская область искусство ислам «Исламское государство» Испания история История человечества Италия Йемен Казань Казахстан казнь Калининград Камчатка Канада Каталония Кемерово Киев Ким Чен Ын кино Киргизия Китай климат Земли КНДР Книга. Знание Компьютеры, программное обеспечение Конституционный суд Конституция кораблекрушение коррупция Космодром Байконур космодром Восточный космос КПРФ кража Краснодарский край Красноярский край кредиты Кремль крушение вертолета Крым Ксения Собчак Куба культура Латвия ЛГБТ ЛДПР Левада-Центр легкая атлетика Ленинградская область лесные пожары Ливия лингвистика Литва литература Лондон Луганск Малайзия Мария Захарова МВД МВФ медиа медицина междисциплинарные исследования Мексика Мемория метро мигранты МИД России Минздрав Минкомсвязи Минкульт Минобороны Минобрнауки Минпромторг Минсельхоз Минтранспорта Минтруд Минфин Минэкономразвития Минэнерго Минюст «Мистраль» Михаил Прохоров Михаил Саакашвили Михаил Ходорковский МКС мобильные приложения МОК Молдавия монархия морской транспорт Мосгорсуд Москва Московская область мошенничество музыка Мурманская область МЧС наводнение Надежда Савченко налоги нанотехнологии наркотики НАСА наука «Нафтогаз Украины» недвижимость некоммерческие организации некролог нефть Нигерия Нидерланды Нобелевская премия Новосибирск Новые технологии, инновации Новый год Норвегия Нью-Йорк «Оборонсервис» образование обрушение ОБСЕ общественный транспорт общество ограбление Одесса Олимпийские игры Ольга Голодец ООН ОПЕК оппозиция опросы оружие отставки-назначения офшор Павел Дуров Пакистан палеонтология Палестинская автономия Папа Римский Париж ПДД педофилия пенсионная реформа пенсия Пентагон Первый канал Петр Порошенко пиратство пищевая промышленность погранвойска пожар полиция Польша похищение Почта России права человека правительство Право правозащитное движение православие «Правый сектор» преступления полицейских преступность Приморский край Приморье Продовольствие происшествия публичные лекции Рамзан Кадыров РАН Революция в Киргизии Реджеп Эрдоган рейтинги реклама религия Республика Карелия РЖД ритейл Росавиация Роскомнадзор Роскосмос «Роснефть» Роспотребнадзор Россельхознадзор Российская академия наук Россия Росстат Ростов-на-Дону Ростовская область РПЦ рубль русские националисты РФС Санкт-Петербург санкции Саудовская Аравия Сахалин Сбербанк Свердловская область связь связь и телекоммуникации Севастополь сельское хозяйство сепаратизм Сербия Сергей Лавров Сергей Нарышкин Сергей Полонский Сергей Собянин Сергей Шойгу Сирия Сколково Славянск Следственный комитет следствие смартфоны СМИ Совбез ООН Совет по правам человека Совет Федерации сотовая связь социальные сети социология Сочи Сочи 2014 «Спартак» спецслужбы «Справедливая Россия» спутники СССР Ставропольский край стихийные бедствия Стихотворения на случай страхование стрельба строительство суды суицид Счетная палата США Таджикистан Таиланд тарифы Татарстан театр телевидение телефонный терроризм теракт терроризм технологии Трансаэро транспорт туризм Турция тюрьмы и колонии убийство уголовный кодекс УЕФА Узбекистан Украина фармакология ФАС ФБР Федеральная миграционная служба физика Филиппины Финляндия ФИФА фондовая биржа фоторепортаж Франсуа Олланд Франция ФСБ ФСИН ФСКН футбол Хабаровский край хакеры Харьков Хиллари Клинтон химическое оружие химия хоккей хулиганство цензура Центробанк ЦИК ЦРУ ЦСКА Челябинская область Чехия Чечня ЧМ-2018 Швейцария Швеция школа шоу-бизнес шпионаж Эбола эволюция Эдвард Сноуден экология экономика экономический кризис экстремизм Элла Памфилова Эстония этология Южная Корея ЮКОС Юлия Тимошенко «Яблоко» ядерное оружие Якутия Яндекс Япония

Редакция

Электронная почта: politru.edit1@gmail.com
Адрес: 129090, г. Москва, Проспект Мира, дом 19, стр.1, пом.1, ком.5
Телефон: +7 495 980 1894.
Яндекс.Метрика
Свидетельство о регистрации средства массовой информации
Эл. № 77-8425 от 1 декабря 2003г. Выдано министерством
Российской Федерации по делам печати, телерадиовещания и
средств массовой информации. Выходит с 21 февраля 1998 года.
При любом использовании материалов веб-сайта ссылка на Полит.ру обязательна.
При перепечатке в Интернете обязательна гиперссылка polit.ru.
Все права защищены и охраняются законом.
© Полит.ру, 1998–2014.