12 ноября 2019, вторник, 04:04
VK.comFacebookTwitterTelegramInstagramYouTubeЯндекс.Дзен

НОВОСТИ

СТАТЬИ

PRO SCIENCE

МЕДЛЕННОЕ ЧТЕНИЕ

ЛЕКЦИИ

АВТОРЫ

15 мая 2007, 12:00

Формальные показатели, их польза, вред и разумное место

«Полит.ру» публикует полную стенограмму семинара Семинара о стратегиях развития фундаментальной науки в России, прошедшего 26 декабря 2006 г. в МГУ. Его организаторами выступили ф-т биоинженерии и биоинформатики и проект Scientific.ru. Центральными проблемами, заявленными для обсуждения на семинаре, были: «Мировой уровень в науке: излишняя роскошь или ресурс развития страны? Технологии создания "точек роста": гранты? элитные центры? Как решить проблему воспроизводства научно-образовательных кадров?» На семинаре с докладами и сообщениями выступили зав. каф. Химической физики в Imperial College London, А. А. Корнышев, и авторы ряда предложений по реформированию науки в России, опубликованных в последние годы: А. В. Соболев, А. К. Казанский, Г. А. Цирлина, М. В. Фейгельман; один из основателей Scientific.ru и ведущий проекта Индекс цитирования российских ученых Б. Е. Штерн; бывший министр науки Б. Г. Салтыков; известный лингвист Р. М. Фрумкина; председатель Совета профсоюза работников РАН В. Ф. Вдовин. Семинар вел М. С. Гельфанд.

Михаил Гельфанд (МГ). Всё. Я прошу прощения. Борис Евгеньевич Штерн, здесь присутствует именно в качестве создателя неоднократно критикуемого списка наиболее цитируемых российских учёных. Насколько я понимаю, сейчас он объяснит, почему этот список еще хуже, чем все остальные про него думают.

Борис Штерн (БШ). Да, примерно так. Ну слава богу, мне уже не надо объяснять, что такое формальные показатели и индекс цитируемости, хотя формальных показателей, на самом деле, можно придумать много. Например, упомянутая в первом докладе скорость продвижения по карьерной лестнице – тоже формальный показатель. Значит, будем говорить в основном об индексе цитируемости. И об импакт-факторах.

Вообще мнения по поводу этих показателей просто полярны. От мнений о том, что без них у нас в науке будет полная непрозрачность и мафиозность, до мнений о том, что это полная ерунда и что индекс цитируемости накручивается жульническими методами. И в той, и в другой точке зрения есть доля правды. Конечно, индекс цитируемости очень сильно зависит от всяких вненаучных обстоятельств. Начнём с того, что это в значительной степени результат PR-активности учёного. Мало написать статью – просто так её не заметят. Ты должен ездить на конференции, общаться, убеждать, пропагандировать чтобы в конце концов начали хорошо ссылаться. Индекс цитируемости недооценивает пионерские статьи, особенно если они технически сложные. Индекс цитируемости поощряет мейнстрим, то есть работы преимущественно приличного среднего уровня. Есть такая проблема. Дело, опять же, во всяких «лейблах» человека: где он работает, какая у него позиция… Когда тот же российский человек приезжает в Америку, работает на том же уровне, на него начинают ссылаться в два раза больше. Всё это есть. Ошибочные работы, например, человек опубликовал ерунду и потом все его пинают, что он, например, завысил уровень значимости или что-нибудь в этом роде – и ссылаются на него тем самым.

Все эти проблемы реальны и касаются каждого из нас, но: когда мы просуммируем все эти ошибочные вещи, оказывается, что на самом деле индекс цитируемости конкретного человека очень сильно коррелирует с какими-то другими оценками его значимости, даже с академическим знанием, с вашими внутренними ощущениями. Ну например, в списке у нас по стране лидеры: Арнольд, Гинзбург, Гельфанд (математик), далее по-моему, Владимир Евгеньевич Захаров, это классик по солитонам, Фаддеев, Сюняев (кроме того, что сильный ученый – мастер по пиару своих работ). Если мы возьмём, скажем, институт, то там все эти ошибки ещё меньше. Но всё-таки определение индивидуального рейтинга человека – вещь довольно скользкая и опасная, потому что есть масса примеров, когда по всем отзывам блестящий учёный не набирает тысячи цитирований за всю свою биографию. То есть корреляция есть, но на эту корреляцию очень часто нельзя полагаться, если эта цифра не подкреплена дальнейшей оценкой качества.

Поэтому конечной инстанцией, конечно, должна быть человеческая экспертная оценка. Но – откуда мы её возьмём? Это, вообще, тяжёлый труд, квалифицированный труд, чреватый конфликтами интересов и прочими вещами. Кроме того, в какой ситуации мы сейчас находимся? Проблема в том, что для экспертной оценки должна существовать живая научная среда. У нас её в стране нет. Сильные учёные есть – научной среды нет; это моя презумпция (добавлю к тому, что говорил Михаил про несколько презумпций). Без этой среды система экспертных оценок не существует. Мы не доверяем никакой экспертизе, мы не доверяем частному мнению. Что делать? В этом плане формальные показатели – это то первое, нулевое приближение, за которое можно зацепиться.

Я в своё время, лет пять назад, занялся этим проектом, к чему люди относились по разному. Один из институтских начальников сказал: «Ты вообще чем занимаешься? Обычно такими вещами занимаются люди, не состоявшиеся профессионально, с тобой вроде всё в порядке, зачем ты этим занялся?» Именно затем, что эта формальная деятельность, списки людей с цифирью, висящие на всеобщем обозрении, способствуют тому, что пробуждается интерес: а кто там? а что там? что человек с такой цифрой сделал – почему у него такая цифра? Дальше начинается следующий этап; мне говорят: «Твой список плохой, потому что этот человек сделал на самом деле очень много, а у тебя его нет». Этот интерес, эти споры и есть начало возникновения научной среды. Кстати, начальники приходят и уходит, а научная среда – это нечто более долговременное.

Хорошо. Индекс цитируемости может сыграть полезную роль, если за него зацепиться, как за первоначальную систему координат. Но в нем есть опасность, как в телевизионных и читательских рейтингах, которые, вообще говоря, уродуют культуру, плодя попсу. Если абсолютизировать формальные критерии, они начнут несколько деформировать мотивацию научных исследований. И это происходит на Западе, например. В принципе можно сказать, что существует научная попса. Например: люди строят простые модели сложного явления, эти модели понятны студентам, с этими моделями легко играться; я могу привести такие примеры, скажем, с астрофизикой, но не буду. Наверняка люди из других областей тоже могут привести такие попсовые направления науки. Там легко нагоняется индекс цитирования, потому что работа простая, работ много и ссылок тоже много. Поэтому все равно от экспертных оценок не уйти. Любой показатель должен подкрепляться научным общественным мнением. Всё это должно быть пропущено через сознание, для чего должна сложиться некоторая научная среда, какой-то аналог гражданского общества.

Это несколько общих утверждений, теперь несколько слов о системе стимулирующих надбавок, которая наконец-то подписана и заработает. Была драка, все знают, что Президиум РАН был (и остается) резко против этой системы. Совет директоров испустил резкий документ, что «эта система основана на заявительном принципе, то есть научный сотрудник сам приходит в учёный совет и просит надбавки. Это недопустимо, потому что стимулироваться должны приоритетные направления". С моей точки зрения, эта цитата переводится просто: «начальству виднее, кого, за что и как стимулировать». Люди привыкли жить в этой системе ценностей, и переломить это очень сложно. И вообще, есть в головах у людей две модели науки: наша старая добрая командно-административная система (сейчас называется «вертикальная власть» или как угодно), другая – горизонтальная, где основным субъектом является не иерархия, а конкретный исследователь или конкретная группа и т. д. И эта система стимулирующих надбавок всё-таки работает скорее на вторую модель. Потому что она прозрачная: человек знает, за что он эту надбавку получит. Поэтому многие учёные, хотя и относятся к ней настороженно, но всё-таки принимают.

У системы стимулирующих надбавок тоже есть масса дыр, недостатков и т. д. Есть вполне обоснованные возражения, например: она не стимулирует этап подготовки какого-нибудь крупного эксперимента, скажем, если человек не публикует статей, но делает важную работу. Другое возражение: она стимулирует серость (точнее – хороший средний уровень), она не выделяет талантливых людей. Потому что, чтобы публиковаться в хороших журналах, достаточно хорошего среднего уровня. Люди, делающие что-то пионерское, скорее всего, публикуют меньше. Глупо требовать от одной системы всеобъемлющего эффекта. Эта система и имеет назначение подтянуть хороший средний уровень, приучить людей, что надо публиковаться в приличных журналах, и не более того. Она неполна. Значит, нужны системы дифференциации по достижениям. Нужна система грантов, в том числе и крупных грантов, которые поддерживали бы начальные этапы крупных мероприятий. На самом деле надо бороться за диверсификацию системы каналов финансирования науки. Чем больше разных каналов имеет система финансирования, тем она справедливей. Всё.

Николай Демченко (НД), ИПКОН РАН. Почему эти факторы должны входить в стимулирующую надбавку? Почему они не должны входить в квалификационную характеристику? Это же основная деятельность человека.

БШ. А почему нет? Ну, они должны быть помягче, но от человека нужно требовать определённого количества публикаций определённого уровня, иначе он не соответствует своей должности.

Из зала. У меня короткий вопрос. Нам Дмитрий Шапиро читал в своё время лекции исторические про четвёртое уравнение Максвелла. Максвелл думал над ним семь лет, и вроде он даже ничего не публиковал в промежутке. Потом появилось четвёртое уравнение Максвелла, решение его, как известно, электромагнитные волны, весь мир изумился. Понимаете, всё это не очень стыкуется. Тенденции типа MTV-Science, то, что Вы называли попсой научной.

БШ. Уникальные случаи выдающихся достижений должны оцениваться премиями. А не рутинным распределением зарплаты.

Из зала. Вся ваша система работает постфактум: человек должен сначала статью написать, рейтинг, только потом он стимулируется. Вопрос в том, как ему начать работу?

БШ. Я только что сказал, что эта система односторонняя и неполна. Есть два варианта: найти хорошего руководителя, который напишет, что ему нужен аспирант, либо самому апеллировать, писать проект, получать поддержку.

Из зала. Известно, что ограничение числа ссылок в журнале влечёт за собой элиминацию т. н. тоталитарных ссылок. В какой степени результаты расчета индекса цитирования зависят от политики редколлегии?

БШ. Редакционная политика, конечно, влияет.

Из зала. Как Вы приготавливаете списки цитируемых учёных?

БШ. Очень тупая и неприятная работа. С чего начинали? Списки авторов по физике и математике, и начинали прочёсывать. Цепочка по соавторам. Заявительный принцип: пишите, кого считаете нужным проверить. Сейчас способ уже более корректный – взяли выжимку за шесть лет статей, автоматическая обработка, и дальше людей с числом более 70 цитирований за 6 лет – а таких было пять тысяч – проверял вручную. Из них 600 человек прошли отбор.

Самохин, ИОФ РАН. Вы правильно, с моей точки зрения отметили плюсы и минусы этой системы. Не могли бы Вы привести пример крайне неадекватной ситуации с индексом цитирования?

БШ: Например, астрофизик (не наш) с индексом цитирования 30000, выпускает сто статей в год, с коллективом из соавторов 5-6 человек, которые всё время меняются. Но он действительно приличный ученый, хотя его роль в этих статьях ничтожна. Но вот такой он человек. Есть другое: Александр Васильев, недавно умерший, из Ленинградского университета, мнения о нём высочайшие, но он с трудом набрал к концу жизни 1000 цитирований. Он публиковался только в наших журналах, малоизвестных на Западе, создал великолепную школу. Вот это пример обратной ситуации.

(А. К. Казанский пытается дать комментарий)

Выступления на семинаре

Обсудите в соцсетях

Система Orphus

Главные новости

11.11 21:58 Бывшего министра печати Дагестана задержали в Словении
11.11 21:32 Кремль выпишет газеты и журналы на миллион рублей
11.11 21:01 Федор Конюхов поднимется в стратосферу на воздушном шаре
11.11 20:30 В Испании футболистки решили устроить забастовку. Среди них — россиянка
11.11 20:09 Московский онкоцентр Блохина покинули девять врачей
11.11 19:02 Instagram запретил блогерам упоминать политику в материалах, за которые платит соцсеть
11.11 18:51 Третьяковская галерея установит пеленальные столики в мужских туалетах и зоны для кормящих мам
11.11 18:34 Челябинский суд освободил кошку из-под ареста
11.11 17:09 Петиция с требованием уволить руководство СПбГУ после убийства аспирантки за сутки собрала 7 тыс. подписей
11.11 16:41 YouTube заблокирует «невыгодных» пользователей
11.11 16:13 ФБК нашел недвижимость за границей у прокурора по «московскому делу»
11.11 15:58 Российские силовики за 2019 год потратили 50 млн рублей на взлом мобильных телефонов
11.11 15:00 Самая древняя в мире городская канализация была проложена около 11 800 лет назад
11.11 14:59 Следствие засекретило материалы дела Ивана Голунова
11.11 14:44 Артемий Лебедев посоветовал главе Чечни держать «своих псов на цепи»
11.11 13:31 Компания Alibaba заработала $16 млрд за первые полтора часа «Дня холостяка»
11.11 13:30 Яд рыбы фугу помогает ей бороться со стрессом
11.11 12:36 На Камчатке началось извержение высочайшего вулкана Евразии – Ключевской сопки
11.11 12:08 В Приморье суд приговорил женщину к трем годам условно – она держала 11-летнюю падчерицу на цепи
11.11 12:07 Исследование: россияне стали чаще покупать крупы из-за подорожания овощей
11.11 11:51 В Новосибирской области браконьеры убили 32 тыс. ондатр для продажи в Китай
11.11 11:47 Скромность и контроль: что АП рекомендует региональным властям
11.11 11:11 В Бийске из-за обилия мусора ввели режим чрезвычайной ситуации
11.11 11:00 Генетики сравнили императорский Рим с Нью-Йорком
11.11 09:59 С сентября 3 тысячи многодетных семей списали часть ипотеки через госпрограмму
11.11 09:30 Для образования льда нужно не менее 90 молекул воды
11.11 08:28 В России разработан сканер безопасности. Он позволит снять запрет на провоз жидкости в самолете
11.11 08:06 На создателей Apple Card пожаловались из-за гендерной дискриминации
11.11 07:12 «Почта России» будет доставлять посылки от двух до восьми суток
11.11 06:32 Около 500 деятелей культуры выступили в поддержку филолога Гасана Гусейнова
11.11 05:33 Бывший ректор ДВФУ Сергей Иванец получил семь лет колонии за растрату 20 млн рублей
10.11 18:58 «Спартак» откажется от участия в турнире в США из-за проблем с визами
10.11 17:45 В Новосибирске Максим Галкин на своем концерте высмеял Путина и рассказал о цензуре на телевидении
10.11 16:48 NASA планирует испытать первый электрический самолет в 2020 году
10.11 15:54 На Кубани отравились более 50 школьников
10.11 14:54 Во Франции студент поджег себя из-за финансовых проблем
10.11 13:54 Исследование: большинство американских подростков мечтают быть инфлюенсерами, не врачами
10.11 12:33 В Приморье выпустили всех белух и косаток из «китовой тюрьмы»
10.11 11:47 Девять российских бизнесменов обвиняются во вмешательстве в политику Великобритании
10.11 10:42 Новость из прошлого: 10 ноября 1999 года – Горбачев осудил приговор трем бывшим руководителям Социалистической партии ГДР
10.11 09:55 Убивший свою девушку историк Соколов написал явку с повинной
09.11 18:47 Самоуправляемый автомобиль Uber сбил насмерть женщину в США
09.11 17:43 Искусственный интеллект сдал ЕГЭ по русскому языку на 63 балла
09.11 16:44 Ольга Бузова призналась, что сталкивалась с домашним насилием
09.11 15:36 В Петербурге задержали профессора истории. У него в рюкзаке нашли две женские руки и пистолет
09.11 14:44 Facebook будет удалять имя осведомителя, запустившего процедуру импичмента Трампа
09.11 13:34 В Приморье у «граждан СССР» прошли обыски. Они отрицают существование России и не платят по кредитам
09.11 12:40 В Красноярске пингвина госпитализировали с невротическими приступами
09.11 12:11 В Таврическом саду прорвало трубу три дня назад. Ее починили только после спецраспоряжения правительства
09.11 11:27 Четвертая женщина обвинила режиссера Романа Полански в изнасиловании
«АвтоВАЗ» «ВКонтакте» «Газпром» «Зенит» «Мемориал» «Мистраль» «Оборонсервис» «Роснефть» «Спартак» «Яблоко» Абхазия Австралия Австрия Азербайджан Антимайдан Аргентина Арктика Армения Афганистан Аэрофлот Башкирия Белоруссия Бельгия Бразилия ВВП ВКС ВМФ ВПК ВТБ ВЦИОМ Ватикан Великобритания Венгрия Венесуэла Владивосток Внуково Волгоград ГИБДД ГЛОНАСС Генпрокуратура Германия Голливуд Госдеп Госдума Греция Гринпис Грузия ДТП Дагестан Домодедово Донецк ЕГЭ ЕСПЧ Евровидение Еврокомиссия Евромайдан Евросоюз Египет Екатеринбург ЖКХ Израиль Ингушетия Индия Индонезия Интерпол Ирак Иран Испания Италия Йемен КНДР КПРФ Казань Казахстан Калининград Камчатка Канада Каталония Кемерово Киев Кипр Киргизия Китай Коми Конституция Кремль Крым Куба Курилы ЛГБТ ЛДПР Латвия Ливия Литва Лондон Луганск МВД МВФ МГУ МКС МОК МЧС Малайзия Мексика Минздрав Минкомсвязи Минкульт Минобороны Минобрнауки Минпромторг Минсельхоз Минск Минтранспорта Минтруд Минфин Минэкономразвития Минэнерго Минюст Молдавия Мосгордума Мосгорсуд Москва НАСА Нигерия Нидерланды Новосибирск Норвегия ОБСЕ ООН ОПЕК Одесса ПДД Пакистан Паралимпиада Париж Пентагон Польша Приморье РАН РЖД РПЦ РФС Росавиация Росгвардия Роскомнадзор Роскосмос Роспотребнадзор Россельхознадзор Россия Росстат СМИ СССР США Сахалин Сбербанк Севастополь Сербия Сирия Сколково Славянск Сочи Таджикистан Таиланд Татарстан Трансаэро Турция УЕФА Узбекистан Украина ФАС ФБР ФИФА ФСБ ФСИН ФСКН Филиппины Финляндия Франция Харьков ЦИК ЦРУ ЦСКА Центробанк Чехия Чечня Швейцария Швеция Шереметьево Эбола Эстония ЮКОС Якутия Яндекс Япония авиакатастрофа автопром алкоголь амнистия арест армия археология астрономия аукционы банкротство беженцы бензин беспилотник беспорядки биатлон бизнес бокс болельщики вандализм взрыв взятка вирусы вузы выборы гаджеты генетика гомосексуализм госбюджет госзакупки госизмена деньги дети доллар допинг драка евро журналисты законотворчество землетрясение изнасилование импорт инвестиции инновации интернет инфляция ипотека искусство ислам исследования история казнь кино кораблекрушение коррупция космос кража кредиты культура лингвистика литература математика медиа медицина метро мигранты монархия мошенничество музыка наводнение налоги нанотехнологии наркотики наука недвижимость нейробиология некролог нефть образование обрушение общество ограбление оппозиция опросы оружие офшор палеонтология педофилия пенсия пиратство планетология погранвойска пожар полиция похищение правительство право православие преступность продовольствие происшествия ракета рейтинги реклама религия ретейл робототехника рубль санкции связь сепаратизм следствие смартфоны социология спецслужбы спутники страхование стрельба строительство суды суицид тарифы театр телевидение теракт терроризм технологии транспорт туризм убийство фармакология физика фоторепортаж футбол хакеры химия хоккей хулиганство цензура школа шпионаж экология экономика экспорт экстремизм этология «Единая Россия» «Исламское государство» «Нафтогаз Украины» «Правый сектор» «Северный поток» «Справедливая Россия» «болотное дело» Александр Лукашенко Александр Новак Александр Турчинов Алексей Кудрин Алексей Навальный Алексей Улюкаев Амурская область Анатолий Сердюков Ангела Меркель Антон Силуанов Аркадий Дворкович Арсений Яценюк Астраханская область Барак Обама Басманный суд Башар Асад Белый дом Борис Немцов Бутовский полигон Валентина Матвиенко Верховная Рада Верховный суд Виктор Янукович Виталий Мутко Владимир Жириновский Владимир Зеленский Владимир Маркин Владимир Мединский Владимир Путин Вячеслав Володин Дальний Восток День Победы Дмитрий Медведев Дмитрий Песков Дмитрий Рогозин Дональд Трамп Евгения Васильева Забайкальский край Интервью ученых Ирина Яровая Иркутская область История человечества Калужская область Кирилл Серебренников Кировская область Конституционный суд Космодром Байконур Краснодарский край Красноярский край Ксения Собчак Ленинградская область МИД России Мария Захарова Михаил Прохоров Михаил Саакашвили Михаил Ходорковский Московская область Мурманская область Надежда Савченко Наталья Поклонская Нижний Новгород Николас Мадуро Нобелевская премия Новосибирская область Новый год Олимпийские игры Ольга Голодец Павел Дуров Палестинская автономия Папа Римский Первый канал Пермский край Петр Порошенко Почта России Приморский край Рамзан Кадыров Реджеп Эрдоган Республика Карелия Ростовская область Саратовская область Саудовская Аравия Свердловская область Сергей Лавров Сергей Нарышкин Сергей Полонский Сергей Собянин Сергей Шойгу Следственный комитет Совбез ООН Совет Федерации Ставропольский край Счетная палата Тереза Мэй Франсуа Олланд Хабаровский край Хиллари Клинтон Человек дня Челябинская область Черное море Эдвард Сноуден Элла Памфилова Эльвира Набиуллина Южная Корея Юлия Тимошенко Юрий Чайка авторское право администрация президента акции протеста атомная энергия баллистические ракеты банковский сектор биология большой теннис визовый режим военная авиация выборы губернаторов газовая промышленность гражданская авиация гуманитарная помощь декларации чиновников дороги России информационные технологии климат Земли компьютерная безопасность космодром Восточный крушение вертолета легкая атлетика лесные пожары междисциплинарные исследования мобильные приложения морской транспорт некоммерческие организации общественный транспорт патриарх Кирилл пенсионная реформа пищевая промышленность права человека правозащитное движение преступления полицейских публичные лекции российское гражданство русские националисты русский язык сельское хозяйство сотовая связь социальные сети стихийные бедствия телефонный терроризм уголовный кодекс фигурное катание финансовый рынок фондовая биржа химическое оружие эволюция экономический кризис ядерное оружие Великая Отечественная война Вторая мировая война Ирак после войны Ким Чен Ын Революция в Киргизии Российская академия наук Стихотворения на случай Федеральная миграционная служба Федеральная таможенная служба борьба с курением выборы мэра Москвы здравоохранение в России связь и телекоммуникации тюрьмы и колонии Совет по правам человека аварии на железной дороге естественные и точные науки закон об «иностранных агентах» компьютеры и программное обеспечение видеозаписи публичных лекций «Полит.ру» Новые технологии, инновации Сочи 2014 рейтинг Forbes Кабардино-Балкария Левада-Центр Нью-Йорк Санкт-Петербург отставки-назначения шоу-бизнес Ростов-на-Дону ЧМ-2018 Книга. Знание ВИЧ/СПИД Apple Bitcoin Boeing Facebook G20 Google iPhone IT NATO PRO SCIENCE видео ProScience Театр Pussy Riot Telegram Twitter Wikileaks

Редакция

Электронная почта: [email protected]
Телефон: +7 929 588 33 89
Яндекс.Метрика
Свидетельство о регистрации средства массовой информации
Эл. № 77-8425 от 1 декабря 2003 года. Выдано министерством
Российской Федерации по делам печати, телерадиовещания и
средств массовой информации. Выходит с 21 февраля 1998 года.
При любом использовании материалов веб-сайта ссылка на Полит.ру обязательна.
При перепечатке в Интернете обязательна гиперссылка polit.ru.
Все права защищены и охраняются законом.
© Полит.ру, 1998–2019.