Полiт.ua Государственная сеть Государственные люди Войти
14 ноября 2018, среда, 10:36
Facebook Twitter VK.com Telegram

НОВОСТИ

СТАТЬИ

АВТОРЫ

ЛЕКЦИИ

PRO SCIENCE

СКОЛКОВО

РЕГИОНЫ

15 мая 2007, 12:00

Формальные показатели, их польза, вред и разумное место

«Полит.ру» публикует полную стенограмму семинара Семинара о стратегиях развития фундаментальной науки в России, прошедшего 26 декабря 2006 г. в МГУ. Его организаторами выступили ф-т биоинженерии и биоинформатики и проект Scientific.ru. Центральными проблемами, заявленными для обсуждения на семинаре, были: «Мировой уровень в науке: излишняя роскошь или ресурс развития страны? Технологии создания "точек роста": гранты? элитные центры? Как решить проблему воспроизводства научно-образовательных кадров?» На семинаре с докладами и сообщениями выступили зав. каф. Химической физики в Imperial College London, А. А. Корнышев, и авторы ряда предложений по реформированию науки в России, опубликованных в последние годы: А. В. Соболев, А. К. Казанский, Г. А. Цирлина, М. В. Фейгельман; один из основателей Scientific.ru и ведущий проекта Индекс цитирования российских ученых Б. Е. Штерн; бывший министр науки Б. Г. Салтыков; известный лингвист Р. М. Фрумкина; председатель Совета профсоюза работников РАН В. Ф. Вдовин. Семинар вел М. С. Гельфанд.

Михаил Гельфанд (МГ). Всё. Я прошу прощения. Борис Евгеньевич Штерн, здесь присутствует именно в качестве создателя неоднократно критикуемого списка наиболее цитируемых российских учёных. Насколько я понимаю, сейчас он объяснит, почему этот список еще хуже, чем все остальные про него думают.

Борис Штерн (БШ). Да, примерно так. Ну слава богу, мне уже не надо объяснять, что такое формальные показатели и индекс цитируемости, хотя формальных показателей, на самом деле, можно придумать много. Например, упомянутая в первом докладе скорость продвижения по карьерной лестнице – тоже формальный показатель. Значит, будем говорить в основном об индексе цитируемости. И об импакт-факторах.

Вообще мнения по поводу этих показателей просто полярны. От мнений о том, что без них у нас в науке будет полная непрозрачность и мафиозность, до мнений о том, что это полная ерунда и что индекс цитируемости накручивается жульническими методами. И в той, и в другой точке зрения есть доля правды. Конечно, индекс цитируемости очень сильно зависит от всяких вненаучных обстоятельств. Начнём с того, что это в значительной степени результат PR-активности учёного. Мало написать статью – просто так её не заметят. Ты должен ездить на конференции, общаться, убеждать, пропагандировать чтобы в конце концов начали хорошо ссылаться. Индекс цитируемости недооценивает пионерские статьи, особенно если они технически сложные. Индекс цитируемости поощряет мейнстрим, то есть работы преимущественно приличного среднего уровня. Есть такая проблема. Дело, опять же, во всяких «лейблах» человека: где он работает, какая у него позиция… Когда тот же российский человек приезжает в Америку, работает на том же уровне, на него начинают ссылаться в два раза больше. Всё это есть. Ошибочные работы, например, человек опубликовал ерунду и потом все его пинают, что он, например, завысил уровень значимости или что-нибудь в этом роде – и ссылаются на него тем самым.

Все эти проблемы реальны и касаются каждого из нас, но: когда мы просуммируем все эти ошибочные вещи, оказывается, что на самом деле индекс цитируемости конкретного человека очень сильно коррелирует с какими-то другими оценками его значимости, даже с академическим знанием, с вашими внутренними ощущениями. Ну например, в списке у нас по стране лидеры: Арнольд, Гинзбург, Гельфанд (математик), далее по-моему, Владимир Евгеньевич Захаров, это классик по солитонам, Фаддеев, Сюняев (кроме того, что сильный ученый – мастер по пиару своих работ). Если мы возьмём, скажем, институт, то там все эти ошибки ещё меньше. Но всё-таки определение индивидуального рейтинга человека – вещь довольно скользкая и опасная, потому что есть масса примеров, когда по всем отзывам блестящий учёный не набирает тысячи цитирований за всю свою биографию. То есть корреляция есть, но на эту корреляцию очень часто нельзя полагаться, если эта цифра не подкреплена дальнейшей оценкой качества.

Поэтому конечной инстанцией, конечно, должна быть человеческая экспертная оценка. Но – откуда мы её возьмём? Это, вообще, тяжёлый труд, квалифицированный труд, чреватый конфликтами интересов и прочими вещами. Кроме того, в какой ситуации мы сейчас находимся? Проблема в том, что для экспертной оценки должна существовать живая научная среда. У нас её в стране нет. Сильные учёные есть – научной среды нет; это моя презумпция (добавлю к тому, что говорил Михаил про несколько презумпций). Без этой среды система экспертных оценок не существует. Мы не доверяем никакой экспертизе, мы не доверяем частному мнению. Что делать? В этом плане формальные показатели – это то первое, нулевое приближение, за которое можно зацепиться.

Я в своё время, лет пять назад, занялся этим проектом, к чему люди относились по разному. Один из институтских начальников сказал: «Ты вообще чем занимаешься? Обычно такими вещами занимаются люди, не состоявшиеся профессионально, с тобой вроде всё в порядке, зачем ты этим занялся?» Именно затем, что эта формальная деятельность, списки людей с цифирью, висящие на всеобщем обозрении, способствуют тому, что пробуждается интерес: а кто там? а что там? что человек с такой цифрой сделал – почему у него такая цифра? Дальше начинается следующий этап; мне говорят: «Твой список плохой, потому что этот человек сделал на самом деле очень много, а у тебя его нет». Этот интерес, эти споры и есть начало возникновения научной среды. Кстати, начальники приходят и уходит, а научная среда – это нечто более долговременное.

Хорошо. Индекс цитируемости может сыграть полезную роль, если за него зацепиться, как за первоначальную систему координат. Но в нем есть опасность, как в телевизионных и читательских рейтингах, которые, вообще говоря, уродуют культуру, плодя попсу. Если абсолютизировать формальные критерии, они начнут несколько деформировать мотивацию научных исследований. И это происходит на Западе, например. В принципе можно сказать, что существует научная попса. Например: люди строят простые модели сложного явления, эти модели понятны студентам, с этими моделями легко играться; я могу привести такие примеры, скажем, с астрофизикой, но не буду. Наверняка люди из других областей тоже могут привести такие попсовые направления науки. Там легко нагоняется индекс цитирования, потому что работа простая, работ много и ссылок тоже много. Поэтому все равно от экспертных оценок не уйти. Любой показатель должен подкрепляться научным общественным мнением. Всё это должно быть пропущено через сознание, для чего должна сложиться некоторая научная среда, какой-то аналог гражданского общества.

Это несколько общих утверждений, теперь несколько слов о системе стимулирующих надбавок, которая наконец-то подписана и заработает. Была драка, все знают, что Президиум РАН был (и остается) резко против этой системы. Совет директоров испустил резкий документ, что «эта система основана на заявительном принципе, то есть научный сотрудник сам приходит в учёный совет и просит надбавки. Это недопустимо, потому что стимулироваться должны приоритетные направления". С моей точки зрения, эта цитата переводится просто: «начальству виднее, кого, за что и как стимулировать». Люди привыкли жить в этой системе ценностей, и переломить это очень сложно. И вообще, есть в головах у людей две модели науки: наша старая добрая командно-административная система (сейчас называется «вертикальная власть» или как угодно), другая – горизонтальная, где основным субъектом является не иерархия, а конкретный исследователь или конкретная группа и т. д. И эта система стимулирующих надбавок всё-таки работает скорее на вторую модель. Потому что она прозрачная: человек знает, за что он эту надбавку получит. Поэтому многие учёные, хотя и относятся к ней настороженно, но всё-таки принимают.

У системы стимулирующих надбавок тоже есть масса дыр, недостатков и т. д. Есть вполне обоснованные возражения, например: она не стимулирует этап подготовки какого-нибудь крупного эксперимента, скажем, если человек не публикует статей, но делает важную работу. Другое возражение: она стимулирует серость (точнее – хороший средний уровень), она не выделяет талантливых людей. Потому что, чтобы публиковаться в хороших журналах, достаточно хорошего среднего уровня. Люди, делающие что-то пионерское, скорее всего, публикуют меньше. Глупо требовать от одной системы всеобъемлющего эффекта. Эта система и имеет назначение подтянуть хороший средний уровень, приучить людей, что надо публиковаться в приличных журналах, и не более того. Она неполна. Значит, нужны системы дифференциации по достижениям. Нужна система грантов, в том числе и крупных грантов, которые поддерживали бы начальные этапы крупных мероприятий. На самом деле надо бороться за диверсификацию системы каналов финансирования науки. Чем больше разных каналов имеет система финансирования, тем она справедливей. Всё.

Николай Демченко (НД), ИПКОН РАН. Почему эти факторы должны входить в стимулирующую надбавку? Почему они не должны входить в квалификационную характеристику? Это же основная деятельность человека.

БШ. А почему нет? Ну, они должны быть помягче, но от человека нужно требовать определённого количества публикаций определённого уровня, иначе он не соответствует своей должности.

Из зала. У меня короткий вопрос. Нам Дмитрий Шапиро читал в своё время лекции исторические про четвёртое уравнение Максвелла. Максвелл думал над ним семь лет, и вроде он даже ничего не публиковал в промежутке. Потом появилось четвёртое уравнение Максвелла, решение его, как известно, электромагнитные волны, весь мир изумился. Понимаете, всё это не очень стыкуется. Тенденции типа MTV-Science, то, что Вы называли попсой научной.

БШ. Уникальные случаи выдающихся достижений должны оцениваться премиями. А не рутинным распределением зарплаты.

Из зала. Вся ваша система работает постфактум: человек должен сначала статью написать, рейтинг, только потом он стимулируется. Вопрос в том, как ему начать работу?

БШ. Я только что сказал, что эта система односторонняя и неполна. Есть два варианта: найти хорошего руководителя, который напишет, что ему нужен аспирант, либо самому апеллировать, писать проект, получать поддержку.

Из зала. Известно, что ограничение числа ссылок в журнале влечёт за собой элиминацию т. н. тоталитарных ссылок. В какой степени результаты расчета индекса цитирования зависят от политики редколлегии?

БШ. Редакционная политика, конечно, влияет.

Из зала. Как Вы приготавливаете списки цитируемых учёных?

БШ. Очень тупая и неприятная работа. С чего начинали? Списки авторов по физике и математике, и начинали прочёсывать. Цепочка по соавторам. Заявительный принцип: пишите, кого считаете нужным проверить. Сейчас способ уже более корректный – взяли выжимку за шесть лет статей, автоматическая обработка, и дальше людей с числом более 70 цитирований за 6 лет – а таких было пять тысяч – проверял вручную. Из них 600 человек прошли отбор.

Самохин, ИОФ РАН. Вы правильно, с моей точки зрения отметили плюсы и минусы этой системы. Не могли бы Вы привести пример крайне неадекватной ситуации с индексом цитирования?

БШ: Например, астрофизик (не наш) с индексом цитирования 30000, выпускает сто статей в год, с коллективом из соавторов 5-6 человек, которые всё время меняются. Но он действительно приличный ученый, хотя его роль в этих статьях ничтожна. Но вот такой он человек. Есть другое: Александр Васильев, недавно умерший, из Ленинградского университета, мнения о нём высочайшие, но он с трудом набрал к концу жизни 1000 цитирований. Он публиковался только в наших журналах, малоизвестных на Западе, создал великолепную школу. Вот это пример обратной ситуации.

(А. К. Казанский пытается дать комментарий)

Выступления на семинаре

Обсудите в соцсетях

Система Orphus
Loading...

Главные новости

10:29 Россия указала на недопустимость иска Демократической партии против правительства РФ
10:24 Волгоградский школьник принес в класс топор и бензин
10:00 Медведев утвердил двухэтапную индексацию платы за ЖКХ в 2019 году
09:45 ЦРУ уличили в попытках применить к террористам «сыворотку правды»
09:30 Трамп поругался с Мэй по телефону из-за Ирана
09:25 ФСИН озвучила дневную стоимость питания заключенных
09:18 Ценя на нефть упала до мартовского уровня
09:16 Вдова Талькова побывала в СК
09:11 ЦБ отозвал лицензии у двух банков
08:56 Мемория. Павлик Морозов
13.11 19:54 В Совфеде предложили упростить назначение сенаторов от врио глав регионов
13.11 19:26 CNN подал иск против администрацию Трампа за нарушение свободы слова
13.11 18:57 УПЦ МП прекратила общение с Константинополем
13.11 18:46 СМИ назвали кандидата на пост главы Мособлизбиркома
13.11 18:27 Трое россиян вошли в рейтинг успешных молодых бизнесменов по версии Forbes
13.11 18:07 ФССП объяснила запрет Навальному покидать Россию
13.11 17:42 СКР возобновил расследование убийства Игоря Талькова
13.11 17:41 Ожирение стимулирует рост опухолей и помогает иммунотерапии с ними бороться
13.11 17:24 Медведев пригрозил бойкотом форума в Давосе
13.11 17:05 Встречу Порошенко с представителями УПЦ отменили
13.11 16:52 СМИ нашли уволенную за слив переписки министерств чиновницу
13.11 16:51 Суд в Австрии отпустил из-под стражи фигуранта дела о шпионаже для России
13.11 16:22 Подозреваемый в убийстве следователя Шишкиной задержан в Грузии
13.11 16:14 Определение рыб по отдельным позвонкам пролило свет на историю рыболовства в Индонезии
13.11 16:08 Визовый центр Испании в Москве опроверг обыски
13.11 15:53 Суд в Москве не принял иск о запрете сервиса BlaBlaCar
13.11 15:33 Улюкаев рассказал о буднях библиотекаря в ИК
13.11 15:13 Арбитраж обязал таможню вернуть «дочке» Apple 147,2 млн рублей
13.11 14:50 СМИ узнали скрытые Boeing особенности новых самолетов
13.11 14:32 Госдума одобрила налог для самозанятых во втором чтении
13.11 14:16 Росавтодор разрешил укладывать асфальт в мороз и снегопад
13.11 13:51 Крупнейший контракт «Роскосмоса» оказался под угрозой из-за ФСБ
13.11 13:27 Бывший вице-премьер Белоруссии стал послом в России
13.11 13:13 Госдума одобрила в I чтении поправки в бюджет на 2018 год
13.11 12:51 Минобороны рассказало о ремонте крейсера «Адмирал Кузнецов»
13.11 12:33 Радийщики решили присоединиться к антипиратскому меморандуму
13.11 12:15 Начштаба войск России в Сирии возглавил Восточный военный округ
13.11 12:02 Удалось изучить ДНК таинственной вымершей обезьяны с Ямайки
13.11 11:52 S&P оценило влияние санкций на рост ВВП России
13.11 11:27 Владимир Путин прибыл в Сингапур на саммит АСЕАН
13.11 11:17 Турция поделилась записью убийства Хашогги с шестью странами
13.11 11:07 Китайские ботаники нашли безкофеиновую замену чаю
13.11 10:52 Госкомиссия озадачилась запретом сотовой связи в колониях и СИЗО
13.11 10:34 Американские специалисты нашли 13 тайных ракетных баз в КНДР
13.11 10:13 Выборы в Хакасии признаны состоявшимися
13.11 09:59 СМИ узнали о предотвращении терактов на российской базе в Таджикистане
13.11 09:43 Минэнерго США предложило союзникам свой газ в обход «Северного потока — 2»
13.11 09:30 Роскачество опровергло мифы о сосисках из сои и кошатины
13.11 09:15 Навального не выпустили из России на заседание ЕСПЧ
13.11 09:12 Думе предложили изъять миллиарды со счетов «спящих» клиентов в бюджет
Apple Bitcoin Boeing Facebook Google iPhone IT NATO PRO SCIENCE видео ProScience Театр Pussy Riot Telegram Twitter Абхазия аварии на железной дороге авиакатастрофа Австралия Австрия автопром авторское право администрация президента Азербайджан акции протеста Александр Лукашенко Александр Турчинов Алексей Кудрин Алексей Навальный Алексей Улюкаев алкоголь амнистия Анатолий Сердюков Ангела Меркель Антимайдан Антон Силуанов Аргентина Аркадий Дворкович Арктика Армения армия Арсений Яценюк археология астрономия атомная энергия аукционы Афганистан Аэрофлот баллистические ракеты банковский сектор банкротство Барак Обама Басманный суд Башар Асад Башкирия беженцы Белоруссия Белый дом Бельгия бензин беспилотник беспорядки биатлон бизнес биология бокс болельщики «болотное дело» большой теннис Борис Немцов борьба с курением Бразилия Валентина Матвиенко вандализм Ватикан ВВП Великая Отечественная война Великобритания Венесуэла Верховная Рада Верховный суд взрыв взятка видеозаписи публичных лекций «Полит.ру» визовый режим Виктор Янукович вирусы Виталий Мутко «ВКонтакте» ВКС Владивосток Владимир Жириновский Владимир Маркин Владимир Мединский Владимир Путин ВМФ Внуково военная авиация Волгоград ВПК ВТБ Вторая мировая война вузы ВЦИОМ выборы выборы губернаторов выборы мэра Москвы Вячеслав Володин гаджеты газовая промышленность «Газпром» генетика Генпрокуратура Германия ГИБДД ГЛОНАСС Голливуд гомосексуализм госбюджет Госдеп Госдума госзакупки госизмена гражданская авиация Греция Гринпис Грузия гуманитарная помощь Дагестан Дальний Восток декларации чиновников деньги День Победы дети Дмитрий Медведев Дмитрий Песков Дмитрий Рогозин доллар Домодедово Дональд Трамп Донецк допинг дороги России драка ДТП Евгения Васильева евро Евровидение Еврокомиссия Евромайдан Евросоюз Египет ЕГЭ «Единая Россия» Екатеринбург ЕСПЧ естественные и точные науки ЖКХ журналисты Забайкальский край закон об «иностранных агентах» законотворчество здравоохранение в России землетрясение «Зенит» Израиль импорт инвестиции Ингушетия Индия Индонезия инновации Интервью ученых интернет инфляция информационные технологии ипотека Ирак Ирак после войны Иран Иркутская область искусство ислам «Исламское государство» Испания история История человечества Италия Йемен Кабардино-Балкария Казань Казахстан казнь Калининград Камчатка Канада Каталония Кемерово Киев Ким Чен Ын кино Киргизия Китай климат Земли КНДР Книга. Знание компьютерная безопасность Компьютеры, программное обеспечение Конституционный суд Конституция кораблекрушение коррупция Космодром Байконур космодром Восточный космос КПРФ кража Краснодарский край Красноярский край кредиты Кремль крушение вертолета Крым Ксения Собчак Куба культура Латвия ЛГБТ ЛДПР Левада-Центр легкая атлетика Ленинградская область лесные пожары Ливия лингвистика Литва литература Лондон Луганск Малайзия Мария Захарова МВД МВФ медиа медицина междисциплинарные исследования Мексика Мемория метро мигранты МИД России Минздрав Минкомсвязи Минкульт Минобороны Минобрнауки Минпромторг Минсельхоз Минтранспорта Минтруд Минфин Минэкономразвития Минэнерго Минюст «Мистраль» Михаил Прохоров Михаил Саакашвили Михаил Ходорковский МКС мобильные приложения МОК Молдавия монархия морской транспорт Мосгорсуд Москва Московская область мошенничество музыка Мурманская область МЧС наводнение Надежда Савченко налоги нанотехнологии наркотики НАСА наука «Нафтогаз Украины» недвижимость некоммерческие организации некролог нефть Нигерия Нидерланды Нобелевская премия Новосибирск Новые технологии, инновации Новый год Норвегия Нью-Йорк «Оборонсервис» образование обрушение ОБСЕ общественный транспорт общество ограбление Одесса Олимпийские игры Ольга Голодец ООН ОПЕК оппозиция опросы оружие отставки-назначения офшор Павел Дуров Пакистан палеонтология Палестинская автономия Папа Римский Париж патриарх Кирилл ПДД педофилия пенсионная реформа пенсия Пентагон Первый канал Петр Порошенко пиратство пищевая промышленность погранвойска пожар полиция Польша похищение Почта России права человека правительство Право правозащитное движение православие «Правый сектор» преступления полицейских преступность Приморский край Приморье Продовольствие происшествия публичные лекции ракета Рамзан Кадыров РАН Революция в Киргизии Реджеп Эрдоган рейтинги реклама религия Республика Карелия РЖД ритейл Росавиация Роскомнадзор Роскосмос «Роснефть» Роспотребнадзор Россельхознадзор Российская академия наук Россия Росстат Ростов-на-Дону Ростовская область РПЦ рубль русские националисты РФС Санкт-Петербург санкции Саудовская Аравия Сахалин Сбербанк Свердловская область связь связь и телекоммуникации Севастополь сельское хозяйство сепаратизм Сербия Сергей Лавров Сергей Нарышкин Сергей Полонский Сергей Собянин Сергей Шойгу Сирия Сколково Славянск Следственный комитет следствие смартфоны СМИ Совбез ООН Совет по правам человека Совет Федерации сотовая связь социальные сети социология Сочи Сочи 2014 «Спартак» спецслужбы «Справедливая Россия» спутники СССР Ставропольский край стихийные бедствия Стихотворения на случай страхование стрельба строительство суды суицид Счетная палата США Таджикистан Таиланд тарифы Татарстан театр телевидение телефонный терроризм теракт терроризм технологии Трансаэро транспорт туризм Турция тюрьмы и колонии убийство уголовный кодекс УЕФА Узбекистан Украина фармакология ФАС ФБР Федеральная миграционная служба физика Филиппины Финляндия ФИФА фондовая биржа фоторепортаж Франсуа Олланд Франция ФСБ ФСИН ФСКН футбол Хабаровский край хакеры Харьков Хиллари Клинтон химическое оружие химия хоккей хулиганство цензура Центробанк ЦИК ЦРУ ЦСКА Челябинская область Чехия Чечня ЧМ-2018 Швейцария Швеция школа шоу-бизнес шпионаж Эбола эволюция Эдвард Сноуден экология экономика экономический кризис экстремизм Элла Памфилова Эстония этология Южная Корея ЮКОС Юлия Тимошенко «Яблоко» ядерное оружие Якутия Яндекс Япония

Редакция

Электронная почта: politru.edit1@gmail.com
Адрес: 129090, г. Москва, Проспект Мира, дом 19, стр.1, пом.1, ком.5
Телефон: +7 495 980 1894.
Яндекс.Метрика
Свидетельство о регистрации средства массовой информации
Эл. № 77-8425 от 1 декабря 2003г. Выдано министерством
Российской Федерации по делам печати, телерадиовещания и
средств массовой информации. Выходит с 21 февраля 1998 года.
При любом использовании материалов веб-сайта ссылка на Полит.ру обязательна.
При перепечатке в Интернете обязательна гиперссылка polit.ru.
Все права защищены и охраняются законом.
© Полит.ру, 1998–2014.