Мы публикуем краткое резюме экспертного семинара РВК, посвященного выявлению «островков науки в России». Доклад представителей рабочей группы инициативного проекта «Корпус экспертов по естественным наукам» - д.ф.-м.н. М.В.Фейгельмана (ИТФ им. Л.Д.Ландау РАН) и д.х.н. Г.А.Цирлиной (химфак МГУ) – представлял собой промежуточные итоги опросов цитируемых специалистов по различным разделам естественных наук. В рамках этих опросов специалистов просили рекомендовать коллег, которые могли бы квалифицированно оценивать проекты с той или иной тематикой, близкой к собственной специальности каждого опрашиваемого. Доклад вместе с иллюстративным материалом к нему опубликован здесь. Проект осуществляется при поддержке фонда «Династия», а с 2012 г – также в рамках договора с РВК об аналитической работе.
Ключевой принцип организации проекта «Корпус экспертов» основан на том, что целью научной работы является получение новых знаний и развитие представлений о природе вещей. Хотя достижение этой цели, безусловно, требует публикации научных статей и предполагает их цитирование другими авторами, число статей и индексы цитирования (CI) , по мнению авторов исследования, не обязательно прямо коррелируют с реальным продвижением к цели. Такого рода «наукометрические показатели» могут быть полезны как инструменты для планирования исследований их участниками и «заказчиками», а значит косвенно и для разработки «научной политики». Однако все же, как считают докладчики, решающую роль в обоих случаях играет экспертная оценка. Обеспечить такую оценку, то есть найти адекватных экспертов по конкретным научным направлениям и тематикам – действительно сложная задача, которая в принципе не может быть решена одним лишь автоматизированным «картографированием» по каким-либо базам данных. Работа «Корпуса экспертов» базируется на убеждении участников проекта в том, что необходимым условием получения разумного результата является использование человеческого разума – т.е. дополнение формального принципа выбора экспертов рекомендательным принципом.
Одной из главных проблем, которую необходимо решать при реализации такого проекта, является создание системы классификации естественнонаучных направлений, адекватной современному состоянию науки в мире. Авторы проекта полагают, что решение этой проблемы возможно только с привлечением действующих ученых и их профессиональных объединений. Для классификатора проекта по физике удалось использовать упрощенную версию PACS – всемирно признанного классификатора, разработанного Американским физическим обществом. Классификаторы по астрономии, биологии, химии и наукам о материалах рабочей группе пришлось конструировать с помощью многочисленных профильных специалистов – консультантов проекта. В результате появилась возможность адекватного соотнесения научных работников (предполагаемых экспертов) и областей их профессиональной экспертизы.
В докладе были представлены сведения о специализации и ведомственном/географическом распределении постоянно работающих в России специалистов, которые имеют цитирование научных публикаций по базе Web of Science выше определенных порогов и/или рекомендованы коллегами. Авторы подчеркивали, что анализируемый «массив» (около 5000 человек) – вовсе не «элитная группа» (хотя реальную элиту - ученых, весьма широко известных в мире и обычно имеющих высокое цитирование – обсуждаемый массив тоже включает). Обсуждаемый массив - просто список научных работников, результаты деятельности которых известны заметному количеству коллег в России и за рубежом, и тем или иным образом признаны достойными чьего-то внимания. Массив может в дальнейшем быть расширен путем проведения более «узкопрофильных» опросов, но вряд ли его удастся увеличить радикально.
Специально обсуждался вопрос о том, насколько полно представлены российские научные учреждения в анализируемом массиве научных работников. Необходимо подчеркнуть, что в данном проекте, в отличие от традиционного «иерархического» подхода, все начинается с отдельных людей – научных работников, а формальные организации – юридические лица - анализируются по принципу наличия в них «заметных» сообществу научных работников. Оказалось, что в 192 институтах РАН естественнонаучного и математического профиля (из 220 таких институтов) имеются сотрудники, входящих в анализируемый массив. Доля, которую такие сотрудники составляют от полного научного штата учреждения, существенно различна для разных организаций РАН. Она составляет от 50- 60% в уникальных случаях до единиц процентов в большинстве институтов. В группу «институтов-лидеров» с этим показателем около 20-30% входят менее 20 институтов. Аналогичная статистика по ведомственным исследовательским центрам менее представительна, главным образом из-за отсутствия в открытом доступе данных о численности научного штата учреждений этого типа. Для вузов, и в особенности классических университетов, сопоставление осложняется необходимостью выделить профильные подразделения и определить численность тех, кто занят в них научными исследованиями. Отдельные примеры, которые удалось изучить, свидетельствуют: средняя представительность «заметных сообществу» научных работников в институтах РАН, как правило, выше, чем в исследовательских учреждениях других типов и ВУЗах, хотя единичные подразделения крупных университетов приближаются к группе «лидеров».
Географическое распределение «заметных сообществу» научных работников было проанализировано по отдельности по 12 «номинациям» - 6 основных разделов физики, астрономия, 2 раздела биологии, науки о Земле, химия и материаловедение, математика и computer science. В качестве географических регионов были выбраны: Москва, Московская область, С.-Петербург + Северо-Запад, Урал и Сибирь, Центральная Россия. Во всех «номинациях» вклад Москвы очень значителен (от 1/3 в физике высоких энергий до 2/3 в молекулярной биологии). Проведено сопоставление полученных данных с долевой численностью научных работников институтов соответствующих отделений РАН в различных регионах.
Значительное внимание в представленном исследовании уделено обсуждению условий и пределов применимости формальных наукометрических показателей, например, индексов цитирования. На большом статистическом материале показано, что в различных областях и разделах науки исторически сложились различные традиции публикаций, что приводит к существенным различиям в среднем уровне цитирования активных специалистов. Например, в таких исходно родственных разделах, как физика высоких энергий и ядерная физика, эти показатели различаются в 1.5 раза, не менее существенно различие между молекулярно-клеточной биологией с одной стороны, и общей и организменной биологией – с другой. Таким образом, автоматизированный «подсчет индексов цитирования», проводимый без учета специфики различных научных областей, будет, в случае непосредственного применения для оценки качества научной деятельности автоматически генерировать неадекватные результаты.
Коротко - основные заключения таковы:
1. Смешанный формально-экспертный подход дает возможность сформировать рабочие списки экспертов и специалистов в целом по России, с достаточно точным указанием их специализаций.
2. Это же подход позволяет определить (с точностью до конкретных лабораторий и групп) «островки», где эффективно проводятся научные исследования (это содержание следующей части анализа).
3. Получение корректных данных из Web of Science и иных баз требует использования методики, которую могут составить только специалисты из разных областей естественных наук.
4. Интерпретация таких данных в связи с оценкой специалистов, лабораторий и организаций содержит много подводных камней и возможна только с привлечением научных экспертов.
5. Проблема тонкой классификации разделов естественных наук и научных тематик может быть решена только «на реальном материале» и только силами научных экспертов.
6. Использование исключительно формализованных оценок неизбежно приведет к существенным искажениям картины имеющейся научной среды и может иметь опасные последствия для сохранения островков науки в России.
В более подробной версии результаты исследования публикуются с продолжением на сайте проекта под заголовком «Карта полезных ископаемых – поиск на территории российской науки» с эпиграфом «Спасение ископаемых – дело рук самих ископаемых».
Аудитория семинара была достаточно разнородной, и это определило разнообразие вопросов и комментариев. Наиболее острым стал вопрос о формализованных методах анализа научной результативности как альтернативе экспертной оценке. Присутствующими были также сформулированы проблемы несовершенства базы Web of Science, специфичные для разных областей знания и их разделов. Обсуждался вопрос о возможности прогнозирования перспектив тех или иных технологий на основе анализа публикаций и цитирования.
Семинар вел генеральный директор ОАО «РВК» И.Р.Агамирзян. В заключительном слове он сообщил о намерении продолжать совместную работу «Российской венчурной компании» с проектом «Корпус экспертов».
