Полiт.ua Государственная сеть Государственные люди Войти
4 декабря 2016, воскресенье, 13:09
Facebook Twitter LiveJournal VK.com RSS

НОВОСТИ

СТАТЬИ

АВТОРЫ

ЛЕКЦИИ

PRO SCIENCE

ТЕАТР

РЕГИОНЫ

17 июля 2014, 09:00

Cвязанные одной сетью

Экспертный семинар РВК
Экспертный семинар РВК

Создание сети независимых экспертов в условиях стремительного развития технологий как никогда актуально для российского рынка инноваций. Участники семинара, который прошел 3 июля 2014 г. в офисе РВК, обсудили проблемы госрегулирования экспертной деятельности, существующие практики создания экспертных сообществ и стандарты проведения экспертизы. Модератором встречи выступил генеральный директор РВК Игорь Агамирзян.

И.А.: - Сегодня мы собрались для того, чтобы обсудить тему по выстраиванию института профессиональной экспертизы. Откровенно говоря, для меня лично до сих пор окончательно не понятно, что такое «профессиональная экспертиза». Это тавтология или оксюморон? И хотелось бы понять те подходы, которые сегодня существуют, к профессиональной экспертизе в практиках деятельности государственных организаций, в научной среде, среди институтов развития. Ну, и один из примеров, на мой взгляд – скорее положительных – того, что происходило у нас в стране за последнее время, это пример работы функционирования экспертного совета Правительства РФ, который стал основной экспертной структурой при Открытом Правительстве, на самом деле, реально оказывает определенное влияние на процессы принятия решений на государственном уровне. Это, скорее, положительный пример. С другой стороны, у нас есть, как мне представляется, целый ряд не очень хороших примеров того, как действует экспертиза, и при этом любопытно, что, если традиционно научно-техническом подходе экспертиза, скорее, достаточно качественная – я не помню примеров, когда мы испытывали затруднения с экспертной оценкой научно-технической составляющей каких-то проектов, это традиции, идущие еще с советского времени НТС-ов, они явно сохранились, но в то же времени испытывается очевидный регулярный дефицит экспертизы с точки зрения процессов экономических, организации бизнеса, организации всего того, что выходит за рамки традиций, сформировавшихся у нас в обществе на протяжении длительного периода. Если я не прав, то буду рад, если выступающие коллеги меня поправят – мне кажется, что существовавшая у нас в стране традиция высшей научной экспертизы со стороны Академии наук, которая, кстати, подтверждена принятым год назад законодательством, изменяющем структуру и функционал РАН, где снова подтверждается, что это является экспертной организацией, на сегодняшний момент работает не слишком хорошо, потому, в частности, что такой прямой взаимосвязи с потребностью общества, как было, условно говоря, с потребностями государства на этапе индустриального развития, сегодня не ощущается. И далеко не всегда научная среда адекватна с точки зрения вызовов современности, т.сказать, вызовов потребителя в обществе, структурированному по рыночным правилам.

Поэтому мы сегодня пригласили тех, кто явно по своим квалификации и опыту, профессионализму имеет самое непосредственное отношение к организации экспертизы в самых разных аспектах этой деятельности. Это Борис Славин, научный руководитель факультета прикладной математики и ИТ Финансового университета при Правительстве РФ и основатель-организатор профессиональной сети в области информационных технологий. Екатерина Малофеева – аналитический центр «Форум», принимала участие в организации и по-прежнему занимается поддержкой деятельности Экспертного совета Правительства РФ. Дженнифер Трелевич – сейчас, насколько я понимаю, в StartBase, но долго занималась организацией экспертных проектов в Сколково. Михаила Гельфанда знают все, его и представлять не следует… И Сергей Холкин, генеральный директор «ГосБука», это такой любопытный экспертный проект по вопросам государственного управления, я сам непосредственно не участвую, но все время с интересом читаю публикации и рассылки от «ГосБука». Собственно, основной набор оспариваемых утверждений сформулирован, и сейчас я попрошу говорить наших гостей, профессиональных экспертов, о том, что такое профессиональная экспертиза и что нужно делать для того, чтобы она была «экспертнее» или профессиональнее. Борис, давайте, начнем с вас.

Б.С.: - Добрый день. На самом деле, у меня роль не просто одного из экспертов, мне еще поручили сделать некий начальный доклад. Я назвал его «Экспертные сети: международный опыт и тренды развития после кризиса». Почему «после кризиса» – я скажу немного позже. В докладе будет небольшой обзор рынка экспертных сетей, к сожалению, за рубежом, потому что у нас такого рынка пока не существует, и мы, может быть, обсудим, почему так происходит. Может быть, на некоторые вопросы, которые поставил Игорь, во время этого доклада удастся ответить.

Слайд «Инсайдерский скандал».

Я обещал сделать слайд немного завораживающим, он относится к некоему криминальному скандалу. Но этот скандал связан не только с небольшим происшествием, это скандал, который существенно повлиял на рынок экспертных сетей и, возможно, некоторые выводы, которые можно сделать из этой криминальной истории, будут касаться и самой сути профессиональной экспертизы, мы это поймем – почему.

Если говорить о самом скандале, он появился в прессе в конце 10х – начале 11х годов, когда выяснилось, что некий работник частного хедж-фонда, Джеймс Скаурон получил некую инсайдерскую информацию, благодаря которой фонд, в котором он работал, вовремя продал акции, которые через какое-то время рухнули. В принципе, достаточно обычная «инсайдерская» история, если бы за ней не стояло то, что она была связана с экспертными сетями. Дело в том, что этот хедж-фонд, в котором работал Скаурон, имел абонентскую плату с одной из крупных сетей «Guidepoint Global», благодаря которой они получали от экспертов те или иные консультации. И как раз с одним из таких экспертов – это француз Ив Бенхаму, который работал одновременно в компании «HGSI» и в экспертной сети, откуда он и передал информацию. Этой историей занималось ФБР, много можно прочитать в литературе. Сначала Ив получил 5000 евро просто за то, что согласился сотрудничать, потом получил 10000 евро за ту информацию, о которой идет речь. Почему вообще получился такой скандал – потому что была связь с медициной. В частности, эта компания, в которой он служил, разрабатывала лекарства, которые испытывали на людях, и Бенхаму узнал, что один пациент уже умер, другой сильно заболел, приняв это лекарство, и именно эту информацию он «слил».

До этого про экспертные сети знали только специалисты, узкий круг – те же хедж-фонды, венчурные фонды, которые сами пользовались этими экспертными сетями, но благодаря этому скандалу об этом узнали все. Стали обсуждать сами экспертные сети, и многие оценивают – трудно посчитать точно – но этот скандал привел к тому, что примерно на 30% рынок экспертных сетей «просел», т.е. наступил некий кризис, связанный с кризисом доверия. Понятно, что экспертные сети являются инструментом, но некоторое разочарование было. Я думаю, что в этом именно кроется понимание того, какие должны быть экспертные сети, с профессиональной экспертизой.

Слайд «Integrity Research».

Как раз в 2009 году, когда еще скандала не было, но уже произошло то, что произошло, был выпущен пока еще единственный отчет о рынке экспертных сетей и его опубликовала компания «Integrity Research». Достаточно подробный отчет, он пока является достаточно подробным и аналитическим, где можно черпать данные, на него многие ссылаются. Я приведу пару интересных слайдов из этого отчета. В частности, в нем показан рынок по состоянию на 2009 год, но он не сильно изменился и сейчас, потому что число игроков не сильно увеличилось. Если мы увидим, то самая большая экспертная сеть здесь GLGResearch, она здесь синим показана, она до сих пор занимает такое же доминирующее положение, сейчас в этой сети порядка 350 тыс. человек. Этой сетью пользуются и частные и венчурные фонды, и не только фонды, чтобы там консультироваться. Еще несколько цифр: если брать просто по количеству сетей, то 70% сетей приходится на США, 12% на Великобританию, 10% на Китай. Но это по количеству, а если вы посмотрите, какие это сети, то вы поймете, что США сейчас является держателем, наверное, 90% того, что связано с рынком экспертизы.

Слайд «Коммуникации и оплата экспертов».

На левом слайде мы видим, какие инструменты используются для общения с клиентами – синим обозначено телефонное общение, мы видим, что и в хедж-фондах и в венчурных фондах, как правило, коммуникационные платформы используют для того, чтобы в результате поговорить с клиентом по телефону. На втором месте в венчурных фондах стоит получение аналитических отчетов, а в хедж-фондах, в частных фондах на втором месте стоит личный контакт. Но мы помним, чем личный контакт закончился.

Еще один слайд демонстрирует небольшое различие между Америкой и Европой, как используются экспертные сети в Америке и в Европе. Это тоже понимание, как используются экспертные сети: есть абонентская плата, ее платят и используют экспертную сети или консультанта в рамках этой абонентской платы. Если брать тот фонд, где работал Скаурон, он заплатил 900 000 долларов той сети, в которой он работал. Понятно, что эти 900 000 были не на того эксперта, с которым это произошло, а фонд использовал экспертов этой сети часто, регулярно. Надеюсь, что кроме этого случая всегда он это делал честно.

Другой способ – использование экспертной сети так сказать «транзакционно». Получил консультацию и заплатил за это деньги. Мне кажется, в России чаще всего именно такая схема, я не знаю у нас абонентских форм работы с экспертными сетями. Если сравнивать, то мы видим, что Европа чаще использует такой симбиоз, когда есть и некая абонентская плата, и транзакционная. На этом примере видно и как общаются с клиентом, и как оплачивают.

Слайд «И все-таки прогнозы сбываются».

Следующий слайд. Дело в том, что отчет был приготовлен в 2009 году, и они написали себе некий прогноз – как они себе видят, как будет развиваться рынок экспертных сетей. Надо сказать, что в 2009 году они знали, что будет существенно меньше (?), но это было связано с кризисом, поскольку экспертные сети на Западе используются в основном для финансового рынка, и понятно, что, из-за того, что финансовый рынок «просел», «просели» и доходы экспертных сетей. Но при этом они достаточно оптимистично нарисовали их на следующий (год), но самое интересное, что, несмотря на то, что, как потом выяснилось, и рынок «просел» после 2010-11 года, видимо, они заложили более пессимистичную картину, а в жизни получилось более оптимистично. Одно «погасило» другое и эти цифры, которые здесь изображены, примерно соответствуют – сейчас рынок в районе 500 000 млн долларов. Надо сказать, что это для Америки не слишком много, но мы должны понимать, что это все же особый рынок.

Слайд «Виды экспертных сетей».

Несколько слов о том, какие виды экспертных сетей бывают. Я их разделил на три группы. Какой-то общей классификации нет, это не отчет, это некое общее понимание. Три группы: экспертные сети общего профиля, сеть судебных экспертов и отраслевые экспертные сети.

Слайд «экспертные сети общего профиля».

Экспертные сети общего профиля – это то самое «GLGResearch», та самая «Guidepoint Global», где нашелся такой «плохой» эксперт, сдавший инсайдерскую информацию – это те крупные сети, о которых мы говорили. Я сам являюсь членом этой сети, но, скорее, для того, чтобы потренироваться, а не для того, чтобы поработать экспертом. Вот примерно такой список задач есть у каждого эксперта, форма работы очень простая. Вы там регистрируетесь, нет сложных препонов, чтобы вам туда зайти. Но после 2011 года, если вы будете регистрироваться в одной из этих сетей, особенно в «GLGResearch», вас заставят пройти штук 20 тестов, что вы не «сдадите» инсайдерскую информацию, что вы не коррупционер. Т.е., никоим образом не связанную с вашими какими-то техническими способностями, а только с вашей этикой. Тут они уже «заложились» по полной программе, потому что доверие к сетям упало. Но, если вы все-таки эти препоны прошли, вам не нужно быть супер-экспертом, перед вами будут появляться некие задачи, из которых вы можете выбрать, что вы хотите, где вы хотите выступить в качестве эксперта. Цену в таких сетях, особенно общего профиля, люди назначают сами, как правило. Например, я говорю, что стоимость моего часа – 200 или 300 долларов, и это записывается. Соответственно, если будут задачи дешевле, то они мне просто не будут попадать. Я отбираю из тех задач, которые подходят под меня. Это не значит, что мне их сразу дадут, потому что дальше вступает в силу клиент. У клиента, соответственно, появляется список экспертов, которые способны решить его задачи. Он выбирает. И дальше, как я говорил, такие сети чаще всего приводят к личному контакту либо по телефону либо так, т.е.е, как правило, это некие коммуникационные платформы, которые позволяют людям просто встретиться.

Слайд «Еще примеры сетей общего профиля».

Еще сети. Вот «Askvisory» - там уже несколько десятков тысяч человек, не сотни, но зато она (верхняя сеть) объединяет порядка 60% генеральных директоров, они стараются специализироваться именно на менеджменте и оказывать услуги в области менеджмента. Вторая сеть «CognoLink» – я специально ее привел, она совсем другая – у них есть эксперты из разных областей. Например, как продавать какой-то товар в Китае или какое законодательство в Испании. У них такой набор экспертов, очень сильных, но из разных совершенно областей, и, если вам это интересно, вы заказываете у них экспертизу. Просто чтобы было понятно, какие бывают варианты.

Слайд «Сети, объединяющие судебных экспертов».

У нас это называется «люди, участвующие в судебной экспертизе». Это не только медицинская экспертиза, любая – во время судебных вещей всегда надо что-то экспертировать. Эти – даже не сети, а сообщества – появились задолго до цифровой эпохи. Я специально привел одним из примеров сеть TASA – она была создана в 1956 году. И, если мы говорим о такого рода экспертных сетях, можно сказать, что для них коммуникационные платформы выступили в роде неких порталов, которые были им в помощь. Т.е., функционировали задолго до того, как это происходило. Самая крупная сеть здесь – это Thomson Reuters Expert Witness, которая была создана путем слияния двух сетей, крупных и мелких. По количеству около 100 000 чел, по-моему. Она приближается к сетям общего пользования, о которых мы говорили.

Слайд «Отраслевые экспертные сети».

Третий вид сетей - «Отраслевые экспертные сети». Чтобы было понятно: объем экспертных сетей в мире сейчас порядка от полусотни до сотни. Точного исследования нет, но в 2009 году их было 40. Сейчас чуть больше, но не радикально. Если задаться целью, их все можно перечислить. Я привожу в примеры те, которые сильно отличаются друг от друга. Вот как раз медсеть «Sermo». Это не совсем классическая экспертная сеть, она больше похожа на профессиональную. Чтобы было понятно, чем отличается профессиональная сеть от экспертной сети: самое важное отличие, которое проговорили как раз во время кризиса, потому что стали обсуждать – что такое экспертные сети и откуда они взялись, и проговорили, что экспертные сети – это сети, где эксперты зарабатывают деньги. Во всех других – социальных, профессиональных – они не зарабатывают, скорее, на них зарабатывают. Либо они что-то делают, либо на них зарабатывают через рекламу. Очень важный способ монетизации.

Если взять сеть «Sermo» - она некий «переходный» вариант между профессиональной сетью и экспертной. Здесь врачи – она объединяет практически всех практикующих врачей – могут зарабатывать. Но зарабатывают они в основном за счет опросов. Им дают опрос, стоит участие в опросе долларов 20 – недорого, но зато тебе делают много опросов. За счет этого фармкомпании получают некие информационные «срезы» на рынке, им это нужно. И в этом смысле это все-таки экспертная сеть. Но большей частью они занимаются тем, что распространяют информацию между собой, и в этом смысле она больше профессиональная. Следующая сеть, я специально ее привел, это «VeriMed», классическая экспертная сеть медиков, она объединяет несколько десятков тысяч, не сотен, но это те люди, которые оказывают консультации либо больницам, либо фармкомпаниям так, как это делают эксперты.

Слайд «Еще пример отраслевой сети».

Еще один пример отраслевой сети – сеть педагогов, которая помогает ученикам, студентам сдавать экзамены экстерном. Если кто-то из ваших детей захочет поступить в американский вуз, обращайтесь в эту сеть, они знают, как это делать. Они работают на американском рынке и касается это только Америки, но помогают в т.ч. и молодёжи из других стран.

Слайд «Место сетевых экспертных сетей на рынке программных платформ».

Здесь помимо социальных сетей я привел информационную систему предприятий, потому что, как мне кажется, экспертные сети (лежат) где-то посередине между социальными сетями и информационными системами предприятий.

Правила создания контента – мы знаем, как в социальных сетях создается контент. Все, кому ни лень, все пишут. Facebook даже призывает: «Напишите, о чем вы думаете». Если мы говорим об экспертных сетях, то контент, который там появляется, он верифицируется – вы можете написать все, что угодно, но это не значит, что это будет опубликовано. И, если мы берем информационные системы, рассматриваем, как некие сети людей, то там вы не можете писать то, что хотите, вы должны писать то, что вам положено в рамках бизнес-процесса.

Взаимные обязанности – тоже важный показатель, который различает социальные сети и экспертные. В социальных сетях никаких обязательств у людей нет. То же самое касается и профессиональных сетей. У меня часто спрашивают: «ГосБук» - это профессиональная сеть или экспертная? Очень просто. Если у меня обязательств не возникает, то это, скорее, профессиональная сеть. Я согласился там быть, но я могу писать и могу не писать, обязанностей нет. В экспертных сетях у вас возникает обязательство. Вы подписываете некий электронный договор, что вы обязаны что-то делать. Если вы выбрали, а потом вдруг решили отказаться от консультации клиента, то вам запишут это в минус и, может быть, и уволят из этой сети. У вас есть обязанности, вы должны это понимать. Если сравнивать с информационной системой предприятия, то там у вас вообще трудовой договор, вы обязаны делать много, чего. 
Монетизация – в социальных сетях монетизируется за счет того, что… Даже если профессиональная сеть – собрали профессионалов и, значит, можно им оказывать профессиональную рекламу. Если собрали, допустим, «айтшников», то компания «Hewlett Packard» будет с удовольствием размещать там свою рекламу. Это основной тип монетизации. Иногда бывает, что эти профессиональные сети или социальные сети оказывают услуги своим же участника сети, такое тоже бывает. Как я говорил, в экспертных сетях вы продаете свои знания и это – основное отличие. Не на мне зарабатывают деньги, а я сам зарабатываю. Но, если брать информационную систему предприятия, вы там просто продаете себя и все, что вы можете делать.

Слайд «Мотивация экспертов и пути …»

По поводу мотивации экспертов – я здесь привел мысли, которые Тронд Анхейм, один из выпускников Массачусетского технологического института и один из создателей экспертной сети Yegii («Йеджи»). В этом стоит, может быть, и нам разобраться: в чем же мотивация, почему люди участвуют в экспертных сетях? Тут двояко: с одной стороны, труд людей в экспертных сетях обязательно должен оплачиваться. Я помню, кто-то сказал: «Когда тебе ее не оплачивают, то ты эту услугу захотел – сделал, захотел – не сделал». И когда мы говорим о бесплатной экспертизе, то она просто настроена на твою душу, а иногда возникают собственные интересы, почему ты сделал эту экспертизу. Поэтому оплата должна быть обязательной, это одно из условий существования экспертной сети. Но. Как показывает практика, это не является основным источником дохода большинства экспертов. И возникает вопрос: какова же мотивация? И оказывается, что мотивация – это участвовать в некоем общем деле и приобщаться к неким общим знаниям. Тронд Анхейм об этом тоже сказал. Это тоже мотивирует. Тут я должен с ним согласиться и сказать, что чуть раньше Питер Глур ввел такое понятие, как «Collaborative Innovation Network», т.е. такие общие инновационные сети, коллективные инновационные сети, и, надо сказать, что эта возможность оказаться в кругу, в коллективе умных людей, экспертов, является очень сильной мотивацией. И это нужно использовать. В частности, сам Тронд Анхейм частично пытается свою сеть сделать по такому принципу и называет ее Inside Network.

Слайд «Исследование мотиваций и технологий коллективного разума»

Перейдем к нам. В 2012 году фонд Бортника дал грант нам на исследования экспертных сетей, мотивации и т.д. Мы собрали группу интересных ученых из разных областей – социологи, психологи, математики, семантики. Их задача была – понять, что такое экспертная сеть, какие мотивы у экспертов, какие должны быть технологии. И родилась книга «Рождение коллективного разума», где собраны разные взгляды. И они должны быть. Дело в том, что один из примеров, который нам открыли психологи. Они сказали, что, если мы хотим создать сеть, построенную на обмене знаниями, она должна строиться на полном доверии. Такие сети должны быть прозрачны изнутри, это один из принципов. И об этом многие начинают сейчас говорить. Они понимают, что по-настоящему экспертная сеть, людей-экспертов, когда они становятся объективными, думают прежде всего о результате, а не о каких-то своих корыстных вещах, это полное доверие и открытость. И, может быть, кризис – помните, мы начали с кризиса? – был связан с тем, что в тех сетях, которые сейчас действуют, не заложено доверие?

Слайд «Кто и как оценивает эксперта»

Если брать международный опыт, есть несколько вариантов оценки эксперта. Когда вы только вступаете в сеть, просят, чтобы вас кто-то порекомендовал. Рекомендация является одной из ваших оценок, потому что другой пока нет. Второе, что касается тех сетей, где зарабатываются деньги, это связано с клиентом, который тоже говорит «да» или «нет. Когда мы обсуждали этот вопрос, мы поняли, что и те и те вещи не являются достаточно объективными. Приведу простой пример, связанный с клиентом: иногда вы можете сказать то, что клиенту не нравится. Это будет являться вашей экспертизой. И он может поставить вам плохую оценку, потому что он хотел услышать другое. То же касается рекомендаций: мы знаем, что эта процедура часто бывает формальной, когда мы получаем рекомендацию. Если говорить о том, как должны оцениваться эксперты, и к этому сейчас все склоняются, что экспертов должны оценивать сами эксперты. Взаимное рейтингование экспертов должно быть процедурой постоянной, потому что компетенция экспертов меняется. Сейчас он – эксперт в этой области, а через два года уже не является таковым, потому что уже не работает там, поэтому взаимной рейтингование является основной (оценкой). Из этой книги я привел одну главу, где Сергей Абрамов, директор института программных систем, придумал свой алгоритм объективного рейтингования экспертов между собой.

Слайд «Expinet: работа экспертов»

Мне разрешили немного порекомендовать экспертную интеллектуальную сеть, которую мы создали. Она так и называется «EXPINET». Пока она объединяет «айтишников», но это ничего не означает. Нам это было интересно, чтобы проверить те самые требования к сетям, организационные, которые есть. Мы заложили в прототип такой программы-платформы, хотя эта сеть существует, там не очень много народу, потому что приходится наполовину «вручную» управлять этой сетью, потому что прототип сделан, но он такой ручной. Там сидят реальные люди. Представьте, что Facebook не сам пересылал бы сообщения, а там сидели бы девочки и пересылали письма почтой. Вот у нас примерно так работает эта «штуковина», хотя там есть некий свой механизм. Надо сказать, что мы многое из того, что нашли ученые, подтвердили в этой сети. В частности – то, что люди готовы работать. Причем, многие участники этой сети хорошо зарабатывают, им не надо зарабатывать здесь. Но им интересно приобщиться к этому делу. И возможности коллективной экспертизы. Приведу маленький пример: если мы введем такое понятие, как «коллективное IQ», то коллективное IQ предприятия поднимается до уровня IQ ее руководителя. Он так выстраивает бизнес-процессы, чтобы IQ компании повысилось до его собственного уровня. Если мы говорим о социальных сетях, то там IQ падает. Потому что там умные люди, вступая между собой в споры, «гасят» друг друга и коллективный IQ в социальных сетях ниже, хотя информативность у них выше. Задача экспертных сетей поднять IQ за счет коллективной работы и сделать его выше IQ каждого. Ну, это некий идеал.

Слайд «Прототип программной платформы»

Как устроен этот сайт, программная платформа. Я одно только скажу, упомяну один блок, связанный с компетенциями. Когда мы говорили, как вести метрику измерения экспертов, то пришли к выводу, что самой лучшей метрикой, по нашему мнению, может, и не совсем правильно, является их компетенция. И мы взяли европейскую рамку компетенций в качестве такой метрики, и именно компетенции экспертов мы измеряем. Почему это оказалось для нас хорошо? Дело в том, что измерения компетенций приводит к тому, что у людей не возникает соревнований между собой. Потому что есть эксперты, у которых одна-две компетенции просто «зашкаливают», выше, чем у всех. А есть эксперты, у которых 10-15 компетенций, они небольшие, но зато очень широкие. У каждого эксперта свой спектр компетенций. И поэтому эти компетенции, которые все время измеряются, а мы еще заставляем экспертов все время работать, они все время у нас ведут такую факультативную работу по реферированию журналов. Мы считаем, что, раз ты эксперт, ты раз в месяц хотя бы на одну статью маленький реферат написать. Кстати, это тоже его обязанность, если он это не делает, мы его оттуда исключаем. И таким образом все время заставляем его измерять компетенции.

Слайд «Использование экспертной платформы»

Ну, и последний слайд – как мы себе видим дальнейшее развитие экспертных платформ. Нам кажется, что экспертные платформы – это инструмент, который должен позволять коммуницировать людей, но над этими экспертными платформами должны собираться те сообщества экспертов, которые используют эту экспертную платформу для своих нужд: IT-сообщества, как сейчас сеть «EXPINET», возможно, юристы, врачи. У нас сейчас врачи тоже просят такого рода платформу. А они уже, в свою очередь – не экспертные платформы, потому что это технологии - оказывают помощь либо государствам, либо фондам развития, либо частным фондам и т.д. На этом все.

ИА: - Спасибо, очень интересно. Позволю задать вопрос участникам семинара. У нас здесь собралось вполне профессиональное экспертное сообщество, те, кто ходят на наши семинары, как правило, относятся к профессиональным экспертам, по крайней мере, в том понимании, которое существует у нас в России. Мне очень интересно: насколько оно интегрировано в международное экспертное сообщество? Можно попросить поднять руки тех, кто является членом одной из упомянутых в выступлении экспертных сетей? Я лично являюсь членом «GLG». Более того, у меня отрицательный опыт работы с ними, потому что я за 10 лет работы проводил три или четыре консультации по весьма узкому профилю, а мне ни разу не заплатили. Несмотря на то, что обещали, а я давал все данные и т.д. В конце концов, после перехода в РВК в последние 5 лет ко мне перестали обращаться, очевидно считая, что я был экспертом, пока работал в транснациональной корпорации и перестал таковым быть, перейдя на работу в российскую компанию, тем не менее, факт есть. Но я увидел, что поднятых рук было совсем немного. Что свидетельствует о том, что наше экспертное сообщество плох интегрировано в ту международную платформу, которая сейчас уже зародилась и является таким существенным фактором организации деятельности всего бизнеса. Можно спорить о его эффективности, но трудно оспорить его полезность. По опыту работы с «GLG» я знаю, в частности, что это удобно не только для экспертов. Дело в том, что эксперт в такого рода сети в ряде случаев может выступать в роли потребителя и заказчика этой услуги, потому что ты, являясь членом некоторого сообщества, имея формализованный инструмент – ту самую платформу, о которой Борис в конце говорил, можешь легко найти человека, способного дать тебе любую консультацию, при этом вполне вероятно, что это анамизированная консультация, там зависит все от конкретных условий готовности эксперта ее оказывать и т.д., но практически на любую тему можно такого рода экспертизу найти. Я понимаю, что ко мне редко обращались потому, что у меня был задан очень узкий и жесткий профиль, я себя позиционировал как эксперта «по выводу международных компаний на IT-рынок в России». Понятно, что и компаний таких немного, и выводы эти происходят счетное число раз и т.д., на практике так и получилось. Но я во всем этом участвовал, откровенно говоря, по мотивации Бориса: не для того, чтобы заработать, а для того, чтобы включиться в сообщество и посмотреть на эти методы работы.
Я попрошу Екатерину дальше рассказать, потому что она занимается сейчас созданием другой экспертной платформы, экспертной сети, в которой мне тоже довелось участвовать и которую я тоже могу прокомментировать – это платформа Экспертного совета Правительства РФ. Я потом готов дать свои комментарии, если расскажете.

Е.М: - Хорошо. Спасибо за приглашение на семинар, я впервые участвую в этом формате, очень приятно. По поводу работы экспертного совета. Для меня эта история началась созданием Рабочей группы Международного финансового центра под руководством А.С.Волошина, когда выяснилась довольно интересная вещь (и потом она подтверждалась), что финансовое коммьюнити – очень специальное сообщество в России, в котором есть очень хорошее, качественное взаимодействие между регуляторами и участниками рынка. И очень сильный уровень развития саморегулирования на рынке всегда был. И чиновники – с одной стороны и участники рынка – с другой стороны, как выяснилось, всегда говорили на одном языке. Для очень многих секторов (рынка?) это довольно-таки редкость, как оказалось. И еще выяснилась удивительная вещь: что, если всех пригласить в комнату, которая для всех будет являться таким нейтральным «форматом», буквально посадить людей за круглый стол, где не будет соблюдаться, что Администрация Президента всегда (стоИт) выше, чем Правительство РФ, а сотрудник Аппарата Правительства – это всегда «круче», чем сотрудник Агентства при Правительстве, не говоря уже про участника рынка, то выясняется, что у людей есть общие интересы про развитие индустрии, в которой они работают либо со стороны регулятора, либо со стороны участника рынка, и если их посадить за стол и создать им комфортную обстановку, то решение находится очень быстро. И что мы делали при очень небольшом количестве собственных сотрудников – а нас, профессиональных сотрудников, было буквально два человека на тот момент – мы довольно активно и успешно организовывали работу сообщества примерно в 350 человек, просто «затыкая» дырки. Эксперт готов делать определенное количество работы, но он не готов делать все. Соответственно, задача модератора и организатора экспертной работы заключается в том, чтобы эти «дырки» идентифицировать и вовремя их заткнуть. Потом случился с аналитическим центром форум проекта «Открытое правительство» и выяснилось, что эта модель может быть повторена, реплицирована и т.д.

Несколько моих соображений и наблюдений за эти два года, что мы этот проект ведем. Во-первых, выяснилось, что плох тот эксперт, который: а) не любопытен и б) не готов поделиться своим знанием. Всегда можно в правильной и комфортной обстановке задать человеку вопрос, правильно задать вопрос и ты получишь ту информацию, которая тебе нужна. Поэтому у нас вопроса «Как вы мотивируете людей?» честно говоря, никогда не возникало, потому что если искренно интересоваться мнением человека, он совершенно искренно им поделится.

Вторая вещь, почему наш формат, мне кажется, оказался востребованным на уровне Правительства – мы смогли продемонстрировать достаточно высокое качество, и оно выражается в нескольких вещах. Во-первых, мы смогли организовать достаточно большой пул, из которого быстро по потребности собирается необходимый набор экспертизы. Вторая очень важная вещь – мы довольно неплохо, на мой взгляд, модерируем экспертную работу, и эта модерация – двусторонняя. Плохой сценарий – Правительство «выплевывает» из себя какой-то 400-страничный документ и говорит нам сказать за два дня, что мы думаем на эту тему. На это невозможно ответить ничего, кроме того, что – очень плохо, что такой большой документ дали всего на 2 дня. Первая часть модерации состоит в том, чтобы уточнить вопрос: что вам точно нужно знать? Что на самом деле вы хотите нас спросить?

Вторая вещь, которую мы заметили: в России эксперт обычно с большим трудом отвечает на поставленный вопрос и обычно рассказывает, что он знает, а не то, о чем его спросили. И есть некая работа все-таки получить ответ на поставленный вопрос, потому что поставленный вопрос эксперту в определенных ситуациях может казаться неуместным, глупым, неразумным, но чиновник ведь дошел в своей жизни до ситуации, когда он спрашивает: «Вот здесь мне нужно зеленое или синее?» Ему не хочется вдаваться в дискуссию, почему зеленое или синее (а вообще нужно другое и на другом берегу реки), ему нужно добиться от эксперта ответа на вопрос: зеленое или синее.

Вещь, которую мы очень активно делаем, называется кросс-дисциплинарность, и еще мы активно делаем – мы собираем мнения разных экспертов по одной и той же истории. Мы очень редко транслируем мнение какого-то одного эксперта по данному вопросу. Мы пытаемся отразить все собранные точки зрения и, как мне кажется, эксперты, которые с нами работают, тоже очень ценят возможность пообщаться друг с другом и протестировать свои версии- идеи- соображения. Иногда интересные вещи обнаруживаются просто при сверке данных или графиков друг друга. Истина обнаруживается посередине стола, а не у одного из участников.

В чем пока наша история пока не очень успешна – мы бы очень хотели работать больше с немосковскими экспертами. Для этого пытаемся развивать различные IT-платформы и прочее, не совсем это получается. Частично это связано с тем, что, когда Правительство просит нас об организации какой-то экспертизы, им важен не только контент, но и люди, которые за ним стоят. Поэтому в основном работаем с теми людьми, которые известны и понятны, имена и фамилии которых более-менее на слуху. И эти люди не всегда готовы проводить часы или дни или даже минуты, общаясь на каких-то Интернет-платформах. Т.е., мы работаем только в формате живого общения, и это налагает известные ограничения на количество людей, с которыми возможно работать. Как с точки зрения количества людей, так и с точки зрения их территориальной дислокации. Это наша большая задача на год-полтора.

И.А.: - Спасибо, Екатерина. Я позволю себе задать пару вопросов, которые лично для меня любопытны, надеюсь, что и для других участников семинара – тоже. Я помню, что, когда Экспертный совет Правительства создавался, там был задуман такой двухступенчатый порядок и, когда нас в первый раз собирали в Белом доме как членов экспертного совета, уже не помню, кем отобранных, но отобранных единократно и более-менее «сверху», там одновременно с этим запускался процесс формирования, так сказать, «второго пула» набора. Обещалась ротация и было некое открытое рейтингование и голосование. Эта работа увяла, продолжилась и предполагает ли она развиваться, или она уже состоялась, а я просто не заметил?

Е.М.: - Ответ на этот вопрос сложный, многосоставный. Действительно, мы предполагали, что у нас будет некий изначальный состав, в котором будет некая ротация, и будет выдвижение экспертов экспертами для какой-то дополнительной варификации. Идея довольно тяжелая в реализации в условиях того, что ты действительно должен работать с тематиками, в которых понимает небольшое количество сотен, если даже не десятков, людей. Мы провели какой-то этап расширения экспертного пула, сбора предложений и т.д. и т.п., а дальше случилась довольно забавная бюрократическая история, когда мы одновременно пошли в процесс согласования регламента работы экспертного совета в Аппарате Правительства и там «увязли». Этот процесс идет «уже?» полтора года. Процесс увязки регламента работы с составом экспертного совета тоже продолжается. Как мы выходим из этого положения? Мы говорим, что экспертный совет – это дурацкое слово, потому что на самом деле это некая экспертная сеть, поддерживающая работу Правительства РФ. На самом деле, мне кажется, что это более правильно и корректно, потому что «экспертный совет» предполагает, что там есть какое-то руководство, какие-то лидеры, которые принимают решения, а этого, на самом деле, хотелось бы избежать. Хотелось бы, чтобы было сообщество людей, которые по разным причинам инвестируют свое время в то, чтобы помогать Правительству РФ принимать более осмысленные, взвешенные, информированные решения. И, раз мы затронули тему про регламент работы экспертного совета с бюрократической точки зрения, история в существенной степени работает на репутации и на каких-то личных персональных историях, потому что понятно, что какие-то части правительства не хотят, чтобы какие-то вещи подвергались большому рассмотрению, осмыслению, детализации и т.д. Вокруг этого все время что-то происходит. Хорошо, что у нас есть департамент по делам Открытого правительства в Белом доме, который очень сильно встроен в информационные процессы и за счет этого мы какие-то вещи успеваем сделать вовремя, получить доступ к информации и т.д. До формирования экспертного совета я бы видела этот процесс как постоянный, потому что мы, действительно, хотим добиться того, чтобы как можно больше людей имело возможность – и в этом и заключается идеология работы Открытого правительства, его идея – принять Правительству информированное решение, имели удобную возможность это сделать. И круг этих людей не должен быть ограничен никаким финальным списком.

И.А.: - Катя, спасибо. Это примерно соответствовало моим представлениям, я, правда, не знал мотивировки этого. Но то, что процесс превратился в вялотекущий без фиксированного срока и это отличается от изначального заявленного, это я более-менее увидел. Кстати, тогда очередной вопрос участникам: можно попросить поднять руки тех, кто является действующим членом экспертного совета правительства? Есть кроме меня еще кто-то?

Е.М.: - Есть люди, кто является членом, но об этом не знает. Михаил, например (М. Гельфанд).

И.А.: - А второй вопрос: кто-нибудь участвовал в том самом голосовании, когда шел дополнительный отбор? Кто-нибудь есть, кто был в списке дополнительного отбора экспертов в члены экспертного совета? Вон я вижу Евгения Борисовича. Хорошо, еще один камешек в огород: похоже, что экспертные аудитории не слишком сильно пересекаются. Экспертное сообщество в каком-то смысле фрагментировано. Понятно, что работа на экспертизу для Правительства имеет определенную специфику в силу специфики работы самого Правительства, а кроме того она еще обладает такой статусной особенностью: с одной стороны, Правительство заинтересовано в привлечении к себе статусных людей, а с другой стороны – формальное участие в экспертном совете Правительства вроде бы повышает статусность участников, поэтому понятно опасение, которое здесь высказываю: не приведет ли это в результате к тому, что сформируется такая «кастовость» в экспертном сообществе? Тех, кто достоин быть в экспертном совете, работающем на Правительство и тех, кто не достоин.

Е.М.: - Я очень-очень надеюсь, что кастовости не будет. И для меня лично очень большая задача – расширение нашего экспертного сообщества за пределы Москвы, потому что мне кажется, что пока самая большая граница – между физически доступными экспертами и физически не доступными, просто из-за удаленности. И вторая важная вещь, которую вы сказали: мне кажется, что действительно очень важный фактор – мы работаем не с министерствами. Мы помогаем Правительству РФ принимать решения, а его полномочия – кросс-дисциплинарные, мы не всегда имеем дело с узкими профессиональными вопросами и за счет этого еще мы говорим, что мы работаем не со всем множеством экспертов, доступных в РФ, а с неким подмножеством, которые понимают вопросы перераспределения бюджетных средств, например, уточнения курса политики РФ в целом, не говоря о каких-то узко профессиональных историях.

И.А.: - Спасибо, я тогда позволю себе предоставить некую обратную связь, думаю, что это тоже может быть любопытно участникам семинара. На самом деле, я повторю то, что я говорил совсем недавно, когда была годовщина Открытого правительства. Там обсуждался вопрос, насколько эффективно оказалась организована работа Открытого правительства. Мой «фидбэк» заключался в том, что это замечательная инициатива и явно полезные инициативы, явно полезные проекты и видно, что это, действительно, принимается во внимание, но при этом работа по механизмам Открытого правительства, а в ней – деятельность Экспертного совета занимает очень большую поддерживающую роль, жутко нетехнологично устроена. Как раз та проблема в регионах, о которых вы говорите, в той же самой «GLG», например, решается совершенно «на автомате». За счет этих самых экспертных интервью по телефону. Люди, входящие в состав экспертного совета Правительства, как правило – в силу своей статусности, а она не на пустом месте – сильно заняты, и им часами сидеть в Интернете на сайте правительства, который еще не очень хорошо структурирован… У них просто нет физической возможности. А собрать в «очном режиме» встречи –заседания рабочих групп, что в реальности делается по конкретной теме, тоже задача совершенно не тривиальная, потому что сложно согласовать конкретное время для многих людей. А подобного механизма, как в «GLG», когда можно назначить телефонное интервью, которое может быть либо непосредственно с заказчиком, либо с председателем проектного офиса, условно говоря, который дальше в удобное для меня время задаст мне вопросы по телефону, и я на них отвечу. Не тратя ресурсов и укладываясь в фиксированный промежуток времени. А дальше уже – техническая работа по обобщению этого и сведению в документ, который рассылается на акцептование. Ничего похожего в настоящий момент здесь нет. Мне кажется, что в работе очень важное и очень полезное начинание, связанное с организацией экспертизы для Правительства, сегодня вопрос о технологизации работы с экспертной сетью, он чрезвычайно важный. И главное, я уверен, что правильное, корректное решение вопроса технологии организации работы в т.ч. решит проблему доступности для экспертизы не только из Москвы. Потому что, действительно, сейчас все сводится к тому, что реальные очные собрания трудно организовать и вечно они приходятся на крайне неудобные моменты времени. И в результате по одной теме все время собираются переменные составы, люди не вовлечены в обсуждение... И, если сделать более технологичным прочес, связанным с интервьюированием – понятно, что это требует увеличение ресурсов проектного офиса – это может резко повысить эффективность, как мне представляется. Этот «фидбэк», надеюсь, потом продолжат, а сейчас я хочу попросить Михаила рассказать… Знаете, я был бы очень благодарен вам, если вы мне разъясните: профессиональная экспертиза – это тавтология или оксюморон? Как вы думаете?

М.Г.: Еще может быть непрофессиональная экспертиза. На самом деле, с Экспертным советом Правительства, действительно, анекдот, потому что сказано, что там должны быть люди – специалисты по бюджетному процессу и выбору стратегических направлений движения государства, а я явно таковым не являюсь. Я буду говорить про научную экспертизу как про совершенно конкретную область деятельности. Игорь Рубенович упомянул тут об Академии наук – мне только что переслали письмо из института: «В рамках действующего соглашения между АН и «ООО Российской венчурной компанией» РВК обратилась с просьбой к российской АН оказать содействие в организации экспертизы и оперативном подборе экспертов для проведения научно-технической экспертизы инновационных проектов», сказано – каких. «Прошу в срок до 10 июля дать свои предложения по кандидатурам экспертов». Дальше – еще чудеснее, наябедничаю: «Кроме того, прошу вас дать свои предложения по кандидатурам экспертов в формируемый экспертный пул для «ООО РВК» для проведения экспертизы инновационных проектов», тоже сказано – по каким направлениям, на регулярной основе. ««ООО РВК» предлагает включить в формируемый экспертный пул 10-15 ученых, имеющих звание академик или член-корреспондент Российской АН». Во-первых, мне интересно, кто это сделал. Подписано Сергеем Михайловичем Алдошиным, вице-президентом, достижения которого на ниве экспертизы, я думаю, более-менее общеизвестны как в комиссии по оценке результативности академических институтов, так и в оценке некоторых физико-химических изобретений. Это я нажаловался. Теперь – про научную экспертизу. Основные принципы, как мне кажется, экспертизы научных проектов… Тут было голосование – кто входит в какие экспертные сети. В академической науке, по-видимому, такого понятия особенно нет, но есть экспертные панели в разных «деньгораздающих» организациях. Мне тоже интересно посмотреть – кто входил в какие-нибудь международные панели каких-нибудь грантовых агентств? Есть, и не меньше.

Принципы: первый – это компетентность. Эксперт должен быть компетентным. Ровно в области того проекта, который ему направили. Это не надо понимать слишком узко. Он не должен быть специалистом ровно в этой области, потому что тогда возникает слишком большая личная заинтересованность, даже в отсутствии прямого конфликта интересов, у него буду слишком глубокие личные идеи. Но это должно быть рядом. Понятно, что экспертиза должна быть прозрачна: должны быть прозрачные регламенты, отзывы – если это не частный фонд – возвращаются заявителям… И вещь, которая, по-видимому, отличает научную экспертизу от экспертизы проектов коммерческих. Есть принцип, которые, по-моему, важен и не всегда явно формулируется: принцип соразмерности. Если у вас молодежный конкурс, то вы не делаете панель из пяти нобелевских лауреатов, чтобы его судить. Это же касается оплаты экспертов – ее, как правило, не бывает, только, если это не член панели, которому оплачиваются расходы. Обычно за экспертизу не платят. А более точный эффект такой, то, что я наблюдал: обычно платят, так сказать, не очень развитые страны – Словакия, Россия, у которых ощущение, по-видимому, что просто так на них работать никто не будет. Не знаю, откуда оно берется, но оно есть. И, понятное дело, отсутствие конфликта интересов, отсутствие личной заинтересованности – это у всех есть. Как это преломляется в России?

Во-первых, есть потеря компетенции экспертов во многих направлениях. Многие направления представлены одной группой, хорошо, если двумя. Если две, то они экспертируют друг друга, если одна, то как-то это получается. Такой «эффект маленького мира»: страна большая, но слой людей, компетентных в каждой области, очень маленький. На самом деле, отсутствие традиции экспертизы в полном смысле. В СССР не было понятия «научной экспертизы», было понятие «согласование проекта в ГКНТ». А это совершенно другая процедура, она, может быть, разумная и не противоречивая. Второе понятие было – академик пошел, и «выбил» Госпрограмму. То же самое. Некоторая экспертная работа ведется, но правила ее совершенно другие, в России эта традиция не согласования, а открытых конкурсов прививается с очень большим трудом. По опыту Сколково могу сказать, что все думали, что вот приедет «MIT» и научит нас правильной и разумной экспертизе, но получилось, по-моему, совсем наоборот, как в анекдоте про еврейского мальчика, которого отдали в учебу русскому попу, чтобы он избавился от акцента. Когда через год за ним приехали, поп сказал: «И таки у вас очень хороший мальчик!»

Отсутствие заинтересованности и конфликта интересов – это тоже существенная вещь, потому что очень многие экспертные советы, панели и т.п. состоят из действующих научных администраторов. И, каким бы ангелом ни был директор института, если он своему институту не выбьет два-три гранта, то он станет злодеем, потому что не заботится о людях, которые ему поручены. Там конфликт интересов, встроенный очень глубоко в самое начало, и он, скажем, в деятельности ФЦП «Кадры», которое задумывалось очень хорошо, или ФЦП «Исследования и разработки», но они были «убиты» тем, что решения принимали действующие администраторы. Про прямую коррупцию я не говорю – за очевидностью.

Отсутствие адекватных регламентов – на самом деле, многие грантовые программы, которые не задумывались с целью «все распилить», но в отсутствие грамотных адекватны регламентов они не работают. В хороших случаях экспертиза сводится к случайности. Когда из министерства присылают пачку проектов с просьбой «послезавтра их все оценить» - ясно, что так не бывает. Это стандартная ситуация, потому что это заложена в закон, согласно которому на всю процедуру конкурса отводится месяц, включая подбор экспертов. Еще две вещи, специфические для России. Они прямо не относятся к экспертизе, но, по-моему, являются существенными: это несбалансированность уровня конкурсов. Естественно думать, что в конкурсе, где участвует молодежь, распределяются деньги меньшие, чем в конкурсе, в котором участвуют завлабы. Вот в РФФИ ничего подобного не происходит. Там стандартна ситуация, когда пост-док выигрывал гораздо больше денег, чем его руководитель – в нормальной ситуации, когда пост-док слабее руководителя, просто потому, что таковы условия. И из того, что научные деньги – до сих пор, во всяком случае – были довольно маленькими, с одной стороны, приходилось для поддержания работы лаборатории иметь много этих маленьких грантов, если нет административного ресурса и не выбивается «большой» контракт, а с другой стороны – сейчас везде прописан запрет на двойное финансирование, и вот из этого получается много всего «смешного»… Какие были попытки с этим справиться? Первая, и до сих пор успешная – это, все-таки, в РФФИ, которая была сделана в начале 90-х, более-менее по образцу национального фонда США. И это, по-моему, оказался фантастически устойчивый механизм. До сих пор, не смотря на все ужасы, которые произошли за 20 лет, очень многие панели РФФИ работают адекватно. Там не очень большие деньги распределяются, нет, за что продавать душу, но видно, как зависит, скажем, от адекватности официального руководителя соответствующего отдела. Но сам механизм, тем не менее, оказался очень устойчивым.

Мегагранты. Это первая попытка, не считая Сороса, использовать в России иностранных экспертов. Там тоже было не без проблем, но опыт, скорее, успешный, потому что было видно, как расходятся оценки двух российских экспертов и двух иностранных. Было поучительно. Была программа ФЦП-Кадры, в которой тоже постулировалась независимая экспертиза. Там, кроме проблем с регламентом, было еще одно: там пытались жестко заформализовать экспертную анкету. Там были баллы, из которых влево-вправо вырваться было невозможно. При этом сами пункты вопросника были сформулированы не очень хорошо, и эта бюрократическая попытка сделать прозрачно путем совсем всего, тоже являлась не успешной. Сейчас РНФ, имея в виду, как мало у них было времени, сработал по многим направлениям довольно хорошо. Очень зависит от того, кем это направление представлено в совете, но, тем не менее, во многих науках большого ужаса там не было. И что можно с этим делать? Первое. Соблюдая принцип соразмерности: во всех конкурсах, где распределяются сколько-нибудь заметные гранты, необходима двухступенчатая система. Сначала экспертная оценка внешними экспертами по вопроснику с баллами, и потом – панельное обсуждение и заявок и экспертных анкет. Собственно, в РФФИ так и сделано. Как будто бы так было сделано в конкурсе «Мегагрантов» и в конкурсе РНФ, но разница в том, что и там и там была одна панель по всем наукам, поэтому от каждой науки там было 2-5 представителей и фактически, это разбивалось на микро-панели с числом участников, потому что физики могли торговаться с биологами по количеству грантов по физике и по биологии, но в распределении этих грантов «внутри» биологии, конечно, друг к другу никто не ходил. Была такая пародия на панель без адекватного обсуждения.

Для совсем больших проектов может быть разумным механизм интервью, когда то, что было в Сколково, то, что сейчас в Европейском исследовательском совете делается, осенью я посмотрю, как это делается точно. Если проект, действительно, большой, то возможность членам панели задать вопрос и получить ответ – я не знаю, честно говоря, как бы это могло работать в РФ, но поэкспериментировать с этим стоило бы. Кроме конкуренции гранто-получателей еще должна быть конкуренция гранто-давателей. У нас очень боятся дублирования, поэтому «разводят» функции. На самом деле, интересным и простым решением было бы просто разделение РФФИ формально на РФФИ по четным и по нечетным годам. Чтобы это было два разных грантовых агентства, финансирование которых зависело бы от результатов их гранто-получателей. Н самом деле, скажем, НСФ работает примерно так, потому что так есть отделы с довольно сильно пересекающимися областями ответственности. И многие гранты можно подавать и в один отдел и в другой. А «вес» секции и «вес» офицера этой секции зависит от того, насколько успешный проект он выбрал. И тогда он кровно заинтересован в том, чтобы собрать наилучшую возможную панель и наилучшим образом к ней прислушиваться, потому что, фактически, это люди, которые его консультирую. При том, что ответственность остается за офицером панели. Такая специфическая вещь, которая в Америке хорошо работает: когда в панели сидят гранто-получатели, которые получили этот грант в другом сезоне. Тогда, с одной стороны, снимается проблема конфликта интересов, потому что они в разных фазах находятся, с другой стороны – ясно, что компетентность панели не ниже компетентности авторов тех проектов, которые они подают. Довольно часто бывает так, что подается проект гораздо лучше, чем люди, которые сидят и его оценивают. Я уже говорил, что полная беда – это научный администратор, как член совета или панели. И вещь, которая не очень, видимо, оценивается в министерстве, это проблема координатора. В министерстве чиновники, которые, скажем, мега-грантами занимались, считали, что координатор – это очень простой человек: он берет список проектов, проверяет по вопроснику – классификатору области проекта и то, что эксперт написал или подбирает где-то в базе данных, и распределяет. Это совершенно не так. Во-первых, нужна некая компетентность, чтобы понять, что даже внутри некоего классификатора могут быть достаточно разные области, нет таких дробных классификаторов, да и не нужно, а часто нужно подобрать внешнего эксперта, которого в твоей базе нет, потому что базы не охватывают всех областей. И, кроме того, - опять-таки некая российская специфика, потому что, я так думаю, что, будучи координатором любого конкурса, я не смогу, конечно, вытащить проект из самого низа в середину, но любой, сколь-нибудь грамотно написанный проект я, как минимум, смогу довести до панельного обсуждения в ситуации, когда есть эксперты и отсечка по баллам тех, кто потом идет на более подробное обсуждение. Просто за счет выбора более или менее злых-добрых экспертов, если я про них знаю. Адекватный координатор в научной экспертизе является ключевым человеком.

Я еще упомянул бы два выбивающихся из общей структуры проекта. Есть проект «Диссернет» - это настоящая сеть с нормальным сетевым взаимодействием. Он не позиционируется как экспертный совет, там на флаге написано, что мы не осуществляем содержательные экспертизы, просто проверяем хронологию кавычек и источников. Это на самом деле не совсем правда. Особенно это перестало быть правдой, когда мы стали заниматься медицинскими диссертациями, потому что там мы решили, что с таким чисто формальным принципом «текст совпадает – его за ушко, да на солнышко» надо обходиться осторожно. И медицинские диссертации просматривают именно специалисты-медики, причем после них еще я просматриваю, но уже как биолог. Чтобы «не навредить». И есть проект «Корпус экспертов», который… Я просто был координатором одного из опросов, лучше бы рассказали люди, которые в него глубже вовлечены, но, тем не менее, это тоже попытка создать такую экспертную сеть путем опроса по «снежному кому», когда есть первоначальный пул выборщиков, сформированный формально по библиометрии. Но они не «автоматом» попадают в сеть, а могут предлагать кандидатуры. Библиометрия служит признаком формального профессионализма. Но не как признак того, что человеку можно доверить экспертизу. А дальше они называют имена, и человек, который набрал какое-то количество рекомендаций, уже считается входящим в этот корпус. По некоторым наукам это было сформировано и оказалось очень полезно и во многих местах востребовано. Не так широко, как хотелось бы, но реально люди этим пользуются. Собственно, вот, все.

И.А.: - Спасибо. Мне кажется, что в этом выступлении затронута другая сторона общего явления, которое мы называем экспертизой, связанная с экспертизой, условно говоря, селекционной, отбирающей кандидатов на выделение ресурсов. То, о чем говорилось до сих пор, скажем, в рамках того же «GLG», там ведь экспертная сеть работает не как инструмент селекции, а как инструмент предоставления консультаций. На самом деле, тоже самое в экспертной сети Правительства: те проекты, которые проходят через экспертизу Открытого правительства, они не подразумевают выделения ресурсов и конкретных «интересантов» конкретной экспертизы. Это две разных стороны одного и того же процесса. Процесс, который мы в целом называем экспертизой, очевидно, включает и то и другое. И мне здесь хотелось бы сделать несколько замечаний. Во-первых, в чисто формализованном экспертном отборе, в т.ч. и в научных проектах, к сожалению неизбежно присутствует фактор «отрицательной селекции». Попросту говоря, это механизм обеспечения некоторой обратной связи на следующем шаге итерационного процесса, и задача – уменьшить энтропию в этом процессе, в этом шаге. В идеале система должна быть такой, что на каждом следующем этапе качество повышается (?). На практике, однако, это не только связано с процессом экспертизы, это целый ряд других процессов, в т.ч. и в научной и в управленческой среде, приводит к тому, что вместо положительной обратной связи мы получаем отрицательную обратную связь, когда каждый следующий этап ухудшает предыдущий.

М.Г.: - А можно пример?

И.А.: - Пример элементарный. Вопрос академической мобильности в науке. Он ведь связан не только с традиционными критериями, а с критериями, условно говоря, «перемешивания крови» научных школ. Если в каждом университете на преподавательские позиции набирают только своих учеников, каждое следующее поколение будет хуже предыдущего.

М.Г.: - Это то, что в России называется «научная школа».

И.А.: - Это то, что в России является общепринятой практикой, к несчастью. Но при этом почему-то никто не ставит вопрос академической мобильности именно в формулировке «создания положительной обратной связи для повышения качества преподавательского состава в университетах».

М.Г.: - Нет, не ставят…

И.А.: - Другой пример. В 30-е годы прошлого века институты создавались «под академиков», а где-то с 60-х годов академиками стали становиться директора институтов. Это тот же пример отрицательного отбора, когда каждое следующее поколение оказывается по своему научному качеству хуже предыдущего. Вот тот пример с научным администрированием, который вы привели. Так вот, здесь, как ни странно, еще любопытный пример: аналогия из другой области. Транспортная задача. Всем, кто занимается урбанистикой и организацией городского пространства, что радиально-кольцевая структура, как в Москве, является наихудшей возможной транспортной структурой. А оптимальной – это тоже хорошо известный факт – квадратно-гнездовая с одной диагональной магистралью. Пример – Манхэттен. Там все такое квадратно-гнездовое и есть еще «диагональный» Бродвей. Формально доказывается, что это – оптимальная транспортная структура. Так вот, как ни странно, примерно то же самое относится к экспертизе, ориентированной на распределение ресурсов. Кроме стандартно формализованной процедуры, обеспечивающей «селекционный» процесс, который в принципе должен приводить к повышению энтропии, по законам термодинамики и ухудшению… У нас, правда, открытая система…

М.Г.: - Там энергия все время перетекает! Как только люди начинают оперировать вторым законом термодинамики, я сразу теряю нить.

И.А.: - Я немного иронически про это сказал, потому что я понимаю, что здесь можно говорить только в терминах открытой системы неравновесной термодинамики, но суть не в этом. Суть в том, что кроме такого формализованного механизма для обеспечения эффективности необходим еще абсолютно ортогональный перпендикулярный механизм, основанный, скажем, на доверии или на ресурсном управлении абсолютно авторитарно. Это то, что было в СССР, когда Королев мог пойти к Сталину и за счет своего авторитета получить неограниченные ресурсы. На самом деле, как ни странно, то же самое существует на другом основании в развитых капиталистических странах, где люди, являющиеся очень богатыми людьми с интересом в этой области, типа Билла Гейтса, могут взять и выделить практически неограниченное финансирование на то, что им лично кажется интересным. Сочетание формализованного процесса с такими абсолютно субъективистскими, базирующимися исключительно на авторитетах и репутациях, судя по всему, приводит к оптимизации процесса. А любой перекос в ту или иную сторону его разрушает. Нет?

М.Г.: - Это правильно. И вы сказали ровно тот пример, который я хотел, что это решается за счет множественности источников и разнообразия источников, я про это не сказал. Вы у меня «изо рта вынули», правда, я хотел не Билла Гейтса в пример, а мед.институт Говарда Хьюза. Там нет никакого конкурса заявок. Там офицеры время от времени звонят профессорам и говорят: «Поздравляем, мы тебя выбрали!». Я немного утрирую, но примерно так.

И.А.: - Кстати говоря, в DARPA примерно так же. Там абсолютно авторитарное решение ответственного офицера.

М.Г.: - Да… В формализованной системе есть этап панельного обсуждения. И на панельных обсуждениях – тех, в которых я участвовал и тех, которые я организовывал, там до некоторой системе работает то же самое, потому что, вообще говоря, член панели, если ему очень нравится какой-то проект, и он вошел в обсуждение, он может «продавить» панель, как говорится, «голосом». В тех регламентах, которые я писал в свое время, для того же конкурса «Мегагрант», там есть формальное отсечение по баллам тех, кто попал на панель и тех, кто не попал, я предусмотрел, что координатор может своей властью любого человека «снизу» «вынуть» на панельное обсуждение и сказать, что – да, баллы у него низкие, но я не согласен с экспертами, посмотрите. На самом деле, эту разбалансировку можно «запаивать» в сами процедуры. В РФФИ можно было дать каждому члену экспертного совета провести один грант так, как он считает нужным. И внести это в правило. У него есть один «джокер», который он может в любой момент вынуть. Ясно, что вы никогда такой регламент нигде не утвердите, но, в принципе, в такого сорта вещи я всегда пытался играть.

И.А.: - Спасибо, это полностью моей точке зрения соответствует, к сожалению, «де-факто» в деятельности государственных организаций, в т.ч. институтов развития такой регламент никто никогда не утвердит. Я попрошу Дженнифер рассказать, как в Сколково организовано.

М.Г.: - Я только одну фразу добавлю, что в российской системе, тем не менее, это вещь опасная, потому что мы знаем человека, который ходит к Президенту и получает все, что считает нужным. И это далеко не Королев.

И.А.: - Я не буду комментировать. У нас осталось еще два выступающих, а потом будем задавать вопросы и дискутировать. Дженнифер Трелевич, прошу.

Д.Т.: - Спасибо. Страшно думать, что я уже 20 лет работаю с экспертными сетями и организатором научной экспертизы международных конференций и журналов. В Сколково, где я организовала экспертную коллегию. К сожалению, я не отфильтровала такие заявки, которые вы получили, и поэтому я могу защищать себя до какой-то степени. Нынче на проекте «StartBase», который является совместным проектом между компаниями «В2В-Center» и РосНано. В «StartBase» входят несколько реестров. Есть реестр инновационных продукций, нано-производителей, есть несколько оригинальных реестров, и т.д. Я думаю, что Михаил затронул тут очень интересную тему, я хотела бы развить ее – использование зарубежных экспертов вместе с российскими экспертами. Есть несколько мотиваций. Первая, как Михаил сказал, бывает, когда необходимо получить экспертизу по какой-то узкой теме, что все люди в России, которые занимаются этой темой, являются членами команды, которая дала заявку. Если мы работаем только с российскими экспертами, в такой ситуации явно будет конфликт интересов. Это касается не только Сколково. В научной сфере бывает очень часто. Я знаю, что, когда я работала над своей докторской, там было четыре лагеря в разных странах. Было два – в Штатах, один – в Германии и один – в Англии. Они были очень враждебны друг к другу. Необходимо было взять экспертизу из каждого, чтобы получить какой-то нормальный результат. Хорошо, это касается научной экспертизы, не особенно бизнес-экспертизы. Но есть такая проблема, особенно, когда необходимо заключить договора с экспертами, если им платишь. И, когда у тебя есть сроки для проведения экспертиз, необходимо заключить эти договора заранее. В такой ситуации мы должны иметь в базе достаточно экспертов, чтобы подобрать квалифицированных экспертов и не перегрузить их. Если по какой-то теме экспертов в базе мало, то мы отправляем им каждую заявку. И мы заметили, что обычно эксперты не зарабатывают на экспертизе, даже при том, что они, возможно, проводят много экспертиз, все равно у них есть ежедневная работа. И поэтому нужно иметь достаточно специалистов, чтобы их не перегрузить. Но есть ограничения. В Сколково решили создать Международную экспертную коллегию и даже поставили цель, чтобы половина была зарубежных экспертов, половина – российских. По моему опыту, есть несколько моментов. Во-первых, хотела бы заметить, что, когда говорят о зарубежных экспертах, надо иметь в виду, что это не только западные эксперты, а еще из Казахстана, Белоруссии – в нашей базе. Попробуйте найти в российских институтах достаточно хороших экспертов по скотоводству. А в Казахстане такие есть, кто работает в этой сфере давно. Если работать с российскими экспертами, если – с зарубежными, получишь какие-то нормальные результаты. Но здесь несколько проблем. Первая. По моему опыту, лучше работать, по возможности, с русскоязычными экспертами. Почему? Если необходимо организовать переводы, это очень сложная тема. Либо твоя организация должна организовать переводы сама, а если это сложная деловая или научная тема, то необходимо, чтобы люди, переводящие это, сами являлись экспертами в данной области. Это очень непростой вопрос. Если ты работаешь с внешним агентством, то контролировать качество и сроки и стоимость – это ужасный вопрос. Можно получить или очень поздно или совершенно некачественные, сделанные какими-то студентами, которые не разбираются в данной области. Либо ты отдаешь эту задачу заявителю и это несправедливо, поскольку тогда мы отфильтровываем только таких заявителей, которые могут объяснить свою идею и на русском, и на другом языке. А это нехорошо. Но при этом можно работать с русской диаспорой в СНГ, за рубежом – это не проблема. Такая проблема особенно касается бизнес-экспертов. И это бывает среди русской диаспоры, например, на Западе – когда необходимо получить бизнес-экспертизу, нужно, чтобы эксперт разбирался в российской реальности. Сколько раз в Сколково мы видели на бизнес-экспертизе, что они писали: проект совсем не интересен, поскольку кто будет использовать платежную систему, где купюры вставляются в автомат для оплаты коммунальных услуг? Но система KIWI здесь работает! Возможно, это не интересно в Германии, но здесь – да. Они должны понимать ситуацию здесь.

Есть еще очень тонкий момент, особенно при текущей политической обстановке – найти зарубежных экспертов, которые не будут представлять никакого риска для российских проектов. При этом надо очень тщательно изучать резюме потенциальных экспертов, их опыт, на кого они работают. И, если эксперт может представлять какой-то риск, то с ним не работать. Должна сказать, что были такие ситуации, когда мы отказывались работать с экспертами. Либо они находились в какой-то стране, где нет нормального закона о защите интеллектуальной собственности, либо они работают в какой-то организации, которая враждебно настроена к РФ. Мы должны учитывать такие моменты, это очень важно.

И по поводу оформления зарубежных экспертов, это вопрос не из простых. Особенно, когда заключаешь договора, когда проводишь экспертизу с зарубежным экспертом. Заключить договор не очень сложно. Есть какие-то моменты, связанные с налогами… В одной организации мы посмотрели проведение экспертизы в онлайне и получение электронной подписи экспертов. В РФ можно получить электронную подпись только тогда, когда у тебя есть СНИЛС. Это не очень хорошо с гражданами других стран. Поэтому у них нужно получать оригинальную подпись. Это значит, что надо добавлять в бюджет средства на курьеров, для DHL – срочной почты. Гарантирую, что часть документов получишь не так оформленными, придется отправлять их обратно… Головная боль. То же при оплате зарубежным экспертам. В какой валюте? Не в каждой стране можно открыть счет в евро и особенно в рублях. Попробуйте открыть рублевый счет в США. Особенно сейчас… И даже определение гонорара – непростой вопрос. В научной сфере многие проводят экспертизу безвозмездно. Когда я провожу экспертизу для журналов или конференций, я не получаю никаких денег. Или только на расходы, как сказал Михаил. Но здесь проблема, что без договора невозможно контролировать качество. Ну, можно, но только как исключение плохих экспертов для следующего цикла. Если же есть договор, то можно наказать за ненадлежащее качество, не платить. Если же проект получает бюджетные деньги, необходимо быть готовым ответить на вопрос «Почему вы отправляете бюджетные деньги за рубеж для оплаты экспертов?». Даже при наличии хорошего объяснения это непростой вопрос. Непросто объяснить чиновникам, почему это такая узкая научная область, что во всем мире есть только 6 экспертов, и вы должны были работать с двумя из них за рубежом. Это еще один тонкий момент. Вообще, можно создать нормальное экспертное сообщество, но тех, с кем я работала, я бы не назвала экспертным сообществом, скорее – «экспертной базой». Необходимо работать с ними постоянно, проводить какой-то тренинг, держать обратную связь, периодически фильтровать свою базу, добавлять новых, «свежих» экспертов, если можно так сказать. И делать вторичную экспертизу по экспертизам, чтобы посмотреть получающееся качество.

Электронная подпись  – параметр электронного документа отвечающий за его достоверность. Электронный документ, подписанный ЭП имеет юридически значимую силу, такую же, как и бумажный документ подписанный собственноручной подписью. ЭП представляет собой уникальную последовательность символов, которая генерируется с помощью криптографического преобразования информации. Электронная подпись идентифицирует владельца сертификата ЭП, а также устанавливает отсутствие несанкционированных изменений информации в электронном документе.

И.А.: - Спасибо, Дженнифер. Это такой прагматический подход, что вы сказали в конце – рассматривание экспертов как некоей базы для решения сугубо инструментальной задачи, и он тоже совершенно не лишен права на существование. Я бы хотел отметить две, на мой взгляд, важные затронутые темы. Первая тема: очень сильная ограниченность базы по целому ряду направлений, доходящая в ряде случае до анекдота. Я могу привести замечательный пример, когда у нас во время последней проверки прошлой осенью Генеральная Прокуратура РФ отправила в РАН на отзыв некоторое количество проектов, проинвестированных нашим фондом.. И на один из наших проектов уважаемый эксперт из РАН дал отзыв, что он основан на лженаучном принципе. Т.к. я в этом не разбираюсь, я направил этот проект еще раз уже упоминавшемуся С.М.Алдошину на проведение повторной экспертизы, в рамках нашего соглашения, чтобы объяснили, что же в нем такого ненаучного? И получил тот же самый ответ от того же самого эксперта. С комментарием уважаемого вице-президента РАН, что они очень старались, но в РАН «не оказалось другого эксперта на эту тему». На всю российскую АН есть один человек. Как выяснилось в дальнейшем – я провел свое независимое расследование – реально в стране этой темой занимаются два человека, один из которых был заявителем «нашего» проекта, второй – тем самым академиком из РАН, и при этом они оба представляют собой конфликтующие научные школы. Поэтому один считает, что лженаука – деятельность другого…

В результате, мы «попали» и из этого проекта вышли, хотя у него были явные любопытные бизнес-перспективы. Это пример того, как узость экспертной базы привела к сворачиванию потенциально интересного бизнес-проекта.

А другая, не менее важная тема, затронутая в выступлении Дженнифер – это, если правильно сказать, «культурная зависимость вненаучной экспертизы». Наука по определению интернациональна. Ученые говорят на одном языке, не зависимо от того, в какой стране они живут. Они могут на этом языке договориться или не договориться, но, тем не менее, общаются на одном языке. Не зависимо от того, носителями какого языка сами являются. И в этом смысле международная экспертиза в науке гораздо понятнее и содержательнее, чем международная экспертиза в бизнесе или управленческих решениях, потому что здесь, несмотря на то, что индустрия глобальна, бизнес – мировой и т.д., но каждая страна имеет целый ряд своих особых традиций, методов в бизнесе, в конце концов – менталитета. И вот это замечание, что даже на международном рынке лучше работать с русскоязычными экспертами, иначе ты замучаешься объяснять, что ты от них хочешь, я однозначно поддерживаю. У нас вся практика по работе по экспертизе с участием наших фондов, когда мы пытались работать с не русскоязычными экспертами, была сплошным разочарованием. В то же время очень важной и интересной оказалась аудитория русскоязычных специалистов в технологическом бизнесе, работающих за границей, особенно в транснациональных крупных корпорациях. Это абсолютно критический качественный ресурс, потому что они имеют культурную близость и понимают проблемы, и одновременно знают изнутри, как организован международный бизнес и гораздо более реалистично оценивают бизнес-составляющую, в отличие от российских специалистов. К сожалению, еще одна проблема, которая тут между строк уже проскальзывала в выступлениях, заключается в том, что по-настоящему качественного эксперта невозможно замотивировать финансово. Люди, экспертизе которых стоит доверять, как правило, имеют эту экспертизу, потому что они состоялись настолько, что финансовые вопросы их мало волнуют, а люди, готовые работать за деньги, самим фактом того, что делают экспертизу за деньги, как правило, свидетельствуют, что не имеют того уровня экспертизы, который необходим в бизнесе. Это тоже некое отличие от научной среды и научной экспертизы, потому что в науке уровень статусности ученого не имеет настолько прямой корреляции с уровнем его благосостояния, как в бизнесе. В бизнесе, собственно, статусность определяется благосостоянием, а не наоборот. И это – реальная проблема. Оказалось, что с бизнес-экспертизой возможно работать только на условиях совсем идеалистической мотивации. Целый ряд людей помогает нам в работе экспертных коммуникациях просто потому, что они хотят принести пользу, считают это своим моральным долгом, но не более и вообще не обсуждают вопрос об оплате. Поэтому вопрос о сложностях оплаты по контракту зарубежным специалистам представляется для меня довольно сомнительным, по крайней мере, в области бизнес-проектов. Потому что я бы не стал прислушиваться к экспертизе зарубежного специалиста, готового давать экспертную оценку за деньги.

Д.Т.: - В Сколково мы работали с несколькими венчурными капиталистами, например, в Калифорнии. Даже при том, что они живут в таких огромных домах, на океане, у них есть машины, бассейны, деньги, когда мы попросили провести экспертизу, они ответили: «Ты знаешь, сколько стоит один час моей работы?» С ними это вопрос справедливости, возможно – уважения. Они говорили: «Я готов сделать это за триста, но ты знаешь, что это стоит три тысячи?»

И.А.: - Логика понятна – это его статусная оценка. И сравнивать это с расценками по научно-технической экспертизе, осуществляемой по стандартным моделям – совершенно бессмысленно. Я повторяю, что логика «я готов сделать это для вас в 10 раз дешевле или вообще бесплатно», а мы реально сталкиваемся с такими случаями – это есть, но при этом люди не готовы работать по тем стандартным расценкам, которые существуют. Это системно происходит.

Д.Т.: - В самом деле, несколько раз мы встречались с теми, кто готов работать безвозмездно. Обычно это было из-за трудового договора, поскольку там было написано, что они работают в какой-то крупной компании и не могут получать средства из других источников. Но, когда мы попросили бизнес-экспертов работать бесплатно, многие отказались.

И.А.: - Да, им это не интересно.

Д.Т.: - Да, я думаю, что это просто вопрос справедливости в их представлении. «Я готов получить даже сто рублей, но пусть мне их заплатят».

И.А.: - Говоря «безвозмездно», я имел в виду, что вознаграждение может быть символическое.

Д.Т.: - А это все равно договор.

И.А.: - Да, это может быть один доллар, но он никак не коррелирует с рыночными расценками, которые эти люди могут получить… Хорошо, давайте вернемся к другой стороне экспертного процесса, когда речь идет уже не о распределении ресурсов, а об оценке. Лично мне «ГосБук» представляется больше аналитическим ресурсом, чем экспертным, по тем публикациям, которые я читаю. Сергей, расскажите.

С.Х.: - Я кратко расскажу, как менялось наше понимание экспертизы государственных проектов в призме развития изначального, потому что у нас было много стадий, которые были короткие, но познавательные. Изначально мы задумывали «ГосБук» как платформу под одного заказчика, под Совет развития Информационного общества, группу IT-шников, 30 (?) человек экспертов, территориально распределенных между собой, которые должны были оперативно обсуждать какие-то вопросы и влиять на протокольные решения заседания Президиума Совета, Совета и т.д. Причем, на момент 2010 года Совет пошел на беспрецедентную практику – они выделили два вакантных места в Совете, для приглашенных, когда по итогам обсуждения на проекте, на «ГосБуке», мы делали запрос по какому-то конкретному вопросу и собирали экспертное мнение. Причем, т.к. мы экспертами не являлись, а пул экспертов у нас был ограничен в виде членов экспертно-консультативной группы Совета, то наша задача была просто организовать некоторый механизм обсуждения и некоторую аналитическую обработку результатов. Соответственно, когда мы все это выдавали, люди, которые были наиболее активны в момент обсуждения, приглашались на Совет и допускались к выступлению с обоснованием своего мнения. Дальше в процессе понимания мы решили, что нашу платформу можно открыть по всем темам: не только IT, не только в госсекторе. Что мы и сделали. Создали кучу тематических сообществ, которые должны были набрать себе экспертов, но тут получилась некоторая вещь, абсолютно приземленная: что за исключением IT-применения в различных отраслях другие отрасли – допустим, строительство, какие-то прикладные истории, экспертам, которые были на тот момент, им компьютером было пользоваться сложно. Мы приходили в организацию и говорили: подключайтесь, будем проводить совместную экспертизу. Они говорили: ребята, у нас проблема с экспертами – если вы будете набирать за них текст на портале, то мы готовы. Поэтому все это постепенно трансформировалось в IT-инновации в различных отраслях, но тут у нас расформировали Совет, и мы вышли «в открытое поле». Заказчика нет, а основная мотивация для эксперта, как мы поняли в свое время, это наличие заказчика. Т.е., если он делает что-то бесплатно, то он должен: раз – услышан, два – его труды должны быть использованы, три – им должно быть найдено конкретное применение и у него должно быть понимание того, как же он повлиял на какой-то вопрос. Заказчика нет. Сразу вспомнился момент из КВН: «Книжку писать буду». – «Зачем?» - «Читать нечего». Вся аудитория ГосБука делится на две категории: на читателей и писателей. С читателями проблема, когда писателей нет, тогда читать нечего, писателей нет, потому что никто не читает. Причем, у нас такая интересная история была, к вопросу об экспертном Совете при Правительстве: я недавно проводил аналитику, раз в два месяца я смотрю срез по регионам, и на 2010 год 90% у нас было представителей Москвы – кто писал, смотрел, читал и остальное. Сейчас, по обновленным данным, мне только что прислали, у нас 30% Москва и Московская область, остальное – регионы. Потому что у них остался один из единственных каналов, не побоюсь этого слова, независимого быстрого доступа в некоторое пространство, где они могут донести свое мнение. Еще очень важный момент – что, когда мы начинали развивать проект, у нас была проблема: как определить эксперта? Что такое эксперт? Я по ночам сидел и по скайпу общался с людьми и пытался разграничить общение между ними, потому что могло накипеть так, что люди реально переходили на оскорбления. При этом это был показатель активности, заинтересованности, показатель желания что-то делать. После того, как мы не смогли определить разницу, мы пошли по принципу «Пусть сообщество, которое живет в Сети, само определяет, кого оно будет считать экспертом, кого – нет». Мы совсем не эксперты, во всех отраслях разбираться не можем. Пусть люди сами решают, чье мнение они готовы бесплатно использовать и к нему прислушиваться. По моему мнению, чем страдаю все советы при Министерствах и ведомствах, при региональных органах исполнительной власти: они страдаю субъективизмом. Потому что эксперты набираются по принципу «задачи сверху»: нам нужен эксперт, этого мы не возьмем, потому что он постоянно говорит не в тему, этого мы не возьмем, потому что он постоянно молчит и ничего не говорит и т.д. Задача ГосБука, когда мы его создавали, была в том, чтобы организовать обсуждение и сбор экспертных мнений. Я не считаю, что мы – экспертная сеть. Мы – аналитический инструмент для лиц, готовящих решения. Мы готовим некую информацию, а решения уже принимайте сами. Анализируйте, проводите работу и т.д. Но мы – некоторая площадка, агрегирующая всю информацию в конкретной области. И наша задача изначально была в том, чтобы отбирать экспертные обсуждения, некоторый аутсортинг. Мы – независимая площадка, нам отдают обсуждения. Как мы работали с Советом изначально? Нам отдавали обсуждения, мы давали аналитический срез, при том, что в государственных есть репутационные риски, когда ты проводишь обсуждение у себя на площадке, у тебя есть некоторая ответственность за его ход, за позиции, поэтому очень тщательно отбираются эксперты, модерация и все остальное. У нас общение живое, достаточно свободное. И при этом мы жестко модерируем обсуждение, чтобы люди оставались «в теме». Когда у нас был запрос от Совета, например, мы сверху от портала спускаем некую тему и жестко выдерживаем именно эту тему. Потому что сейчас часто на заседаниях экспертных сообществ, где я не очень часто, но бываю, получается, что собрались ради решения конкретной задачи, все обсудили, а задачу – нет.

И.А.: - У меня конкретный вопрос. Каким образом вы добиваетесь того, что у вас не уходит обсуждение между уважаемыми экспертами на личности или на некие общие заявления? К сожалению, я регулярно сталкиваюсь особенно в открытых социальных сетях с тем, что очень много голословных заявлений по сложившимся стереотипам, типа, что если организация – государственная, то в ней воруют и т.д.

С.Х.: - У нас эта проблема решается слеюущим образом. В отличие от очных заседаний модерация у нас обезличена. И мы воспитали в себе некоторое свойство, может быть, немного циничное: удалять. Мы сделали некоторое соглашение пользователя и после этого сказали: «Все!». Я долго занимался тем, что все успокаивал, потом сказал: «Всё. У нас есть некая позиция».

И.А.: - Т.е., нужен некоторый авторитет?

С.Х.: - Авторитет или не авторитет, но – дисциплина.

И.А.: Авторитаризм…

С.Х.: - Управляемая демократия. Но мы всегда объясняем, что, уважаемый эксперт, вы ушли в сторону от темы. Если вы хотите обсудить отдельную тему, вы можете уйти в другую ветку и там обсуждать, а здесь обсуждается конкретный вопрос, который важен в текущей ситуации.

И.А.: - Понятно. Вы подтвердили мое ощущение, что вы скорее аналитический ресурс, чем экспертная сеть. Еще важный момент: вы упомянули про взаимооценку экспертов. На мой взгляд, одной из функций, которую в наших условиях должны сыграть все экспертные сети и соответствующие ресурсы в самых разных видах, включая и государственную экспертизу и формально существующие научные экспертные организации, это запуск у нас в стране рынка репутаций. Потому что у нас реальная ситуация: у нас есть сильнейший рынок статусов, наверное, другого такого примера в мире нет, а если и есть, то это считанные единицы, где настолько развиты и глубоко структурированный, проработанный статусный рынок. Но при этом практически отсутствует репутационный рынок. На котором, на самом деле, держится большая часть всей, условно говоря, инновационно-технологической активности во всем мире. Венчурный капитал не работает без рынка репутаций, потому что там подавляющее большинство принимаемых решений связано именно с репутационной оценкой сообществами. В науке точно так же, но там в силу ее интернациональности есть слабо пересекающееся подмножество ученых, являющихся одновременно учеными и по репутации и по статусу. Только репутация у них на мировом рынке, а статус – на российском.

С.Х.: - Да, все абсолютно так. Вообще, два ключевых фактора успешности взаимодействия эксперта и заказчика, это доверие и репутация эксперта. Потому что для того, чтобы понять правильность экспертизы, либо заказчик должен быть умнее эксперта, быть более экспертом, чем эксперт, либо заказчик должен доверять эксперту, доверять его репутации. На мой субъективный взгляд, третьего не дано. Я руковожу пусть и небольшой, но компанией. Когда принимаешь решение, ты смотришь либо на свои знания, либо на репутацию человека, который тебе это предлагает. Если у человека есть некоторая репутация, значит, вполне с большой вероятностью он прав и можно довериться его заключению. Я с вами согласен, вы абсолютно правы.

И.А.: - На этом предлагаю перейти к обсуждению. Евгений Борисович, попрошу Вас модерировать вопросы.

Е.К. (Евгений Кузнецов): - Коллеги, давайте перейдем к вопросам или суждениям. У кого что есть?

Б.С.: - Разрешите мне? Поскольку я большую часть времени потратил на то, чтобы представить обзор экспертных сетей и вообще, скажу немного о той практике, которая у нас… Я говорил уже, что мы сделали экспертную сеть и на ней экспериментируем, но она проводит реальные экспертизы, и мы, за год с небольшим, пока она создана, и пока она работает на таком прототипе, о котором пока еще трудно говорить, что это готовая коммуникационная платформа, но люди реально работают. Проводят экспертизы. За это время мы провели две бесплатные экспертизы. Я это к тому, что экспертизы бывают платные и бесплатные, объясню, в чем между ними разница. Поскольку у нас IT-шная сеть, мы проводим в основном IT-шные экспертизы. И мы проводили две экспертизы для МинКомСвязи. Одна экспертиза их проекта «Единая инфраструктура России», другой проект – «Стратегии развития IT-отрасли в России». Эти экспертизы мы проводили бесплатно, при этом мы проводили и платные экспертизы. Одна – судебная, когда две конфликтующие стороны в области IT, когда одна сторона – IT-поставщик, другая – IT-заказчик. Они поссорились между собой, одни не захотели платить другим. И мы выступили в роли уже судебных экспертов. Надо сказать, что судья – это в Московском Арбитраже – когда выбирала нас, то очень обрадовалась. Оказалось, что у судьи в области судебной экспертизы тоже есть проблемы, связанные с тем, что судья тоже ничего не понимает, и обычно просит обе стороны привести своих экспертов. А дальше начинается ситуация, кого из экспертов выбрать. Одни приводят одних, другие – других. Поэтому, когда судья узнала, что есть какая-то объективная экспертиза, некое сообщество, она сразу уцепилась за нас. Единственное просила очень сильно не завышать стоимость, потому что у судей тоже играется тендер, кто не знает, там примерно та же самая атмосфере. Мы экспертизу провели. С тех пор мы провели в рамках президентского гранта, который нам был дан, несколько экспертиз региональных IT-проектов. Это в Башкирии «Электронный документооборот», в Удмуртии «Электронные госуслуги» и вот только что закончили «Стратегии развития IT-отрасли в России» в Омске. Все эти экспертизы были платные. Что у нас эксперты делают платно, а что бесплатно? Я уже говорил, что они обязаны бесплатно реферировать журналы. Это, как мы говорим, их вклад в создание сообщества, и это – инструмент, чтобы они друг друга оценивали. И они согласны с этим. А почему? Ну, во-первых, мы просим их сделать не противную какую-то вещь, а прочитать статью и написать на нее реферат. В конце концов, если ты – эксперт, ты все равно это будешь делать, ты все равно это читаешь. А тут получается некое коллективное прочтение. Поэтому, как правило, они против этого не выступают. Дальше то, что касается бесплатного. Если экспертиза идет на уровне Правительства, допустим, «Стратегии развития IT-отрасли в России», я вам сразу скажу, что все эксперты сказали, что будут участвовать бесплатно. Почему? Им это интересно. Они делают то, где находятся – в России. Но когда идет «разборка» между двумя компаниями, эксперту не интересно там участвовать. И такого рода вещи должны быть платными. Даже развитие IT-стратегии в Омске – в конце концов, я же не из Омска. У нас люди из разных городов, когда делали экспертизу «Стратегии развития IT-отрасли в России», в ней участвовало больше 10 регионов. И мы должны понимать, что могут быть бесплатные экспертизы, если это касается реферирования или высокоуровневых экспертиз, но должны быть и платные, потому что это – отличие экспертных сетей от профессиональных. Я говорил, что «ГосБук» - это профессиональная сеть, они тоже должны быть. Так же, как социальные, в конце концов, я должен где-то поговорить о своей поездке на отдых. Это для социальных сетей. Я должен что-то обсуждать – это для профессиональных сетей. И должны быть экспертные сети, которые занимаются экспертизой. И совсем последнее, что я скажу, что считаю очень важным, что является одним из трендов – когда я говорил про IQ. Сделать IQ суммируемым, просуммировать IQ. В этом и есть преимущество экспертных сетей перед всеми. Я студентам приводил такой образ: представьте, что у меня хорошее IQ, у вас – тоже. А представьте, что вы встретили человека, у которого IQ в 100 раз больше, чем у меня. Это уникальный человек, с ним интересно пообщаться. Он, наверное, много, чего знает. Если нам удастся создать коллективную работу, где IQ будет складываться, та экспертная сеть станет очень привлекательной, все будут там консультироваться. А то, что это возможно, я приведу простой пример, как мы проводим коллективную экспертизу, и вы сразу поймете, что IQ там, действительно, суммируется. Допустим, мы получаем на экспертизу «Стратегии развития IT-отрасли в России». Слава богу, там документ, который нам дали, был слабый, там было всего 20 страниц. А иногда бывает 100, 400 страниц. Мы его делим между экспертами. Частично – по главам, ибо у каждой – свое название, а частично – сквозным образом. Один человек смотрит, насколько это согласуется с законодательством, другой – со стандартами и т.д. Т.о., разделив документ, все эксперты начинают работать одновременно, параллельно. И обычно на это уходит неделя. Через неделю мы получаем экспертизы каждого куска. Еще неделя уходит на то, чтобы руководитель всей экспертизы все это «свел», чтобы получился связанный между собой текст. И после этого еще неделя на обсуждение. Условие экспертиз, которые мы делаем – это конструктив. Мы не ругаем. Если мы что-то нашли плохое, мы обязательно должны сказать, как надо сделать правильно. Т.о., на документ получается другой документ, где идет некая консультация со стороны экспертов. И скорость, с которой это происходит, это скорость «коллективного разума», у которого очень высокий IQ. Частично это пытаются сделать в Правительстве. Другое дело, что это пытаются сделать, собрав их (экспертов?) в одно место. Если нет технологической платформы, другого выхода нет, надо их собирать. Но по-хорошему – у нас есть коммуникации, и мы должны их (экспертов) собирать удаленно. Это то, что я хотел сказать из практики.

Е.К.: - Попробую оживить вопросы. Короткое суждение, а потом – вопрос. Я однажды столкнулся с системами экспертиз, которые выстраивали профессиональные военные, когда в начале 90-х годов начали «выходить» в политику, в бизнес – в не свойственную себе сферу деятельности. И у них обнаружился довольно одинаковый механизм. Они запускали параллельно 3-4, иногда больше, экспертных команд, и каждой давали читать работу других, заранее поставив их в конкурентную позицию. В результате, каждое экспертное заключение попадало на стол другому, и каждый другой считал своим долгом отыскать там все несоответствия. В результате, все эти 4 команды в пух и прах разбивали выводы других, финальных документ ложился на стол начальнику, и он был способен принять объективное решение. Потому что все слабые стороны были подробнейшим образом расписаны. На самом деле, в СССР эта практика процветала, когда проводили конкурсы на те же самолеты, давали одновременно трем КБ проекты, а потом проекты друг друга давали читать друг другу. Т.е., это такая советская система, когда начальник заведомо не разбирался в вопросе, но заставлял экспертов конкурировать с другими. Кстати говоря, хорошо работает схема. Но у меня вопрос: мы не обсудили тот момент, что сейчас очень часто экспертные системы и системы анализа все чаще становятся автоматическими. Т.е., создаются на основе анализа больших данных, на основе выявления трендов. Т.е., работают не на экспертизе человека, который дает суждения, а на основе выявления каких-то закономерностей, связанных с большими данными. И я знаю уже много систем, например, даже в том же венчурном бизнесе, в котором делается попытка на основе анализа больших данных моделировать и прогнозировать перспективы инвестиций и т.д. Вопрос к участникам панели: вы верите, что искусственный интеллект и система работы с большими данными когда-то сможет заменить человеческую экспертизу? Верите или не верите? А второй вопрос: знаете ли вы, в вашей области работают эти механизмы? Кто может прокомментировать?

Д.Т.: - Я могу дать мнение с точки зрения человека, который занимается большими данными. Я не доверяю таким системам. Частично из-за того, что анализ больших данных должен быть рассчитан на правильную настройку модели. Если мы не правильно создаем словарь семантических фраз, чтобы найти синонимы в тенденции, мы получим кашу в ответ. Я думаю, что такие автоматические системы могут помочь людям, экспертам, дать какую-то предварительную фильтрацию, но все равно – человек должен проверить, посмотреть, добавить свое мнение, поскольку он может увидеть какие-то синонимы, тенденции, поскольку они совершенно новые. Это – мой опыт. Я тоже работала с системами, где старалась делать разные вещи автоматически, и получалось скверно. Бывают какие-то моменты, когда все равно необходимо вернуться и попросить человека пересмотреть.

Б.С.: - У нас в рамках этой сети есть модуль т.н. «семантического поиска», его разработала одна компания с Высшей школой экономики. Идея какая: из того текста, что создается экспертами, можно семантическим способом определить лучшего эксперта в той или иной области. Но, безусловно, информация и анализ, которые дает «Big Datа», должны быть проверены людьми. Эти вещи уже давно используются в социальных сетях, когда из моего контекста соц.сеть выясняет, что мне нужно и пытается мне это продать. Я как-то решил посмотреть по Интернету диван. И теперь мне уже несколько лет предлагают диваны разных конфигураций! Мой интерес когда-то был зафиксирован, и то же самое происходит с большими данными. Мы должны их использовать как инструмент, который подскажет человеку, но его не заменит. Тут упоминался фонд Дарпа, а у нас есть аналогичный – «Фонд перспективных исследований», и они как-то пришли ко мне с такой идеей: создать из больших данных систему, которая «гуляла» бы по Интернету, находила бы разработки, которые могли бы стать прорывными. Я сказал, что такой механизм создать можно, но при условии, что все, что найдет эта супер-машина, должно попасть в другую супер-машину того самого «коллективного разума», который оценит, что вы нашли: диван или реально прорывную технологию. Сочетание экспертных сетей с «Big Datа» будет взрывом! По отдельности все работает плохо.

Ростислав Яворский, НИУ ВШЭ: - Когда-то я работал в Сколково. Есть несколько компаний, которые делают очень похожие вещи. На вскидку я помню «Алгомост». Сначала они заключат контракт с большим количеством экспертов по анализу данных, потом ищут заказчиков и вроде бы так же идея, только это уже коммерческий проект: они находят заказчика, заказчик смотрит кандидатов – кто может ему сделать, и т.д. Другой пример – «Смарт Стаффинг», чуть другая идея: есть список экспертов, по которому известно, когда они свободны, есть заказчик, который приходит и находит (эксперта). И совсем из другой области пример, который я знаю, это «Европейская юридическая служба», в которой, в отличии от обычной юридической консультации, которая обычно специализирована – те по недвижимости, а те по чему-то еще, есть список экспертов и формат подписки. Вы покупаете подписку и по любому вопросу – ДТП, соседи залили, еще что-то – у вас есть право на три звонка. И вас быстро переводят на нужного специалиста именно по вашему профилю. Вопрос: это оно или нет?

Б.С.: - Это именно то, о чем мы говорили, когда говорили «либо сети общего профиля, либо то, что обсуждали». Это оно один в один: тот же «смарт стаффинг», платформа, но сейчас мы говорим о другом. Что есть возможности, куда должны развиваться сети – это становиться коллективными. Ваши платформы позволяют продать по отдельности каждого человека. И это должно быть. Но, вот когда мы научимся продавать несколько людей, связанных между собой, коллективы людей, которые думают вместе… Вот что в Правительстве делают? По отдельности все эти люди есть, они пытаются заставить их работать вместе. Но пока примитивно, собирая в одном месте. А если попробовать сделать через технологии – это другое. Вы привели те примеры, которые сейчас существуют и должны быть.

Д.Т.: - Я бы просто добавила, что совершенно с Борисом согласна. В примере, где есть какая-то база экспертов с описанием области деятельности, это очень узкая модель. У нас есть какие-то ключевые фразы, есть модель, что есть деятельность, есть какая-то заявка, мы должны найти возможные связи и свободных экспертов. Но, когда мы смотрим в совокупности всю науку планеты и должны выбрать какую-то тенденцию, это очень сложная модель. Невозможно построить такую модель, поскольку она сама живая и, пока мы собираем всю информацию, чтобы создать модель, конфигурировать алгоритмы, модель уже «ушла» вперед и уже не актуальна. И проблема в этом. Мы сталкиваемся с этим, когда стараемся анализировать – например, область «автоматический анализ знаний организации». И здесь это тоже проблема – невозможно настроить полностью модель организации, поскольку это живое существо.

Ростислав Яворский: - Здесь нет рубрикатора как бы, да?

Д.Т.: - Ну, как бы попроще, да. Нет ограниченного списка условий. И поэтому полной модели сделать невозможно.

Б.С: - Я бы хотел прокомментировать, что я знаю один случай, когда перевод не столько на «Big Data»-анализ в чистом виде, но на массовые статистические доказательные инструменты в каком-то смысле поменяли традиционную систему экспертизы. Это я говорю о медицине, «фарме» и о системе доказательной медицины. Там буквально за 10-20 лет произошла революция, когда система, выстроенная на авторитете и суждениях экспертов, перешла в систему, когда из статистики по большим числам – не по десяткам, по тысячам, по десяткам тысяч больных – появилась возможность доказательно определять эффективность препарата на конкретного больного. В конкретном случае, с конкретными симптомами, в конкретном возрасте и т.п. Появились эффекты, которые изначально были совершенно не очевидны. Это система с человеком, хотя уже система Уотсона – это уже система без человека, вернее, люди выступают в качестве менторов, они обучают Уотсона, но он сам после этого вырабатывает решения по лечению. Тем не менее, в медицине это произошло. Про другие области не знаю, да и не факт, что в медицине окончательно победила система, но, тем не менее…

М.Г.: - Я совсем про другое. Что происходит после экспертизы? Вопрос поддержания адекватной базы данных, вопрос экспертной истории эксперта – это вещь, которую обязательно надо делать, довольно часто этим пренебрегают. Когда одни и те же люди появляются в одних и тех же пулах, неоднократно доказав свою неадекватность. Во многих научных журналах есть замечательная традиция, когда рецензентам статьи при повторной рецензии или при окончательном принятии посылают все рецензии остальных рецензентов. Есть возможность самому научиться – посмотреть, что увидели другие. Там всегда есть две части: мнения – они могут различаться сколько угодно, тоже интересно, а есть технически огрехи. И посмотреть, кто и что заметил – бывает очень поучительно. Точно так же в панельных обсуждениях возможность посмотреть экспертизы сразу нескольких экспертов очень быстро учит самого эксперта, глаз «настраивается». Я просто хотел зафиксировать, на мой взгляд, это было немного упущено, а оно существенно.

Б.С: - Действительно, когда мы говорим об экспертных системах, надо не забывать, что сама эта система тоже нуждается в обучении. Мы исходим из того, что эксперты и экспертная система – это некая верхняя граница знания, и нам надо только ее использовать, а на самом деле, это знание надо постоянно вырабатывать, кроме того – люди не совершенны, и сама система должна обучаться. Я во многих экспертных процессах вижу, что, когда сеть обладает способностью к обучению, то она развивается, как минимум, в конкурентных режимах с другими процессами, т.е. она не отстает. Если она останавливается, то она костенеет, ведь в каком-то смысле проблема с Академией, другими экспертными системами состоит не в том, что там люди как-то искренно стараются что-то делать не честно, нет. Просто она закостенела лет 20-30 назад, вот и все. Коллеги, еще вопросы.

Олег Карасев, НИУ ВШЭ: - Есть разные классы экспертных задач. Сегодня многие выступления были сконцентрированы на решении такой важной задачи: как найти ограниченное число экспертов для получения формализованного ответа по конкретному проекту? Для того, чтобы оценить степень его научной состоятельности. Есть другая категория экспертизы, про которую сегодня говорили меньше: каким образом сформировать такую группу экспертов, которая бы описала, где эти проекты нужно искать? Т.е., сформулировала определенное представление о технологическом «мейн-стриме» сегодня. Здесь возникает проблема – как оценить компетентность отдельно взятого эксперта, обосновать, почему он попал в эту группу? А вот вопрос: как оценить степень полноты этой экспертной группы, причем сделать это до момента ее формирования? Это вопрос, на который, по-моему, внятного ответа нет. Если для массовых опросов и для выборочных обследований в статистике этот вопрос досконально изучен и решен, то мне какие-то внятные ответы в практике экспертных исследований не встречались. Можете ли вы из вашей практики предложить какой-то подход, как обеспечить не только точность экспертизы, но и степень полноты экспертной группы?

Д.Т.: - Это очень хороший вопрос. У меня нет конкретного ответа. Мы, конечно, сталкивались с этим, в т.ч. в фонде Сколково. Для этого у нас был некий регламент – сколько экспертов с каждого направления – бизнес, технологическая организация, научное направление – мы выбрали для каждого проекта. Каких экспертов мы выбрали, которые поняли, возможно, вторичную технологию в заявке, и т.д.? Это очень сложный вопрос. Только в конце понимаешь, что ничего не получилось. Что есть какие-то «дырки» в собранной информации и необходимо добавить еще одну или не одну экспертизу в конце. И, если кто-то знает, как решить этот вопрос, то я думаю, что это возвращает нас к вопросу об автоматизации целого процесса, поскольку это экспертиза о формировании экспертной коллегии, на самом деле. Очень сложный вопрос.

Б.С: - Я попробую добавить. Может быть, я по-своему интерпретирую вопрос, но я его услышал таким образом: когда речь идет о выработке какого-то суждения по уже сформулированному вопросу, то – да, технология более-менее понятна. А проблемой является другое: когда есть широкая, неограниченная сфера поиска, рамки этого поиска невольно ограничиваются экспертной панелью. Грубо говоря, люди ищут «под фонарем», в привычной сфере. Действительно, куда-то просто не идут, потому что нет экспертов. Классический пример, с которым я недавно столкнулся: недавно, когда разрабатывались технологические прогнозы, меня очень расстроило, что медицина и биотехнологии получили незавидную роль в области перспективных технологий в российском анализе. Я начал спрашивать – почему? – и выяснилось, что количество экспертов, которых смогли найти, было в 10 раз меньше, чем смогли найти по IT, транспорту и прочему. В результате, поскольку экспертов было мало, то и «вес» самой сферы и качество ее разработки было очень сужено. И это – реально большая проблема, особенно для нас. Так вот, я заметил один эффект, если отвечать на вопрос: «Как с этим бороться?». Наши традиционные советские, российские экспертные системы традиционно изначально закрыты. Есть пул людей, кто называется «экспертами», и из них формируются предметные панели под более узкие задачи. Я видел несколько примеров открытых систем. Однажды видел, как была создана экспертная система для разработки изучения вопросов поведения людей в компьютерных виртуальных пространствах. Причем, это исследование проводило американское агентство, аналог Дарпы, только Интеллидженс. И понятна проблема: в области компьютерных виртуальных миров самыми современными специалистами являются дети, кто в них играет. А вовсе не взрослые, кто смотрит на это с укоризной и думает, что «лучше бы пошел и в футбол поиграл». И делали они следующее: они собрали такую экспертную группу, состоящую на треть из сотрудников оборонных предприятий – тех, кто занимается связью, коммуникациями, поведением, управлением и т.д., треть – из университетской профессуры, кто тоже занимался поведением людей в разных социальных пространствах, в т.ч. – виртуальных, а остальная треть – из стартапов, кто занимается созданием бизнеса в этой сфере. И в итоге они пришли к очень интересным выводам, которые, по моему глубокому убеждению, сейчас апробируются на полях информационной войны, потому что было видно, что люди всерьез изучают, как манипулировать поведением, исходя из разрыва человека и контекста и т.д. Т.е., заранее в экспертный пул были введены «не эксперты». Те, кто пробуют. И эта история работает. Похоже, что, когда мы входим в открытый поиск, надо обязательно к профессиональным экспертам добавлять непрофессиональных экспертов, но кто имеет другой, не экспертный статус. И это раздвигает поиск. Потому, что если изначально делать закрытую систему, люди «найдут» ровно то, что они хотели найти.

Д.Т.: - Есть еще один способ. К экспертам по «вторичной» теме можно добавить еще экспертов из закрытой коллегии, кто не является экспертом по данной теме, а только косвенно. И, возможно, тогда получится что-то шире, поскольку те, кто занимается узкой темой, они и смотрят по своему узкому направлению. Если добавить биологов, физиков, кто-то может сказать, что «вы знаете, это похоже на другую тему…»

Б.С: - Вы затронули очень интересный вопрос. Мне интересно мнение Михаила: одно время в России были попытки привлекать людей другой научной специальности к решению проблем в другой сфере. Самый классический пример был, когда появилась синергетика, и физики просто рванули все объяснять. Выяснилось, что они и про жизнь могут рассказать, и еще про что-нибудь. Была вот такая «экспансия». А потом, в ответ на это, пошла очень мощная волна протеста против понятия «редукция», что нельзя из одной области перелезать в другую, это антинаучно. Я, например, не знаю ответа. Я видел много примеров, когда это работает, но мне интересно, как у коллег, прежде всего, у Михаила, мнение: как сейчас, это способ решения проблемы, когда в одной научной области что-то стагнирует, привлекать специалистов другой научной области, или это все-таки…

М.Г.: - Я думаю, что, если стагнирует, то это уже поздно… Но я работаю в таком институте. ИППИ был создан 50 с лишним лет назад, но тогда не было слова «Ай Ти». Люди, которые занимались связью, компьютерным зрением, физиологи зрения и еще были физиологи движения. «Старожилы» говорят, что сначала это было фантастически успешно, происходило «оплодотворение» в разных областях. Сейчас это немного расползлось, но до сих пор оказывается, что обсуждения бывают очень полезны. Может быть, не напрямую привлечение специалистов, но… Я занимаюсь биоинформатикой, это наука прикладная, а научная в ней часть – это молекулярная эволюция. И по моему складу фантастически полезно бывает общаться с лингвистами, которые занимаются компаративистикой. При том, что попытки искать прямые аналогии обычно бесплодны, но, если долго поговорить, в процессе становишься умнее.

Б.С: - Происходит процесс переноса модели решения задач?

М.Г.: - Я не знаю, за счет чего это происходит, я не психолог. Какие-то вещи помогают думать в этом месте. Такое прямое, лобовое привлечение «давайте позовем физика, он нам все объяснит» - по-моему, нет. Поскольку область пограничная, довольно часто приходят разные люди с идеями, как все сделать…

Б.С: - Общая теория всего?

М.Г.: - Да… И обычно это работает не очень хорошо. Более того, поскольку большие данные, то приходят люди, специалисты по анализу больших данных. У меня ощущение, что стандартные, «типовые» модели анализа больших данных я не видел примеров, чтобы они хорошо работали. Надо, может быть, с теми же принципами, но разрабатывать с самого начала, как следует. Универсальные распознаватели образов вроде бы не очень подходят.

М.Г.: - Спасибо, завершаем.

И.А.: - Предлагаю на замечательной формулировке Михаила «Если долго разговаривать, то становишься умнее» и закончить. Спасибо - выступавшим и слушателям, надеюсь, что мы скоро соберемся снова. 

Обсудите в соцсетях

Система Orphus

Главные новости

13:07 Путин рассказал о провале попыток создать однополярный мир
12:36 Путин отметил осознание Трампом уровня ответственности
12:23 На Кубе запретят называть улицы именем Фиделя Кастро
12:10 Президент Ирана предостерег Обаму от продления санкций
11:51 Экс-главу спецслужбы Абхазии задержали при попытке въехать в Россию
11:35 Саратовская область перешла на новое время
11:20 Десятки жителей Краснодара госпитализированы с отравлением
11:00 Эрдоган предложил Путину перейти на расчеты в национальных валютах
10:43 На месте крушения самолета в Индонезии нашли фрагменты тел
10:38 Экс-кандидат в президенты США отказалась требовать пересчета голосов
10:19 СМИ назвали еще одного претендента на пост госсекретаря США
10:05 Денис Лебедев уступил чемпионский пояс по версии IBF
09:47 Выборы президента Узбекистана признаны состоявшимися
09:40 В Дагестане ликвидирован организатор терактов в Волгограде
09:27 СМИ анонсировали сближение умеренной оппозиции в Сирии с «Аль-Каидой»
09:18 В Пентагоне выразили готовность к длительному соперничеству с Россией
09:08 СМИ рассказали о переговорах по переносу «Евровидения-2017» в Москву
08:57 При стрельбе на финско-российской границе убиты трое
03.12 21:03 Савченко обвинила Россию в намерении «дойти до Британии»
03.12 20:45 В Крыму прокомментировали арест золота скифов судом Киева
03.12 20:26 Появилось видео визита Грефа в Сбербанк в костюме инвалида
03.12 20:17 Пожар на вечеринке в Калифорнии привел к гибели девяти человек
03.12 19:57 В Махачкале убиты пять предполагаемых боевиков
03.12 19:45 Ураган сорвал крышу многоэтажки в Сочи
03.12 19:14 В районе Алеппо сбит самолет сирийских ВВС
03.12 19:02 Гонщик Виталий Петров вызвался заменить Нико Росберга
03.12 18:46 В Баку мужчина попытался подорваться у ТЦ
03.12 17:14 Группа калининградских школьников отравилась после экскурсии по Москве
03.12 16:57 Читатели «Полит.ру» выбрали человека недели
03.12 16:47 В Коми самолет с пассажирами застрял в сугробе
03.12 16:23 Около тысячи человек остались без газа из-за падения дерева в Сочи
03.12 15:59 В Крыму пообещали глушить украинские телеканалы
03.12 15:37 Лавров получил от Керри предложения по Алеппо
03.12 15:18 Лавров призвал Японию заключить мирный договор
03.12 15:01 Отмену христианской рок-оперы в Омске объяснили низкими продажами
03.12 14:39 В Индонезии рухнул самолет с полицейскими
03.12 14:18 В Вирджинии школьникам запретили читать «Приключения Гекльберри Финна»
03.12 14:06 Источник рассказал об исправности ракеты-носителя «Прогресса»
03.12 13:53 Взрыв на угольной шахте в Китае привел к гибели 21 человека
03.12 13:37 Московских арестантов будут перевозить на освященных автозаках
03.12 13:20 Медведев предложил платить долги по зарплате раньше налогов
03.12 12:56 В Норвегии нашли украденные ворота немецкого концлагеря
03.12 12:36 Роналду заподозрили в сокрытии 150 млн евро налогов
03.12 12:15 Белый дом и МИД Китая прокомментировали разговор Трампа с главой Тайваня
03.12 12:00 Фидель Кастро лидирует в опросе о человеке недели на «Полит.ру»
03.12 11:53 Неизвестный сбросил девушку в Фонтанку за отказ знакомиться
03.12 11:32 Восьмиклассник на «семерке» совершил смертельное ДТП в Башкирии
03.12 11:05 ЦБ опроверг кражу хакерами 2 млрд рублей
03.12 11:00 Глава Пентагона оценил своего преемника
03.12 10:50 Минобороны России призвало Лондон «не мешать помогать» Алеппо
Apple Boeing Facebook Google NATO PRO SCIENCE видео ProScience Театр Pussy Riot Twitter аварии на железной дороге авиакатастрофа Австралия автопром Азербайджан Александр Лукашенко Алексей Навальный алкоголь амнистия Анатолий Сердюков Ангела Меркель Антимайдан Армения армия Арсений Яценюк археология астрономия атомная энергия Афганистан Аэрофлот банковский сектор Барак Обама Башар Асад беженцы Белоруссия беспорядки бизнес биология ближневосточный конфликт болельщики «болотное дело» Борис Немцов Бразилия Великая Отечественная война Великобритания Венесуэла Верховная Рада взрыв взятка видеозаписи публичных лекций «Полит.ру» видео «Полит.ру» визовый режим Виктор Янукович «ВКонтакте» ВКС Владимир Жириновский Владимир Путин ВМФ военная авиация Вторая мировая война вузы выборы выборы губернаторов выборы мэра Москвы газовая промышленность «Газпром» генетика Генпрокуратура Германия ГИБДД гомосексуализм госбюджет Госдеп Госдума гражданская авиация Греция Гринпис Грузия гуманитарная помощь гуманитарные и социальные науки Дагестан Дальний Восток День Победы дети Дмитрий Медведев Дмитрий Песков Дмитрий Рогозин доллар Домодедово Донецк драка ДТП Евгения Васильева евро Евромайдан Евросоюз Египет ЕГЭ «Единая Россия» Екатеринбург естественные и точные науки ЖКХ журналисты закон об «иностранных агентах» законотворчество здравоохранение в России землетрясение «Зенит» Израиль Индия Индонезия инновации Интервью ученых интернет инфляция Ирак Ирак после войны Иран Иркутская область ислам «Исламское государство» Испания история История человечества Италия Йемен Казань Казахстан Канада Киев кино Китай Климат Земли, атмосферные явления КНДР Книга. Знание кораблекрушение коррупция космос КПРФ кража Краснодарский край кредиты Кремль крушение вертолета Крым крымский кризис культура Латвия ЛГБТ ЛДПР лесные пожары Ливия Литва литература Луганск Малайзия МВД МВФ медиа медицина междисциплинарные исследования Мексика Мемория метро мигранты МИД России Минздрав Минкульт Минобороны Минобрнауки Минфин Минэкономразвития Минюст мировой экономический кризис «Мистраль» Михаил Саакашвили Михаил Ходорковский МКС Молдавия Мосгорсуд Москва Московская область мошенничество музыка МЧС наводнение налоги нанотехнологии наркотики НАСА наука Наука в современной России «Нафтогаз Украины» некролог Нерусский бунт нефть Нигерия Нидерланды Нобелевская премия Новосибирск Новые технологии, инновации Нью-Йорк «Оборонсервис» образование ОБСЕ общественный транспорт общество ограбление Одесса Олимпийские игры ООН оппозиция опросы оружие отставки-назначения Пакистан Палестинская автономия пенсионная реформа Пентагон Петр Порошенко погранвойска пожар полиция Польша правительство Право «Правый сектор» преступления полицейских преступность происшествия публичные лекции Рамзан Кадыров РАН Революция в Киргизии рейтинги религия Реформа армии РЖД Роскомнадзор Роскосмос Роспотребнадзор Россельхознадзор Российская академия наук Россия Ростовская область РПЦ рубль русские националисты Санкт-Петербург санкции Саудовская Аравия Сбербанк связь связь и телекоммуникации Севастополь сельское хозяйство сепаратизм Сергей Лавров Сергей Собянин Сергей Шойгу Сирия Сколково Славянск Следственный комитет следствие Совет Федерации социальные сети Социология в России Сочи Сочи 2014 «Спартак» «Справедливая Россия» спутники СССР стихийные бедствия Стихотворения на случай стрельба суды суицид США Таиланд Татарстан театр телевидение теракт терроризм технологии транспорт туризм Турция тюрьмы и колонии убийство Украина Федеральная миграционная служба физика Финляндия ФИФА фондовая биржа Фоторепортаж Франсуа Олланд Франция ФСБ ФСИН ФСКН футбол Хабаровский край хакеры Харьков химическое оружие хоккей Центробанк Цикл бесед "Взрослые люди" Челябинская область Чечня шахты Швейцария Швеция школа шпионаж Эбола Эдвард Сноуден экология экономика экономический кризис экстремизм Южная Корея ЮКОС Юлия Тимошенко ядерное оружие Япония

Редакция

Электронная почта: politru.edit1@gmail.com
Адрес: 129343, Москва, проезд Серебрякова, д.2, корп.1, 9 этаж.
Телефоны: +7 495 980 1893, +7 495 980 1894.
Стоимость услуг Полит.ру
Свидетельство о регистрации средства массовой информации
Эл. № 77-8425 от 1 декабря 2003г. Выдано министерством
Российской Федерации по делам печати, телерадиовещания и
средств массовой информации. Выходит с 21 февраля 1998 года.
При любом использовании материалов веб-сайта ссылка на Полит.ру обязательна.
При перепечатке в Интернете обязательна гиперссылка polit.ru.
Все права защищены и охраняются законом.
© Полит.ру, 1998–2014.