23 ноября 2019, суббота, 02:55
VK.comFacebookTwitterTelegramInstagramYouTubeЯндекс.Дзен

НОВОСТИ

СТАТЬИ

PRO SCIENCE

МЕДЛЕННОЕ ЧТЕНИЕ

ЛЕКЦИИ

АВТОРЫ

11 декабря 2008, 09:29

Использование научного метода в российских исследованиях в области бедности

Когда получила огласку история с «Корчевателем», многие российские специалисты в области социальных и гуманитарных наук обратили к ней свои взоры. Одни сожалели о том, что никто не придумал своего отдельного "корчевателя" для какого-нибудь журнала по экономике или социологии, другие успокаивали себя и окружающих тем, что в социальных и гуманитарных науках как раз все в порядке, поскольку беда приключилась с их коллегами-естественниками. Однако постепенно все больше и больше экспертов стало склоняться к тому, что в гуманитарных и социальных науках не надо никакого «корчевателя». Философы, культурологи, политологи, социологи и экономисты вполне способны сами порождать тексты немногим большей связности и осмысленности, чем компьютерная программа-бредогенератор, сочиненная студентами MIT.

Почти сразу после публикации на "Полит.ру" материалов о "Корчевателе", в редакцию обратился Михаил Локшин, старший экономист отдела анализа проблем развития Всемирного банка. Он показал копию статьи, которую только что опубликовал в одном из центральных и вполне академических журналов - в «Вопросах экономики» (2008. № 6). Нет, его статья не была написана компьютером, не было в ней и натурального человеческого бреда, искусно замаскированного трескучими фразами, чтобы заморочить голову редакции. Это был результат честно проведенного автором анализа литературы, опубликованной в нашей стране за последние полтора десятка лет, посвященной изучению одной из важных социальных проблем современной России – проблемы бедности.

Статья оказалась настолько занимательной, что мы предложили автору перепечатать ее на "Полит.ру", где ее аудитория смогла бы существенно расшириться. М. Локшин провел переговоры по поводу возможности публикации с редакцией "Вопросов экономики", которая любезно разрешила перепечатать статью в несколько сокращенном виде.

В качестве минимального предисловия: автор проанализировал 250 статей 188 ученых, вышедших в России за последние 15 лет, и пришел при этом к потрясающим выводам. Результаты его исследования выглядят куда менее утешительно, чем «Корчеватель», бороздящий просторы поля научной коммуникации. Если говорить коротко, то почти ни одна из работ в этой довольно важной области не удовлетворяет минимальным критериям качества научной публикации. Практически ни одна не может быть использована ни для чего, кроме как для того, чтобы красоваться в списке работ, в которых опубликованы основные результаты диссертации (за этот наш вывод автор не несет никакой ответственности). Эта констатация выносит современной российской социальной науке более жесткий приговор, чем возможность публикации заведомо бессмысленной статьи в и без того маргинальном журнале. Это 250 вполне ординарных статей, напечатанных, в том числе, в ведущих научных журналах страны.

Алексей Куприянов

 

Борьба с бедностью является важным компонентом стратегии экономического развития России. Несмотря на значительное уменьшение бедности в последнее десятилетие, эта проблема будет оставаться актуальной в течение многих лет из-за прогнозируемого снижения темпов экономического роста и неравномерного развития регионов. Во многих областях, имеющих отношение к снижению бедности, включая модернизацию системы социальной защиты и изменение трудового законодательства, предстоит провести серьезные реформы [1]. Они должны базироваться на детальных исследованиях характеристик бедности, динамики ее уровня, а также взаимосвязи бедности и экономического развития. От качества этих исследований будет зависеть успех реформ.

Общепринятое определение бедности (величина доходов ниже прожиточного минимума) получило распространение в Советском Союзе лишь в конце 1980-х годов [2]. В начале 1990-х годов российское правительство утвердило новую продуктовую корзину и черту бедности. С 1992 г. в России резко возросло количество исследований, посвященных методам определения прожиточного минимума, описанию профиля и анализу причин возникновения бедности. Все больше экономистов и социологов стали заниматься исследованиями бедности. Появились также работы ученых из других областей науки, придерживающихся разных подходов к выбору направления и методологии научных исследований. Такая разнородность точек зрения и подходов способствовала всестороннему анализу бедности, но усложняла создание стандартов и критериев, определяющих качество исследований в этой сравнительно новой для страны области знаний.

Концепция бедности характеризуется тенденцией к изменению со временем. Разные люди и общественные институты могут понимать ее неодинаково. Спорная и политически чувствительная трактовка того, что называть бедностью, оказывает воздействие на развитие соответствующих исследований. Во многих случаях при выборе направления научного анализа большое значение имеют субъективные факторы. Преобладающие в обществе социальные нормы влияют как на постановку исследовательских вопросов, так и на применение на практике полученных выводов. Нередко усилия по снижению бедности, предпринимаемые правительством, основываются не на результатах научных исследований, а на идеологических установках и распространенных в обществе представлениях о социальной справедливости.

Из-за множества факторов, влияющих на динамику развития бедности в стране как неискушенным наблюдателям, так и политикам зачастую бывает трудно различать качественные научные исследования и посредственные работы. В такой ситуации решающую роль играют внутренние нормы саморегуляции научного сообщества. Исследования, обобщающие результаты, полученные с помощью различных аналитических методов, способствуют достижению научного консенсуса и расширению границ научного знания. Однако, несмотря на то что в России в период с 1992 по 2006 г. было опубликовано около 250 научных статей, посвященных проблемам бедности, мы не знаем ни одной работы, в которой был бы проанализирован этот массив литературы.

Настоящая статья представляет собой критический обзор исследований бедности, проведенных в России за последние 15 лет. В ней анализируются формальные методологические подходы, применяемые российскими учеными в этой области. Наша цель — определение соответствия проводимых в России исследований бедности основным принципам и общепринятой концепции эмпирического научного анализа, а также оценка возможности использования их обобщенных результатов при выработке экономической политики и осмыслении ее результатов.

 

Данные

Наш анализ основан на 250 статьях, опубликованных 188 учеными в российских научных журналах за последние 15 лет. Несмотря на то, что этот набор статей может быть не исчерпывающим, он, по нашему мнению, является репрезентативным для подавляющего большинства публикаций о бедности в России. C 1992 г. количество статей, посвященных этой проблеме, постоянно росло, достигнув стабильной цифры — около 21 публикации ежегодно в период с 2000 по 2006 г. Более 80% всех исследований бедности относились к сфере экономики и экономической социологии, а остальные работы — к области социологии и социальной политики.

Авторство большинства публикаций о бедности в России — 70% — принадлежит ученым из Москвы, по 4% статей было написано учеными из Новосибирска и С.-Петербурга и 3% — исследователями из Саратова. Журнал «Социологические исследования» опубликовал 42 статьи, или 17% от общего числа публикаций. В журнале «Народонаселение» вышло 32 статьи (13%), а в издании «Мониторинг общественного мнения» — 26 исследований (11%). Каждый из следующих журналов: «Общество и экономика», «Экономист», «Проблемы прогнозирования», «Вопросы экономики», «Общественные науки и современность» и «Мир России» - опубликовал примерно по 15 статей о бедности.

Распределение статей по авторам достаточно типично для научных публикаций: в то время как семь исследователей (или менее 4% от их числа) опубликовали более 1/4 общего количества статей, 135 исследователей — лишь по одной работе (см. табл. 2). 47% авторов в нашей базе данных являются кандидатами наук, 23 — докторами наук, у 16% нет ученой степени, а статус оставшихся 15% авторов установить не удалось. Авторы большинства исследований бедности — экономисты и социологи, однако свой вклад внесли также психологи, философы, историки и даже биологи.

 

Научный метод

Научный метод — это набор приемов для изучения явлений и приобретения новых знаний, а также осмысления и уточнения уже полученных знаний. Он основан на сборе эмпирических, поддающихся измерению доказательств при помощи особых принципов ведения рассуждений. В современных научных исследованиях природные явления или социальные феномены осмысливаются с помощью моделей и теорий, которые должны тестироваться и проверяться на достоверность. Процесс исследования может принимать различные формы в зависимости от конкретной сферы науки, но для всех областей знания он состоит из следующих шагов:

  1. формулирование требующего изучения вопроса, который можно исследовать эмпирически;
  2. анализ имеющейся информации по данной теме; включение проводимого исследования в контекст уже опубликованной литературы;
  3. выдвижение гипотезы и следующих из нее предсказаний (теоретический и гипотетический ответы на вопрос);
  4. сбор и анализ данных; использование методов, с помощью которых можно непосредственно ответить на поднятый вопрос;
  5. интерпретация результатов и формулирование выводов.

Принципы научного метода основаны на опыте многих поколений исследователей, которые постоянно совершенствовали и развивали свои методы и теории в поиске объективного и точного знания. В научном сообществе этими принципами руководствуются при проведении исследований; при этом особое внимание уделяется объективности, четкости доводов, а также тщательному и беспристрастному описанию проделанной работы [3].

Социальные исследования и анализ бедности часто проводятся с использованием методов количественного либо качественного анализа или их комбинации. Эти два подхода могут отличаться по набору используемых допущений и типу исследования, но с эпистемологической точки зрения качественные и количественные подходы схожи [4] и разделяют одну и ту же «логику рассуждения», выраженную в научном методе [5].

За распадом Советского Союза последовала быстрая перестройка системы российской экономической науки и экономического образования в России. Российские университеты начали реформировать свои учебные программы: в них появились курсы по рыночной экономике. Реформы в различных областях экономической науки шли разными темпами. Исследования бедности, которые полностью игнорировались в советское время, не несли на себе отпечатка марксистской идеологии. Таким образом, российские ученые могли сразу положиться на методологию уже развитой строго в рамках научного метода дисциплины. Но использовали ли они эту возможность для перехода на современный уровень научных исследований?

 

Следуют ли исследования бедности в России основным принципам научного метода?

Мы полагаем, что любое исследование бедности, будь то количественное или качественное, описательное или причинно-следственное, экономическое, социологическое или философское, может и должно проводиться в строгом соответствии с научным методом. При этом в зависимости от типа исследования различные его составляющие могут использоваться в разном объеме. В эмпирических экономических исследованиях бедности особое внимание уделяется строгим теоретическим моделям и эконометрическим техникам анализа больших случайных выборок. В социологических работах чаще используются специальные выборки меньшего размера и соответственно другие методы анализа данных и проверки гипотез. Но независимо от области науки в любом исследовании бедности при формулировании вопроса анализа, включении его в контекст тематической литературы, сборе данных, выдвижении и проверке гипотез в процессе создания теорий должен применяться научный метод. Ниже представлено описание ключевых шагов, из которых состоит современное научное исследование, и предпринята попытка ответить на вопрос: использовались ли в российских исследованиях бедности, опубликованных за последние 15 лет, принципы научного метода?

Вопрос исследования

Цель науки — решать научные проблемы, то есть предоставлять «приемлемые ответы на интересующие исследователя вопросы» [6]. Успех научной работы зависит от того, насколько верно эти вопросы поставлены. В работе А. Эйнштейна и Л. Инфельда отмечалось: «Постановка проблемы часто более важна, чем ее решение… Умение формулировать новые вопросы, открыть новые возможности и посмотреть на старую проблему под новым углом требует творческого воображения и является движущей силой науки» [7]. Вопрос исследования часто возникает из практики [8]. Выбор вопроса определяет набор методов, которые будут применены для поиска ответа на него, а его формулировка должна позволять тестирование справедливости альтернативных гипотез. Важность вопроса обусловлена тем, насколько он вписан в контекст предшествующих научных работ и теорий и какую практическую ценность имеет ответ на него.

Несмотря на важность постановки исследовательского вопроса для любой научной работы, более 60% изученных нами статей не содержат ясно сформулированного вопроса, на который отвечает исследование. В этих статьях авторы сразу переходят к цифрам или обсуждению разнообразных вопросов, не формулируя главную цель своей работы. В большей части статей, где такой вопрос все-таки формулируется, предлагается лишь описательный анализ бедности. Практически ни в одном исследовании не изучаются причины возникновения наблюдаемой бедности.

Обзор тематической литературы

Прежде чем начать научное исследование, важно выяснить, не известен ли ответ на его главный вопрос, для чего необходимо ознакомиться с работами, имеющими отношение к анализируемой проблеме. При этом можно обнаружить уже выявленные факты об изучаемом явлении, сравнить новые результаты с полученными ранее и прийти к новым выводам либо пересмотреть старые. Обзор имеющихся научных работ предоставляет ученому информацию о методах, теориях и источниках данных, которые использовали другие исследователи при решении схожих задач. Существующие теории и концептуальные схемы моделирования могут предложить возможные ответы на интересующие исследователя вопросы и подсказать потенциальное направление научного анализа.

Обзор тематической литературы — важнейшая часть любой научной работы. Тем не менее, почти половина статей о бедности в России не содержит ссылок на работы других ученых. В статьях из нашей выборки (исключая публикации вообще без библиографии) имеются ссылки в среднем лишь на 4 источника. В то же время типичная статья по общественным наукам, опубликованная в ведущих международных журналах, содержит ссылки на 51 работу [9]. Более чем в половине российских статей, где есть ссылки на другие работы, цитируется одна или две публикации. Только в семи статьях имеются ссылки на 10 и более публикаций. Цитирования международных публикаций присутствуют в 30% статей, а ссылки на русскоязычные источники — в 40%. Было процитировано только пять публикаций из 20 ведущих международных экономических изданий [10]. В 280 ссылках на международные издания были упомянуты только три из 100 ведущих и наиболее часто цитируемых экономистов [11]. Почти 1/3 всех ссылок на русскоязычные источники — это самоцитирование.

Теоретические модели, гипотезы и прогнозы

Цель научного исследования — обобщенное теоретическое понимание естественного или социального явления и развитие теории или гипотезы, позволяющей получить правильное предсказание о еще не наблюдаемом явлении [12]. Научные теории дают возможность исследователям систематизировать и интерпретировать полученные наблюдения, а также делать прогнозы относительно наблюдений и событий в будущем. Такая теория должна быть логичной, четкой, допускающей последующую корректировку, тестируемой и проверяемой, а также полезной с практической точки зрения и актуальной для науки [13]. Подлинно научное исследование базируется на теории или модели, определяющей основной вопрос исследования, используемые методы и интерпретацию полученных результатов. Теоретические модели могут выражаться посредством математических уравнений или последовательного описания анализируемого процесса. Гипотезы, полученные на основе теоретических моделей, проверяются на состоятельность с помощью реальных данных. Как писал К. Поппер, научный метод подразумевает целенаправленные усилия по дискредитации научной гипотезы [14].

Явным образом специфицированная модель позволяет исследователям устанавливать причинно-следственные связи между бедностью и различными характеристиками домохозяйств и/или отдельных их членов и в некоторых случаях раскрывать механизм влияния этих характеристик на бедность.

Ни одно из опубликованных в России исследований бедности не содержит формальной теоретической модели. Большинство авторов ограничиваются описанием интересующих их процессов. Многие приводят описание метода агрегирования данных или построения какого-нибудь индекса (например, индекса ухудшения материального положения), путая это с описанием настоящей теоретической модели. В 2% работ выдвигается некая гипотеза, но в нашей выборке вообще отсутствуют статьи, в которых формально тестировались бы альтернативные гипотезы.

Источники эмпирических данных

Стратегия сбора данных и метод их анализа призваны дать прямой ответ на вопрос исследования. Последний, в свою очередь, должен задаваться так, чтобы была возможность ответить на него эмпирическим путем. Научные суждения необходимо проверить и подтвердить эмпирическими данными. Рациональность гипотезы доказывается совокупностью приведенных в ее поддержку фактов и подтверждающих ее следствий.

Более 40% научных работ, опубликованных в России с 1992 г., основано на агрегированных данных из Обследования бюджета домашних хозяйств (ОБДХ), проводимого Федеральной службой государственной статистики России (Росстатом; ранее — Госкомстатом). ОБДХ — это единственный официальный и репрезентативный на федеральном и региональном уровне источник данных об условиях жизни в России. Тем не менее, вплоть до середины 2007 г. доступ к данным по индивидуальным наблюдениям ОБДХ был ограничен. Российским исследователям приходилось полагаться на агрегированные данные, публикуемые Росстатом в ежегодных статистических сборниках. Российский мониторинг экономического положения и здоровья населения (РМЭЗ), проводящийся почти ежегодно, начиная с 1992 г., основан на выборке из 4000 домашних хозяйств, репрезентативной на уровне страны и пяти макрорегионов. Около 20 статей, посвященных бедности в России, используют данные РМЭЗ, находящихся в открытом доступе. Национальное обследование благосостояния населения и его участия в социальных программах (НОБУС) — репрезентативный на национальном, региональном и субрегиональном уровне опрос 50 тыс. домашних хозяйств, проведенный Госкомстатом в 2003 г. при поддержке Всемирного банка [15]. Данные НОБУСа появились в открытом доступе в 2005 г. и были использованы в четырех статьях из нашей выборки.

Эмпирические данные в большинстве публикаций были взяты из региональных, специализированных опросов. В 14% статей использовались региональные обследования домашних хозяйств, проведенные Институтом социально-экономических проблем народонаселения (ИСЭПН). Исследователи бедности часто полагались на данные опросов и обследований, проведенных Всероссийским центром изучения общественного мнения (ВЦИОМ). В остальных исследованиях использовались данные специализированных обследований, осуществленных Минтруда, местными исследовательскими институтами и органами власти.

Таким образом, результаты менее чем 10% статей могут считаться репрезентативными для России в целом. Ни в одной из рассмотренных статей нет ясного и подробного описания методологии формирования выборки, способа создания базовой совокупности для нее или инструментов исследования, то есть того, что составляет стандартный набор для любой эмпирической статьи. Свободный доступ к данным РМЭЗ и НОБУС гарантирует, что результаты исследований, основанных на этих данных, могут быть реплицированы и перепроверены. В то же время ни данные ОБДХ, ни данные региональных или специализированных обследований в полной мере не доступны российским ученым.

Анализ данных, эмпирическая методология

Эмпирические методы анализа данных ставят своей целью связать экономическую теорию и имеющиеся статистические измерения [16]. Из теоретической модели должна следовать гипотеза или прогнозы, и соответственно эмпирические методы разрабатывают таким образом, чтобы тестировать эти прогнозы по отношению к фактам. Прогнозирование в экономике, как правило, представляет собой оценку области возможных значений экономических исходов при реализации определенных стратегий в заданных условиях [17]. Вероятностный характер экономических прогнозов обусловлен стохастической, по сути, природой структурных зависимостей в экономике.

Начиная с 1950-х годов, эконометрические методы применяются практически во всех областях экономической науки [18]. Эконометрика превратилась в важнейшую научную дисциплину и продолжает бурно развиваться. Этому способствуют совершенствование теоретических экономических моделей, резкое повышение вычислительных мощностей компьютеров и появление обширных и высококачественных баз данных [19]. Современный эмпирический экономический анализ, как правило, выходит за рамки классической парадигмы линейной модели. Прикладные эконометрические исследования включают в себя нелинейное моделирование, не- и полупараметрические методы, позволяющие делать выводы при минимальных допущениях о распределении случайных величин, модели дискретного выбора, модели, учитывающие смещение, стратификацию и отсев выборки, методы оценки воздействия и многие другие. Появление этих методов обусловлено необходимостью иметь инструментарий для ответа на экономические вопросы, сложность и неоднозначность которых постоянно возрастают.

Формальное представление эмпирических результатов (в виде комбинационных и других таблиц) присутствовало в 3/4 всех статей. 25% публикаций содержали лишь цифры в текстe. Статистическая значимость (среднеквадратические ошибки, t- или z-статистики и p-значения) или доверительные интервалы для полученных результатов (средних и процентов) были показаны только в 5-ти статьях (2% от общей выборки). Еще в 2% статей представлена значимость результатов регрессии. Таким образом, почти полное отсутствие индикаторов статистической значимости в статьях из нашей выборки делает выводы, полученные на основе эмпирических результатов, формально некорректными [20].

Регрессионный анализ (МНК) был использован в 10% статей, в то время как в 3% публикаций применялись модели дискретного выбора. Корреляционные и переходные матрицы были представлены в 4% статей [21]. Сейчас считается общепризнанным, что анализ, основанный только на простых средних и частотах, в котором не используются более сложные многомерные зависимости, подвержен ошибочному толкованию. Такая незначительная доля статей, в которых российские исследователи полагались на многомерные методы, косвенно указывает на то, что они воспринимают бедность не как многоплановое (зависящее от нескольких переменных) явление, а скорее как результат действия группы разрозненных факторов. В статьях, где для анализа данных были задействованы многомерные методы, редко использовались современные эконометрические подходы. Мы не нашли исследований, в которых бы применялись: метод подбора контрольных групп на основе балльной оценки (propensity score matching); метод «оценки разностей» (difference-in-difference); оценки, основанные на обобщенном методе моментов (generalized method of moments), методе контрольных функций, динамических панельных данных, а также не- и полупараметрические оценки. За последнее десятилетие эти эконометрические модели стали стандартными для любого серьезного анализа бедности, так как они позволяют получать надежные результаты, которые в то же время менее требовательны к данным и допущениям о распределении случайных величин.

Проблемы эндогенности и селективного смещения отбора (sample selection bias) являются, вероятно, самыми распространенными, с которыми сталкиваются исследователи, занимающиеся прикладной эконометрикой. Поэтому разрабатываются все новые параметрические и непараметрические методы их решения [22].

Только в одной статье в нашей выборке обсуждается проблема возможной эндогенности объясняющих переменных, причем без корректировки результатов анализа. Российские исследователи не только не пытались разрешить эти потенциально серьезные проблемы в моделях оценивания, но даже не упоминали об их существовании, тем самым ставя под сомнение основные результаты и выводы своих работ.

При разработке мер по снижению бедности во всем мире недавно начал применяться новый подход — так называемая политика, основанная на фактах (evidence-based policy making). Важным ее инструментом является оценивание воздействия (impact evaluation), позволяющее выявить изменения в благосостоянии отдельных людей, домашних хозяйств, групп людей или фирм в результате осуществления конкретного проекта, программы или закона. Этот инструмент обеспечивает обратную связь, которая помогает улучшить программы и законы, направленные на борьбу с бедностью. В настоящее время практически все международные агентства, занимающиеся экономическим развитием и реализацией программ по уменьшению бедности, вкладывают значительные средства (и усилия) в оценку воздействия своих проектов. Но в нашей выборке нет исследований, которые бы оценивали эффективность национальных и региональных экономических мер по борьбе с бедностью с формальной точки зрения.

В таблице 3 показано распределение эмпирических экономических статей с точки зрения представления аналитических результатов для двух групп стран: России и США/Великобритании. Выборка для США/Великобритании основана на 145 эмпирических работах, опубликованных в девяти главных международных экономических журналах в 1965 г. Разница существенна: в 48% эмпирических статей, опубликованных в США/Великобритании в 1965 г., используется регрессионный анализ в сравнении с 12% статей, изданных в России в 1992–2006 гг. Статистическая значимость упоминается в 53% статей из выборки США/Великобритании и только в 8% российских публикаций. Этот разрыв окажется еще более значительным, если учесть разницу в доступности и стоимости вычислительной мощности компьютеров в 1965 г. и в настоящее время.

Интерпретация результатов исследования и рекомендации по экономической политике

Результаты любого научного исследования должны быть критически изучены учеными и вынесены на обсуждение специалистов по данному вопросу. Метаанализ, то есть критический синтез результатов нескольких исследований, становится ценным инструментом для обзора и общей оценки эмпирического анализа, а часто и для согласования между собой конфликтующих выводов [23]. Надежность научной работы определяется возможностью воспроизведения ее результатов с использованием новых данных или в других условиях.

Важный вопрос: каким образом выводы конкретного исследования можно обобщить и применить для более широкой группы населения или в других условиях? Прикладной характер исследований бедности подразумевает, что выводы из них должны быть представлены так, чтобы и те, кто занимается реальной работой в области снижения бедности, и непрофессионалы могли их оценить и применить на практике. При невозможности проведения повторных экспериментов (что типично для любой общественной науки и особенно экономики) критические отзывы и открытые профессиональные дискуссии по поводу новых и зачастую противоречивых результатов необходимы для подтверждения их истинности и расширения поля научного знания.

Нам не удалось найти критические обзоры исследований бедности, опубликованных в России на протяжении последних 15 лет. Ни метаанализа, ни синтеза результатов исследований бедности также не было осуществлено. Ограниченным или регламентированным доступом ко многим базам микроэкономических данных можно отчасти объяснить тот факт, что ни в одной из статей выборки не предпринято попыток повторить или подтвердить результаты других исследований.

Только в 1/3 всех статей предлагались явные рекомендации для политики в области бедности. Хотя в значительном числе статей в нашей выборке анализ был основан на данных региональных и локальных опросов, лишь в немногих статьях авторы пытались распространить полученные выводы на общенациональный уровень или показать применимость результатов для страны в целом.

Динамика качества исследований

Улучшилось ли со временем качество научных исследований бедности в России? Количество опубликованных статей о бедности слишком мало, чтобы достоверно ответить на этот вопрос. Мы можем только приблизительно оценить динамику качества исследований бедности в России за последние 15 лет. Для этого мы предлагаем использовать индекс, отражающий степень соответствия отдельно взятой статьи принципам проведения научного исследования. Индекс представляет собой простую нормализованную сумму восьми компонентов: формулируется ли в статье вопрос исследования; есть ли в ней цитаты из русских или зарубежных источников; имеется ли гипотеза, которую можно проверить; представлены ли рекомендации по экономической политике, удовлетворяет ли изложение результатов статистических вычислений существующим стандартам, использован ли в работе один из методов мультивариантного анализа и обсуждена ли проблема эндогенности? Этот индекс равен нулю, если статья не отвечает ни одному из восьми критериев, и равен единице, если статья удовлетворяет всем критериям. На рисунке 2 показано изменение этого качественного индекса в 1992–2006 гг.

Даже в самый лучший, с точки зрения качества публикаций, год (2004) индекс среднего качества статей не превышает 0,3. На первый взгляд, наметилась небольшая положительная динамика в качестве публикаций о бедности в России. Однако при коррекции индекса с учетом различий в характеристиках публикаций положительная качественная динамика пропадает [24].

 

Выводы и рекомендации

Научные журналы публикуются для того, чтобы способствовать приращению научного знания. Во всем мире экономические журналы — основное средство обмена новыми идеями, именно к ним в первую очередь обращаются и исследователи, и политики. Для экономистов эти издания — средство распространения их работ в академическом сообществе. С их помощью ученые, работающие в определенной сфере, знакомятся с проведенными исследованиями и находятся в курсе новейших методологий и подходов. Профессионалам-практикам экономические журналы дают доступ к последним исследованиям, а система рецензирования статей обеспечивает качество и актуальность научных работ.

В этой статье мы попытались оценить, насколько удовлетворяют опубликованные в России исследования бедности основным критериям, предъявляемым к научным публикациям, и могут ли они служить надежным ориентиром для российского правительства при разработке программ по борьбе с бедностью. Согласно нашим выводам, только в небольшой части статей о бедности, опубликованных в России в 1992–2006 гг., применяется научный метод эмпирического исследования. В них редко формулируется главный вопрос исследования; мало цитат; нет ясной теоретической модели; используемые эмпирические методы и подходы устарели; описанию данных недостает точности; большая часть выводов необоснованна; во многих статьях отсутствуют четкие рекомендации в области политики в отношении бедности. Если наша выборка публикаций объективно отражает ситуацию с исследованиями бедности в стране, то российские политики могут почерпнуть из них чрезвычайно мало, а может быть, и вообще не должны принимать эти работы во внимание.

Почему ситуация с исследованиями бедности в России выглядит так удручающе? Как нам кажется, тому есть несколько причин. Экономика, в западном понимании этого термина, не была известна в России до начала 1990-х годов. Многие активно работающие сегодня исследователи и политики получили академическое образование в рамках советской системы, в которой главное место занимала политэкономия, и слабо изучались микро-, макроэкономика и эконометрика. У политиков и управленцев нет возможности отличить работы низкого уровня от высококачественных исследований. Как показывает наш анализ, в российском научном сообществе пока не развита система внутренних норм саморегуляции, которые гарантировали бы высокие стандарты качества исследований. Корректные с точки зрения методологии работы о бедности в России написаны не экономистами, а другими учеными, например психологами, которые переносят научные нормы своих дисциплин в область исследований бедности.

Другой фактор, препятствующий высокому качеству исследований бедности, — недостаток микроэкономических данных. Сейчас имеется открытый доступ только к двум базам таких данных, репрезентативных на уровне страны; данные большинства региональных опросов принадлежат частным компаниям. Результаты официальных обследований, выполненных Росстатом, доступны только в агрегированной форме, без данных индивидуальных наблюдений. Очевидно, для России с ее крайним разнообразием экономических, географических и этнических характеристик этого недостаточно. Открытый доступ к данным необходим для тщательного анализа результатов новых исследований, их воспроизводства и улучшения. Из-за нехватки данных российские вузы не могут вводить в учебные программы прикладные микроэкономические курсы.

Судя по количеству ссылок на международные источники, российские исследователи бедности практически не интегрированы в мировое научное сообщество [25]. В результате они почти не знакомы c последними разработками в этой области. Освоение ими новых техник и методов экономического анализа и применение их в научной работе проходит медленно. Вероятно, одной из причин является языковой барьер.

Наконец, ни один из журналов в нашей выборке не использует формальную систему слепого (double-blinded) рецензирования, принятую во всем мире при отборе материалов для публикации. Редактору научного издания может быть трудно оценить качество узкоспециализированного исследования на новую тему. Иногда он не может найти ошибки в сложной научной работе. Предоставление рукописи для рецензии анонимным и независимым экспертам в соответствующей области могло бы обеспечить соответствие опубликованных статей научным стандартам и основным принципам научного исследования [26].

Несмотря на эти серьезные проблемы, мы уверены, что содержание научных исследований бедности в России можно улучшить. В ряде областей качество экономического дискурса в стране отвечает международным стандартам. Достаточно высокий уровень российских макроэкономических и бюджетных исследований, а также экономики финансов свидетельствует о том, что адекватная система стимулов может привлечь молодых исследователей, применяющих современные подходы и способных осуществлять качественные исследования. Специалисты из нескольких научных организаций, таких как Центр экономических и финансовых исследований и разработок в Российской экономической школе (ЦЭФИР), а также научных центров ГУ–ВШЭ и других, публикуют свои работы в ведущих международных экономических изданиях.

Российские исследователи только выиграли бы от большей интеграции в мировое научное сообщество. Она могла бы стимулировать научный диалог между ними и исследователями из других стран, что позволило бы познакомить российских ученых с международными стандартами проведения научных исследований и общепринятыми научными методиками [27]. Это также способствовало бы обсуждению их работ с коллегами со всего мира и свободному обмену критическими замечаниями.

Международное сотрудничество играет ключевую роль в развитии экономического знания. Посткоммунистическое преобразование экономической науки в странах Центральной и Восточной Европы можно рассматривать как заключительную стадию интернационализации этой научной дисциплины [28]. Грандиозная совокупность знаний, созданных и подробно описанных современными экономистами, сегодня открыта и доступна всем, кто хочет ее использовать. Российские экономисты, занимающиеся проблемами бедности, стоят перед серьезным выбором: принять международные стандарты и методы проведения научных исследований и стать частью мирового научного сообщества - или оставаться в изоляции и продолжать производить исследования, которые, с формальной точки зрения, неприменимы на практике.

Таблица 1. География авторов
Города Количество авторов % авторов
Москва 130 69,52
Новосибирск 7 3,74
С.-Петербург 7 3,74
Саратов 6 3,21
Нижний Новгород 4 2,14
Улан-Уде 4 2,14
Вологда 3 1,60
Иркутск 3 1,60
Киров 3 1,60
Алтайск 2 1,60
Брянск 2 1,60
Петрозаводск 2 1,60
Ульяновск 2 1,60
Прага 1 0,53
Стокгольм 1 0,53
Донецк 1 0,53
Екатеринбург 1 0,53
Махачкала 1 0,53
Омск 1 0,53
Ростов-на-Дону 1 0,53
Сыктывкар 1 0,53
Ярославль 1 0,53
Другие 3 1,60
Итого 188 100.00
 
Таблица 2. Количество публикаций у авторов, всего 250 публикаций
Количество публикаций Количество авторов % авторов
1 135 71,81
2 18 9,57
3 13 6,91
4 6 3,19
5 6 3,19
6 3 1,60
7 1 0,53
8 2 1,06
9 2 1,06
11 1 0,53
13 1 0,53
Итого 188 100,00
 
Таблица 3. Представление эмпирических результатов в США/Великобритании в 1965 г. и в России в 1992–2006 гг. (в %)
  США / Великобритания
1965
Россия
1992–2006
Оценки параметров 100 75
Среднеквадратические ошибки 53 8
Анализ регрессий 48 12
Источник: Thomas J. Op. cit.
Рисунок 1. Количество публикаций о бедности в год
Рисунок 2. Изменение индекса качества публикаций во времени
 

Примечания

Автор выражает признательность В. Гимпельсону, Р. Емцову, С. Заиди и Р. Капелюшникову, за комментарии и предложения. Выводы и заключения статьи отражают точку зрения автора, и их не следует связывать с позицией Всемирного банка, его исполнительными директорами или странами, которые они представляют.

[1] Russian Federation: Reducing Poverty through Growth and Social Policy Reform / The World Bank, 2005.

[2] Klugman J. Poverty in Russia: Public Policy and Private Responses. World Bank Publications, 1997.

[3] Ziman J. Real Science: What It Is, and What It Means. New York: Cambridge University Press, 2000.

[4] Campbell D. Quantitative Knowing in Action Research / Kurt Levin Award Address. Society for the Psychological Study of Social Issues, presented at the annual meeting of the American Psychological Association. New Orleans, 1974.

[5] King G., Keohane R., Verba S. Designing Social Inquiry: Scientific Inference in Qualitative Research. Princeton: Princeton University Press, 1994.

[6] Laudan L. Progress and Its Problems. Berkeley, CA: University of California Press, 1997.

[7] Einstein A., Infeld L. The Evolution of Physics. New York: Simon and Shuster, 1938.

[8] Stokes D. Pasteur’s Quadrant: Basic Science and Technological Innovation. Washington, DC: Brookings Institution Press, 1997.

[9] Abt H., Garfield E. Is the Relationship between Numbers of References and Paper Lengths the Same for All Sciences? // Journal of the American Society for Information Science and Technology. 2002. Vol. 53, No 13. P. 1106–1112. В последние десятилетия число ссылок на другие работы в экономических изданиях значительно выросло. Дж. Эллисон отмечает, что в 1977–1978 гг. статья, опубликованная в одном из четырех ведущих экономических журналов, содержала в среднем 15 цитирований; в 1998 г. их число увеличилось до 30 (Ellison  G. Evolving Standards for Academic Publishing: A q-r Theory: Mimeo. Department of Economics, Massachusetts Institute of Technology, 2001). Если считать, что число цитирований растет линейно со временем, то получится, что в российских изданиях оно соответствует международному уровню 1968 г.

[10] Kalaitzidakis P., Mamuneas T., Stengos T. Rankings of Academic Journals and Institutions in Economics // Journal of the European Economic Association. 2001. Vol. 1, No 6. P. 1346–1366.

[11] Coupe T. Revealed Performance: Worldwide Rankings of Economists and Economics Departments, 1990–2000 // Journal of the European Economic Association. 2003. Vol. 1, No 6. P. 1309–1345.

[12] Friedman M. Essays in Positive Economics. Chicago, IL: University of Chicago Press, 1970. P. 6.

[13] Root-Bernstein R. On Defining a Scientific Theory: Creationism Considered. // Science and Creationism / A. Montagu (ed.) New York: Oxford University Press, 1984. P. 64–94.

[14] Popper K. Conjectures and Refutations: The Growth of Scientific Knowledge. 2nd ed. New York: Basic Books, 1965.

[15] Подробное описание обследования НОБУС и собранные данные можно найти по адресу nobus.worldbank.org.ru.

[16] Haavelmo T. The Probability Approach in Econometrics // Econometrica. 1944. Vol. 12 (Supplement). P. iii-vi+1–115.

[17] Marschak J. Economic Structure, Path, Policy, and Prediction // The American Economic Review. 1947. Vol. 37, No 2. P. 81–84.

[18] Gilbert R. Richard Stone, Demand Theory and the Emergence of Modern Econometrics // The Economic Journal. 1991. Vol. 101. P. 288–302.

[19] Green W. Econometric Analysis. 5th ed. NJ: Prentice Hall, 2003.

[20] Эти цифры, однако, говорят об улучшении ситуации по сравнению с концом 1980-х годов. М. Алексеев с соавторами пришли к заключению, что среди более чем 100 статей, опубликованных в ведущем экономическом журнале в 1988 г., нет «статей, в которых бы использовались математические вычисления, или в которых были бы попытки выдвинуть поведенческую или какую либо другую модель» (см.: Alexeev M., Gaddy C., Leitzel J. Economics in the Former Soviet Union // Journal of Economic Perspectives. 1992. Vol. 6, No 2. P. 137–148).

[21] Похожее различие в использовании многомерного анализа среди российских и западных биологов отмечено В. Леоновым. 30% статей, опубликованных в международных биологических медицинских журналах, основано на многовариантных методах по сравнению с 3% — в российских публикациях (см.: Леонов В. Наукометрика статистической парадигмы экспериментальной биомедицины // Вестник Томского Университета. 2002. Вып. 275. С. 17–24).

[22] Wooldridge J. Econometric Analysis of Cross-sectional and Panel Data. Cambridge, Mass: MIT Press, 2002.

[23] Stanley T. Wheat from Chaff: Meta-Analysis as Quantitative Literature Review // Journal of Economic Perspectives. 2001. Vol. 15, No 3. P. 131–150.

[24] С помощью линейной регрессии мы оцениваем зависимость индекса качества от следующих характеристик: год публикации; область науки (экономика, социология); является ли статья исследованием или обзором; из Москвы автор или нет; есть ли у автора научные степени; опубликована ли статья в одном из четырех журналов с наибольшим количеством публикаций о бедности.

[25] Мы проанализировали подборку публикаций в 200-х ведущих международных экономических изданиях с 1985 по 2006 г. (см.: Das J., Do T., Sahines K., Srinivasan S. To Grow is to Know: Economics Research and The Wealth of Countries: Mimeo. The World Bank, 2007). Публикации, в которых хотя бы один автор был связан с российскими научными институтами, составляют 0,45% от общего числа опубликованных статей.

[26] Актуальный проект редакторов российских физических журналов посвящен развитию независимой системы контроля качества научных исследований в физике. Ведущие российские физики и математики подчеркивают, что недостаток такой независимой оценки — одно из ключевых препятствий на пути прогресса и даже самого существования российской науки (www.scientific.ru).

[27] В 1963 г. экономический еженедельник «Horsodarske Noviny», выходивший в Чехословакии, опубликовал мнения нескольких выдающихся экономистов о качестве экономических исследований в стране. Две главные причины, объяснявшие низкие стандарты экономической науки: общая нехватка экономической литературы и невозможность получить доступ к необходимым данным (Revisionism in CS Economics / Target Area Research and Analysis. Czechoslovak Unit. Report 16-6-134. 1963).

[28] Kaase M., Sparschuh V., Wenninger A. Three Social Science Disciplines in Central and Eastern Europe // Handbook on Economics, Political Science and Sociology (1989–2001). Berlin/Bonn/Budapest: Collegium Budapest and the Social Science Information Centre, 2002.

См. также:

Обсудите в соцсетях

Система Orphus

Главные новости

22.11 22:45 Во Владимирской области жители вышли на одиночные пикеты против строительства платной трассы Москва − Казань
22.11 21:53 «Фонтанка» нашла третьего предполагаемого наемника ЧВК Вагнера, который участвовал в жестоком убийстве в Сирии
22.11 20:50 В Гонконге россиянина обвинили в незаконном хранении боеприпасов. Он хотел увезти «сувениры» из гильз
22.11 19:52 Экс-начальника колонии Петрозаводска перевели на работу в больницу. ФСИН обещала его уволить за побои заключенных
22.11 18:53 Глава Башкирии запретил пускать активистов штаба Навального на публичные слушания – «нам с ними не по пути»
22.11 18:52 В Алтайском крае муж убил супругу – он несколько часов избивал ее табуреткой и битой
22.11 18:05 В садике под Улан-Удэ нет отопления четвертый год. Дети играют в куртках
22.11 17:47 За 2019 год российские YouTube-блогеры заработали на рекламных интеграциях 3 млрд рублей
22.11 16:30 Попавшие в воду антидепрессанты влияют на поведение рыб
22.11 16:27 Чеченская соцсеть Mylistory включила Крым в состав Украины. Ее использует Кадыров после блокировки с Instagram
22.11 15:54 Один из самых успешных боксеров в мире Флойд Мейвезер вернется на ринг
22.11 15:38 Жителя Смоленской области оштрафовали за ролик во «ВКонтакте» со Сталиным
22.11 15:03 Военная прокуратура: за год в России от дедовщины пострадали более 100 солдат
22.11 15:01 Пол Маккартни выпустил две новых песни
22.11 14:15 Роспотребнадзор заметил «радиационный инцидент» в Южно-Китайском море
22.11 13:44 Глава «Тинькофф» обвинил Сбербанк в краже идей и сотрудников
22.11 13:09 Минздрав предложил следить за здоровьем работников с помощью телемедицины
22.11 13:00 Новая болезнь кораллов обнаружена в Тихом океане
22.11 12:51 Полина Гагарина судится за аранжировку «Кукушки». Истец настаивает, что Меладзе украл музыку
22.11 12:46 В Москве вручили премии «Просветитель» и «Просветитель.Digital»
22.11 12:00 Собачьи и овечьи кости помогут лечить переломы крыльев птиц
22.11 11:47 WWF потребовал, чтобы власти Карачаево-Черкессии остановили вырубку 25 га лесов в Архызе
22.11 11:45 Родственники жертв домашнего насилия потребовали проверить на профпригодность замминистра юстиции. Он называл проблему преувеличенной
22.11 11:08 В Башкирии бывших полицейских приговорили к трем годам лишения свободы за пытки электрошокером
22.11 10:44 Военкомат знал о склонности к суициду студента, устроившего стрельбу в колледже Благовещенска
22.11 10:18 «Яндекс» профинансирует новый сезон «Смешариков». Он выйдет в 2020 году
22.11 10:00 В Непале нашли место размножения самых редких в мире крокодилов
22.11 09:48 Victoria’s Secret впервые за 25 лет отменила показ
22.11 09:39 В Калифорнии прошла презентация первого электропикапа Сybertruck от Tesla
22.11 08:48 Приморскому бизнесмену отменили приговор по делу о хищении 300 млн рублей
22.11 08:02 «Победа» предупредила о возможных катастрофах из-за халатности сотрудников аэропортов
22.11 06:41 В московских аптеках впервые появилась услуга экспресс-кредитования
22.11 05:53 Самый первый номер комиксов Marvel продали за $1,26 млн
22.11 05:32 Twitter разрешил пользователям скрывать ответы на свои публикации
21.11 22:01 Российского программиста приговорили в США к четырем годам тюрьмы
21.11 21:23 Глава ФСИН пообещал россиянам новые тюрьмы
21.11 20:58 Оксфордский словарь назвал главное слово 2019 года
21.11 20:40 Группа KISS отыграла подводный концерт для акул, но ни одна из хищниц не захотела слушать
21.11 19:57 ФБК опубликовал подробное расследование о главе Роскосмоса. Рогозин назван «космически богатым»
21.11 19:35 Путин наградил звездами Героев России летчиков, которые посадили самолет в кукурузное поле
21.11 19:00 Испания начала расследование по поводу вмешательства ГРУ в дела Каталонии
21.11 18:07 В Курске несовершеннолетнего оштрафовали за отрывок из «Тома и Джерри» с нацистской символикой
21.11 17:16 Госдума приняла закон об обязательной предустановке российского ПО на смартфоны
21.11 16:20 В Перми на школьницу завели дело об убийстве. Она спасала бабушку и подругу от побоев пьяного отчима
21.11 16:19 Госдума разрешила признать любого человека иностранным агентом
21.11 15:39 Большинство работодателей не будут выплачивать новогодние премии
21.11 15:35 Жители России выстроились в очередь к наркологам
21.11 14:55 «Каста» записала новый гимн России и предложила его Путину
21.11 14:17 В Петрозаводске чиновницу уволят за оскорбления горожан, которые «мусор до помойки не донесли»
21.11 14:02 Российский космонавт заявил, что космос не предназначен для женщин
«АвтоВАЗ» «ВКонтакте» «Газпром» «Зенит» «Мемориал» «Мистраль» «Оборонсервис» «Роснефть» «Спартак» «Яблоко» Абхазия Австралия Австрия Азербайджан Антимайдан Аргентина Арктика Армения Афганистан Аэрофлот Башкирия Белоруссия Бельгия Бразилия ВВП ВКС ВМФ ВПК ВТБ ВЦИОМ Ватикан Великобритания Венгрия Венесуэла Владивосток Внуково Волгоград ГИБДД ГЛОНАСС Генпрокуратура Германия Голливуд Госдеп Госдума Греция Гринпис Грузия ДТП Дагестан Домодедово Донецк ЕГЭ ЕСПЧ Евровидение Еврокомиссия Евромайдан Евросоюз Египет Екатеринбург ЖКХ Израиль Ингушетия Индия Индонезия Интерпол Ирак Иран Испания Италия Йемен КНДР КПРФ Казань Казахстан Калининград Камчатка Канада Каталония Кемерово Киев Кипр Киргизия Китай Коми Конституция Кремль Крым Куба Курилы ЛГБТ ЛДПР Латвия Ливия Литва Лондон Луганск МВД МВФ МГУ МКС МОК МЧС Малайзия Мексика Минздрав Минкомсвязи Минкульт Минобороны Минобрнауки Минпромторг Минсельхоз Минск Минтранспорта Минтруд Минфин Минэкономразвития Минэнерго Минюст Молдавия Мосгордума Мосгорсуд Москва НАСА Нигерия Нидерланды Новосибирск Норвегия ОБСЕ ООН ОПЕК Одесса ПДД Пакистан Паралимпиада Париж Пентагон Польша Приморье РАН РЖД РПЦ РФС Росавиация Росгвардия Роскомнадзор Роскосмос Роспотребнадзор Россельхознадзор Россия Росстат СМИ СССР США Сахалин Сбербанк Севастополь Сербия Сирия Сколково Славянск Сочи Таджикистан Таиланд Татарстан Трансаэро Турция УЕФА Узбекистан Украина ФАС ФБР ФИФА ФСБ ФСИН ФСКН Филиппины Финляндия Франция Харьков ЦИК ЦРУ ЦСКА Центробанк Чехия Чечня Швейцария Швеция Шереметьево Эбола Эстония ЮКОС Якутия Яндекс Япония авиакатастрофа автопром алкоголь амнистия арест армия археология астрономия аукционы банкротство беженцы бензин беспилотник беспорядки биатлон бизнес бокс болельщики вандализм взрыв взятка вирусы вузы выборы гаджеты генетика гомосексуализм госбюджет госзакупки госизмена деньги дети доллар допинг драка евро журналисты законотворчество землетрясение изнасилование импорт инвестиции инновации интернет инфляция ипотека искусство ислам исследования история казнь кино кораблекрушение коррупция космос кража кредиты культура лингвистика литература математика медиа медицина метро мигранты монархия мошенничество музыка наводнение налоги нанотехнологии наркотики наука недвижимость нейробиология некролог нефть образование обрушение общество ограбление оппозиция опросы оружие офшор палеонтология педофилия пенсия пиратство планетология погранвойска пожар полиция похищение правительство право православие преступность продовольствие происшествия ракета рейтинги реклама религия ретейл робототехника рубль санкции связь сепаратизм следствие смартфоны социология спецслужбы спутники страхование стрельба строительство суды суицид тарифы театр телевидение теракт терроризм технологии транспорт туризм убийство фармакология физика фоторепортаж футбол хакеры химия хоккей хулиганство цензура школа шпионаж экология экономика экспорт экстремизм этология «Единая Россия» «Исламское государство» «Нафтогаз Украины» «Правый сектор» «Северный поток» «Справедливая Россия» «болотное дело» Александр Лукашенко Александр Новак Александр Турчинов Алексей Кудрин Алексей Навальный Алексей Улюкаев Амурская область Анатолий Сердюков Ангела Меркель Антон Силуанов Аркадий Дворкович Арсений Яценюк Астраханская область Барак Обама Басманный суд Башар Асад Белый дом Борис Немцов Бутовский полигон Валентина Матвиенко Верховная Рада Верховный суд Виктор Янукович Виталий Мутко Владимир Жириновский Владимир Зеленский Владимир Маркин Владимир Мединский Владимир Путин Вячеслав Володин Дальний Восток День Победы Дмитрий Медведев Дмитрий Песков Дмитрий Рогозин Дональд Трамп Евгения Васильева Забайкальский край Интервью ученых Ирина Яровая Иркутская область История человечества Калужская область Кирилл Серебренников Кировская область Конституционный суд Космодром Байконур Краснодарский край Красноярский край Ксения Собчак Ленинградская область МИД России Мария Захарова Михаил Прохоров Михаил Саакашвили Михаил Ходорковский Московская область Мурманская область Надежда Савченко Наталья Поклонская Нижний Новгород Николас Мадуро Нобелевская премия Новосибирская область Новый год Олимпийские игры Ольга Голодец Павел Дуров Палестинская автономия Папа Римский Первый канал Пермский край Петр Порошенко Почта России Приморский край Рамзан Кадыров Реджеп Эрдоган Республика Карелия Ростовская область Саратовская область Саудовская Аравия Свердловская область Сергей Лавров Сергей Нарышкин Сергей Полонский Сергей Собянин Сергей Шойгу Следственный комитет Совбез ООН Совет Федерации Ставропольский край Счетная палата Тереза Мэй Франсуа Олланд Хабаровский край Хиллари Клинтон Человек дня Челябинская область Черное море Эдвард Сноуден Элла Памфилова Эльвира Набиуллина Южная Корея Юлия Тимошенко Юрий Чайка авторское право администрация президента акции протеста атомная энергия баллистические ракеты банковский сектор биология большой теннис визовый режим военная авиация выборы губернаторов газовая промышленность гражданская авиация гуманитарная помощь декларации чиновников дороги России информационные технологии климат Земли компьютерная безопасность космодром Восточный крушение вертолета легкая атлетика лесные пожары междисциплинарные исследования мобильные приложения морской транспорт некоммерческие организации общественный транспорт патриарх Кирилл пенсионная реформа пищевая промышленность права человека правозащитное движение преступления полицейских публичные лекции российское гражданство русские националисты русский язык сельское хозяйство сотовая связь социальные сети стихийные бедствия телефонный терроризм уголовный кодекс фигурное катание финансовый рынок фондовая биржа химическое оружие эволюция экономический кризис ядерное оружие Великая Отечественная война Вторая мировая война Ирак после войны Ким Чен Ын Революция в Киргизии Российская академия наук Стихотворения на случай Федеральная миграционная служба Федеральная таможенная служба борьба с курением выборы мэра Москвы здравоохранение в России связь и телекоммуникации тюрьмы и колонии Совет по правам человека аварии на железной дороге естественные и точные науки закон об «иностранных агентах» компьютеры и программное обеспечение видеозаписи публичных лекций «Полит.ру» Новые технологии, инновации Сочи 2014 рейтинг Forbes Кабардино-Балкария Левада-Центр Нью-Йорк Санкт-Петербург отставки-назначения шоу-бизнес Ростов-на-Дону ЧМ-2018 Книга. Знание ВИЧ/СПИД Apple Bitcoin Boeing Facebook G20 Google iPhone IT NATO PRO SCIENCE видео ProScience Театр Pussy Riot Telegram Twitter Wikileaks

Редакция

Электронная почта: [email protected]
Телефон: +7 929 588 33 89
Яндекс.Метрика
Свидетельство о регистрации средства массовой информации
Эл. № 77-8425 от 1 декабря 2003 года. Выдано министерством
Российской Федерации по делам печати, телерадиовещания и
средств массовой информации. Выходит с 21 февраля 1998 года.
При любом использовании материалов веб-сайта ссылка на Полит.ру обязательна.
При перепечатке в Интернете обязательна гиперссылка polit.ru.
Все права защищены и охраняются законом.
© Полит.ру, 1998–2019.