Полiт.ua Государственная сеть Государственные люди Войти
16 декабря 2017, суббота, 04:42
Facebook Twitter LiveJournal VK.com RSS

НОВОСТИ

СТАТЬИ

АВТОРЫ

ЛЕКЦИИ

PRO SCIENCE

СКОЛКОВО

РЕГИОНЫ

11 декабря 2008, 09:29

Использование научного метода в российских исследованиях в области бедности

Когда получила огласку история с «Корчевателем», многие российские специалисты в области социальных и гуманитарных наук обратили к ней свои взоры. Одни сожалели о том, что никто не придумал своего отдельного "корчевателя" для какого-нибудь журнала по экономике или социологии, другие успокаивали себя и окружающих тем, что в социальных и гуманитарных науках как раз все в порядке, поскольку беда приключилась с их коллегами-естественниками. Однако постепенно все больше и больше экспертов стало склоняться к тому, что в гуманитарных и социальных науках не надо никакого «корчевателя». Философы, культурологи, политологи, социологи и экономисты вполне способны сами порождать тексты немногим большей связности и осмысленности, чем компьютерная программа-бредогенератор, сочиненная студентами MIT.

Почти сразу после публикации на "Полит.ру" материалов о "Корчевателе", в редакцию обратился Михаил Локшин, старший экономист отдела анализа проблем развития Всемирного банка. Он показал копию статьи, которую только что опубликовал в одном из центральных и вполне академических журналов - в «Вопросах экономики» (2008. № 6). Нет, его статья не была написана компьютером, не было в ней и натурального человеческого бреда, искусно замаскированного трескучими фразами, чтобы заморочить голову редакции. Это был результат честно проведенного автором анализа литературы, опубликованной в нашей стране за последние полтора десятка лет, посвященной изучению одной из важных социальных проблем современной России – проблемы бедности.

Статья оказалась настолько занимательной, что мы предложили автору перепечатать ее на "Полит.ру", где ее аудитория смогла бы существенно расшириться. М. Локшин провел переговоры по поводу возможности публикации с редакцией "Вопросов экономики", которая любезно разрешила перепечатать статью в несколько сокращенном виде.

В качестве минимального предисловия: автор проанализировал 250 статей 188 ученых, вышедших в России за последние 15 лет, и пришел при этом к потрясающим выводам. Результаты его исследования выглядят куда менее утешительно, чем «Корчеватель», бороздящий просторы поля научной коммуникации. Если говорить коротко, то почти ни одна из работ в этой довольно важной области не удовлетворяет минимальным критериям качества научной публикации. Практически ни одна не может быть использована ни для чего, кроме как для того, чтобы красоваться в списке работ, в которых опубликованы основные результаты диссертации (за этот наш вывод автор не несет никакой ответственности). Эта констатация выносит современной российской социальной науке более жесткий приговор, чем возможность публикации заведомо бессмысленной статьи в и без того маргинальном журнале. Это 250 вполне ординарных статей, напечатанных, в том числе, в ведущих научных журналах страны.

Алексей Куприянов

 

Борьба с бедностью является важным компонентом стратегии экономического развития России. Несмотря на значительное уменьшение бедности в последнее десятилетие, эта проблема будет оставаться актуальной в течение многих лет из-за прогнозируемого снижения темпов экономического роста и неравномерного развития регионов. Во многих областях, имеющих отношение к снижению бедности, включая модернизацию системы социальной защиты и изменение трудового законодательства, предстоит провести серьезные реформы [1]. Они должны базироваться на детальных исследованиях характеристик бедности, динамики ее уровня, а также взаимосвязи бедности и экономического развития. От качества этих исследований будет зависеть успех реформ.

Общепринятое определение бедности (величина доходов ниже прожиточного минимума) получило распространение в Советском Союзе лишь в конце 1980-х годов [2]. В начале 1990-х годов российское правительство утвердило новую продуктовую корзину и черту бедности. С 1992 г. в России резко возросло количество исследований, посвященных методам определения прожиточного минимума, описанию профиля и анализу причин возникновения бедности. Все больше экономистов и социологов стали заниматься исследованиями бедности. Появились также работы ученых из других областей науки, придерживающихся разных подходов к выбору направления и методологии научных исследований. Такая разнородность точек зрения и подходов способствовала всестороннему анализу бедности, но усложняла создание стандартов и критериев, определяющих качество исследований в этой сравнительно новой для страны области знаний.

Концепция бедности характеризуется тенденцией к изменению со временем. Разные люди и общественные институты могут понимать ее неодинаково. Спорная и политически чувствительная трактовка того, что называть бедностью, оказывает воздействие на развитие соответствующих исследований. Во многих случаях при выборе направления научного анализа большое значение имеют субъективные факторы. Преобладающие в обществе социальные нормы влияют как на постановку исследовательских вопросов, так и на применение на практике полученных выводов. Нередко усилия по снижению бедности, предпринимаемые правительством, основываются не на результатах научных исследований, а на идеологических установках и распространенных в обществе представлениях о социальной справедливости.

Из-за множества факторов, влияющих на динамику развития бедности в стране как неискушенным наблюдателям, так и политикам зачастую бывает трудно различать качественные научные исследования и посредственные работы. В такой ситуации решающую роль играют внутренние нормы саморегуляции научного сообщества. Исследования, обобщающие результаты, полученные с помощью различных аналитических методов, способствуют достижению научного консенсуса и расширению границ научного знания. Однако, несмотря на то что в России в период с 1992 по 2006 г. было опубликовано около 250 научных статей, посвященных проблемам бедности, мы не знаем ни одной работы, в которой был бы проанализирован этот массив литературы.

Настоящая статья представляет собой критический обзор исследований бедности, проведенных в России за последние 15 лет. В ней анализируются формальные методологические подходы, применяемые российскими учеными в этой области. Наша цель — определение соответствия проводимых в России исследований бедности основным принципам и общепринятой концепции эмпирического научного анализа, а также оценка возможности использования их обобщенных результатов при выработке экономической политики и осмыслении ее результатов.

 

Данные

Наш анализ основан на 250 статьях, опубликованных 188 учеными в российских научных журналах за последние 15 лет. Несмотря на то, что этот набор статей может быть не исчерпывающим, он, по нашему мнению, является репрезентативным для подавляющего большинства публикаций о бедности в России. C 1992 г. количество статей, посвященных этой проблеме, постоянно росло, достигнув стабильной цифры — около 21 публикации ежегодно в период с 2000 по 2006 г. Более 80% всех исследований бедности относились к сфере экономики и экономической социологии, а остальные работы — к области социологии и социальной политики.

Авторство большинства публикаций о бедности в России — 70% — принадлежит ученым из Москвы, по 4% статей было написано учеными из Новосибирска и С.-Петербурга и 3% — исследователями из Саратова. Журнал «Социологические исследования» опубликовал 42 статьи, или 17% от общего числа публикаций. В журнале «Народонаселение» вышло 32 статьи (13%), а в издании «Мониторинг общественного мнения» — 26 исследований (11%). Каждый из следующих журналов: «Общество и экономика», «Экономист», «Проблемы прогнозирования», «Вопросы экономики», «Общественные науки и современность» и «Мир России» - опубликовал примерно по 15 статей о бедности.

Распределение статей по авторам достаточно типично для научных публикаций: в то время как семь исследователей (или менее 4% от их числа) опубликовали более 1/4 общего количества статей, 135 исследователей — лишь по одной работе (см. табл. 2). 47% авторов в нашей базе данных являются кандидатами наук, 23 — докторами наук, у 16% нет ученой степени, а статус оставшихся 15% авторов установить не удалось. Авторы большинства исследований бедности — экономисты и социологи, однако свой вклад внесли также психологи, философы, историки и даже биологи.

 

Научный метод

Научный метод — это набор приемов для изучения явлений и приобретения новых знаний, а также осмысления и уточнения уже полученных знаний. Он основан на сборе эмпирических, поддающихся измерению доказательств при помощи особых принципов ведения рассуждений. В современных научных исследованиях природные явления или социальные феномены осмысливаются с помощью моделей и теорий, которые должны тестироваться и проверяться на достоверность. Процесс исследования может принимать различные формы в зависимости от конкретной сферы науки, но для всех областей знания он состоит из следующих шагов:

  1. формулирование требующего изучения вопроса, который можно исследовать эмпирически;
  2. анализ имеющейся информации по данной теме; включение проводимого исследования в контекст уже опубликованной литературы;
  3. выдвижение гипотезы и следующих из нее предсказаний (теоретический и гипотетический ответы на вопрос);
  4. сбор и анализ данных; использование методов, с помощью которых можно непосредственно ответить на поднятый вопрос;
  5. интерпретация результатов и формулирование выводов.

Принципы научного метода основаны на опыте многих поколений исследователей, которые постоянно совершенствовали и развивали свои методы и теории в поиске объективного и точного знания. В научном сообществе этими принципами руководствуются при проведении исследований; при этом особое внимание уделяется объективности, четкости доводов, а также тщательному и беспристрастному описанию проделанной работы [3].

Социальные исследования и анализ бедности часто проводятся с использованием методов количественного либо качественного анализа или их комбинации. Эти два подхода могут отличаться по набору используемых допущений и типу исследования, но с эпистемологической точки зрения качественные и количественные подходы схожи [4] и разделяют одну и ту же «логику рассуждения», выраженную в научном методе [5].

За распадом Советского Союза последовала быстрая перестройка системы российской экономической науки и экономического образования в России. Российские университеты начали реформировать свои учебные программы: в них появились курсы по рыночной экономике. Реформы в различных областях экономической науки шли разными темпами. Исследования бедности, которые полностью игнорировались в советское время, не несли на себе отпечатка марксистской идеологии. Таким образом, российские ученые могли сразу положиться на методологию уже развитой строго в рамках научного метода дисциплины. Но использовали ли они эту возможность для перехода на современный уровень научных исследований?

 

Следуют ли исследования бедности в России основным принципам научного метода?

Мы полагаем, что любое исследование бедности, будь то количественное или качественное, описательное или причинно-следственное, экономическое, социологическое или философское, может и должно проводиться в строгом соответствии с научным методом. При этом в зависимости от типа исследования различные его составляющие могут использоваться в разном объеме. В эмпирических экономических исследованиях бедности особое внимание уделяется строгим теоретическим моделям и эконометрическим техникам анализа больших случайных выборок. В социологических работах чаще используются специальные выборки меньшего размера и соответственно другие методы анализа данных и проверки гипотез. Но независимо от области науки в любом исследовании бедности при формулировании вопроса анализа, включении его в контекст тематической литературы, сборе данных, выдвижении и проверке гипотез в процессе создания теорий должен применяться научный метод. Ниже представлено описание ключевых шагов, из которых состоит современное научное исследование, и предпринята попытка ответить на вопрос: использовались ли в российских исследованиях бедности, опубликованных за последние 15 лет, принципы научного метода?

Вопрос исследования

Цель науки — решать научные проблемы, то есть предоставлять «приемлемые ответы на интересующие исследователя вопросы» [6]. Успех научной работы зависит от того, насколько верно эти вопросы поставлены. В работе А. Эйнштейна и Л. Инфельда отмечалось: «Постановка проблемы часто более важна, чем ее решение… Умение формулировать новые вопросы, открыть новые возможности и посмотреть на старую проблему под новым углом требует творческого воображения и является движущей силой науки» [7]. Вопрос исследования часто возникает из практики [8]. Выбор вопроса определяет набор методов, которые будут применены для поиска ответа на него, а его формулировка должна позволять тестирование справедливости альтернативных гипотез. Важность вопроса обусловлена тем, насколько он вписан в контекст предшествующих научных работ и теорий и какую практическую ценность имеет ответ на него.

Несмотря на важность постановки исследовательского вопроса для любой научной работы, более 60% изученных нами статей не содержат ясно сформулированного вопроса, на который отвечает исследование. В этих статьях авторы сразу переходят к цифрам или обсуждению разнообразных вопросов, не формулируя главную цель своей работы. В большей части статей, где такой вопрос все-таки формулируется, предлагается лишь описательный анализ бедности. Практически ни в одном исследовании не изучаются причины возникновения наблюдаемой бедности.

Обзор тематической литературы

Прежде чем начать научное исследование, важно выяснить, не известен ли ответ на его главный вопрос, для чего необходимо ознакомиться с работами, имеющими отношение к анализируемой проблеме. При этом можно обнаружить уже выявленные факты об изучаемом явлении, сравнить новые результаты с полученными ранее и прийти к новым выводам либо пересмотреть старые. Обзор имеющихся научных работ предоставляет ученому информацию о методах, теориях и источниках данных, которые использовали другие исследователи при решении схожих задач. Существующие теории и концептуальные схемы моделирования могут предложить возможные ответы на интересующие исследователя вопросы и подсказать потенциальное направление научного анализа.

Обзор тематической литературы — важнейшая часть любой научной работы. Тем не менее, почти половина статей о бедности в России не содержит ссылок на работы других ученых. В статьях из нашей выборки (исключая публикации вообще без библиографии) имеются ссылки в среднем лишь на 4 источника. В то же время типичная статья по общественным наукам, опубликованная в ведущих международных журналах, содержит ссылки на 51 работу [9]. Более чем в половине российских статей, где есть ссылки на другие работы, цитируется одна или две публикации. Только в семи статьях имеются ссылки на 10 и более публикаций. Цитирования международных публикаций присутствуют в 30% статей, а ссылки на русскоязычные источники — в 40%. Было процитировано только пять публикаций из 20 ведущих международных экономических изданий [10]. В 280 ссылках на международные издания были упомянуты только три из 100 ведущих и наиболее часто цитируемых экономистов [11]. Почти 1/3 всех ссылок на русскоязычные источники — это самоцитирование.

Теоретические модели, гипотезы и прогнозы

Цель научного исследования — обобщенное теоретическое понимание естественного или социального явления и развитие теории или гипотезы, позволяющей получить правильное предсказание о еще не наблюдаемом явлении [12]. Научные теории дают возможность исследователям систематизировать и интерпретировать полученные наблюдения, а также делать прогнозы относительно наблюдений и событий в будущем. Такая теория должна быть логичной, четкой, допускающей последующую корректировку, тестируемой и проверяемой, а также полезной с практической точки зрения и актуальной для науки [13]. Подлинно научное исследование базируется на теории или модели, определяющей основной вопрос исследования, используемые методы и интерпретацию полученных результатов. Теоретические модели могут выражаться посредством математических уравнений или последовательного описания анализируемого процесса. Гипотезы, полученные на основе теоретических моделей, проверяются на состоятельность с помощью реальных данных. Как писал К. Поппер, научный метод подразумевает целенаправленные усилия по дискредитации научной гипотезы [14].

Явным образом специфицированная модель позволяет исследователям устанавливать причинно-следственные связи между бедностью и различными характеристиками домохозяйств и/или отдельных их членов и в некоторых случаях раскрывать механизм влияния этих характеристик на бедность.

Ни одно из опубликованных в России исследований бедности не содержит формальной теоретической модели. Большинство авторов ограничиваются описанием интересующих их процессов. Многие приводят описание метода агрегирования данных или построения какого-нибудь индекса (например, индекса ухудшения материального положения), путая это с описанием настоящей теоретической модели. В 2% работ выдвигается некая гипотеза, но в нашей выборке вообще отсутствуют статьи, в которых формально тестировались бы альтернативные гипотезы.

Источники эмпирических данных

Стратегия сбора данных и метод их анализа призваны дать прямой ответ на вопрос исследования. Последний, в свою очередь, должен задаваться так, чтобы была возможность ответить на него эмпирическим путем. Научные суждения необходимо проверить и подтвердить эмпирическими данными. Рациональность гипотезы доказывается совокупностью приведенных в ее поддержку фактов и подтверждающих ее следствий.

Более 40% научных работ, опубликованных в России с 1992 г., основано на агрегированных данных из Обследования бюджета домашних хозяйств (ОБДХ), проводимого Федеральной службой государственной статистики России (Росстатом; ранее — Госкомстатом). ОБДХ — это единственный официальный и репрезентативный на федеральном и региональном уровне источник данных об условиях жизни в России. Тем не менее, вплоть до середины 2007 г. доступ к данным по индивидуальным наблюдениям ОБДХ был ограничен. Российским исследователям приходилось полагаться на агрегированные данные, публикуемые Росстатом в ежегодных статистических сборниках. Российский мониторинг экономического положения и здоровья населения (РМЭЗ), проводящийся почти ежегодно, начиная с 1992 г., основан на выборке из 4000 домашних хозяйств, репрезентативной на уровне страны и пяти макрорегионов. Около 20 статей, посвященных бедности в России, используют данные РМЭЗ, находящихся в открытом доступе. Национальное обследование благосостояния населения и его участия в социальных программах (НОБУС) — репрезентативный на национальном, региональном и субрегиональном уровне опрос 50 тыс. домашних хозяйств, проведенный Госкомстатом в 2003 г. при поддержке Всемирного банка [15]. Данные НОБУСа появились в открытом доступе в 2005 г. и были использованы в четырех статьях из нашей выборки.

Эмпирические данные в большинстве публикаций были взяты из региональных, специализированных опросов. В 14% статей использовались региональные обследования домашних хозяйств, проведенные Институтом социально-экономических проблем народонаселения (ИСЭПН). Исследователи бедности часто полагались на данные опросов и обследований, проведенных Всероссийским центром изучения общественного мнения (ВЦИОМ). В остальных исследованиях использовались данные специализированных обследований, осуществленных Минтруда, местными исследовательскими институтами и органами власти.

Таким образом, результаты менее чем 10% статей могут считаться репрезентативными для России в целом. Ни в одной из рассмотренных статей нет ясного и подробного описания методологии формирования выборки, способа создания базовой совокупности для нее или инструментов исследования, то есть того, что составляет стандартный набор для любой эмпирической статьи. Свободный доступ к данным РМЭЗ и НОБУС гарантирует, что результаты исследований, основанных на этих данных, могут быть реплицированы и перепроверены. В то же время ни данные ОБДХ, ни данные региональных или специализированных обследований в полной мере не доступны российским ученым.

Анализ данных, эмпирическая методология

Эмпирические методы анализа данных ставят своей целью связать экономическую теорию и имеющиеся статистические измерения [16]. Из теоретической модели должна следовать гипотеза или прогнозы, и соответственно эмпирические методы разрабатывают таким образом, чтобы тестировать эти прогнозы по отношению к фактам. Прогнозирование в экономике, как правило, представляет собой оценку области возможных значений экономических исходов при реализации определенных стратегий в заданных условиях [17]. Вероятностный характер экономических прогнозов обусловлен стохастической, по сути, природой структурных зависимостей в экономике.

Начиная с 1950-х годов, эконометрические методы применяются практически во всех областях экономической науки [18]. Эконометрика превратилась в важнейшую научную дисциплину и продолжает бурно развиваться. Этому способствуют совершенствование теоретических экономических моделей, резкое повышение вычислительных мощностей компьютеров и появление обширных и высококачественных баз данных [19]. Современный эмпирический экономический анализ, как правило, выходит за рамки классической парадигмы линейной модели. Прикладные эконометрические исследования включают в себя нелинейное моделирование, не- и полупараметрические методы, позволяющие делать выводы при минимальных допущениях о распределении случайных величин, модели дискретного выбора, модели, учитывающие смещение, стратификацию и отсев выборки, методы оценки воздействия и многие другие. Появление этих методов обусловлено необходимостью иметь инструментарий для ответа на экономические вопросы, сложность и неоднозначность которых постоянно возрастают.

Формальное представление эмпирических результатов (в виде комбинационных и других таблиц) присутствовало в 3/4 всех статей. 25% публикаций содержали лишь цифры в текстe. Статистическая значимость (среднеквадратические ошибки, t- или z-статистики и p-значения) или доверительные интервалы для полученных результатов (средних и процентов) были показаны только в 5-ти статьях (2% от общей выборки). Еще в 2% статей представлена значимость результатов регрессии. Таким образом, почти полное отсутствие индикаторов статистической значимости в статьях из нашей выборки делает выводы, полученные на основе эмпирических результатов, формально некорректными [20].

Регрессионный анализ (МНК) был использован в 10% статей, в то время как в 3% публикаций применялись модели дискретного выбора. Корреляционные и переходные матрицы были представлены в 4% статей [21]. Сейчас считается общепризнанным, что анализ, основанный только на простых средних и частотах, в котором не используются более сложные многомерные зависимости, подвержен ошибочному толкованию. Такая незначительная доля статей, в которых российские исследователи полагались на многомерные методы, косвенно указывает на то, что они воспринимают бедность не как многоплановое (зависящее от нескольких переменных) явление, а скорее как результат действия группы разрозненных факторов. В статьях, где для анализа данных были задействованы многомерные методы, редко использовались современные эконометрические подходы. Мы не нашли исследований, в которых бы применялись: метод подбора контрольных групп на основе балльной оценки (propensity score matching); метод «оценки разностей» (difference-in-difference); оценки, основанные на обобщенном методе моментов (generalized method of moments), методе контрольных функций, динамических панельных данных, а также не- и полупараметрические оценки. За последнее десятилетие эти эконометрические модели стали стандартными для любого серьезного анализа бедности, так как они позволяют получать надежные результаты, которые в то же время менее требовательны к данным и допущениям о распределении случайных величин.

Проблемы эндогенности и селективного смещения отбора (sample selection bias) являются, вероятно, самыми распространенными, с которыми сталкиваются исследователи, занимающиеся прикладной эконометрикой. Поэтому разрабатываются все новые параметрические и непараметрические методы их решения [22].

Только в одной статье в нашей выборке обсуждается проблема возможной эндогенности объясняющих переменных, причем без корректировки результатов анализа. Российские исследователи не только не пытались разрешить эти потенциально серьезные проблемы в моделях оценивания, но даже не упоминали об их существовании, тем самым ставя под сомнение основные результаты и выводы своих работ.

При разработке мер по снижению бедности во всем мире недавно начал применяться новый подход — так называемая политика, основанная на фактах (evidence-based policy making). Важным ее инструментом является оценивание воздействия (impact evaluation), позволяющее выявить изменения в благосостоянии отдельных людей, домашних хозяйств, групп людей или фирм в результате осуществления конкретного проекта, программы или закона. Этот инструмент обеспечивает обратную связь, которая помогает улучшить программы и законы, направленные на борьбу с бедностью. В настоящее время практически все международные агентства, занимающиеся экономическим развитием и реализацией программ по уменьшению бедности, вкладывают значительные средства (и усилия) в оценку воздействия своих проектов. Но в нашей выборке нет исследований, которые бы оценивали эффективность национальных и региональных экономических мер по борьбе с бедностью с формальной точки зрения.

В таблице 3 показано распределение эмпирических экономических статей с точки зрения представления аналитических результатов для двух групп стран: России и США/Великобритании. Выборка для США/Великобритании основана на 145 эмпирических работах, опубликованных в девяти главных международных экономических журналах в 1965 г. Разница существенна: в 48% эмпирических статей, опубликованных в США/Великобритании в 1965 г., используется регрессионный анализ в сравнении с 12% статей, изданных в России в 1992–2006 гг. Статистическая значимость упоминается в 53% статей из выборки США/Великобритании и только в 8% российских публикаций. Этот разрыв окажется еще более значительным, если учесть разницу в доступности и стоимости вычислительной мощности компьютеров в 1965 г. и в настоящее время.

Интерпретация результатов исследования и рекомендации по экономической политике

Результаты любого научного исследования должны быть критически изучены учеными и вынесены на обсуждение специалистов по данному вопросу. Метаанализ, то есть критический синтез результатов нескольких исследований, становится ценным инструментом для обзора и общей оценки эмпирического анализа, а часто и для согласования между собой конфликтующих выводов [23]. Надежность научной работы определяется возможностью воспроизведения ее результатов с использованием новых данных или в других условиях.

Важный вопрос: каким образом выводы конкретного исследования можно обобщить и применить для более широкой группы населения или в других условиях? Прикладной характер исследований бедности подразумевает, что выводы из них должны быть представлены так, чтобы и те, кто занимается реальной работой в области снижения бедности, и непрофессионалы могли их оценить и применить на практике. При невозможности проведения повторных экспериментов (что типично для любой общественной науки и особенно экономики) критические отзывы и открытые профессиональные дискуссии по поводу новых и зачастую противоречивых результатов необходимы для подтверждения их истинности и расширения поля научного знания.

Нам не удалось найти критические обзоры исследований бедности, опубликованных в России на протяжении последних 15 лет. Ни метаанализа, ни синтеза результатов исследований бедности также не было осуществлено. Ограниченным или регламентированным доступом ко многим базам микроэкономических данных можно отчасти объяснить тот факт, что ни в одной из статей выборки не предпринято попыток повторить или подтвердить результаты других исследований.

Только в 1/3 всех статей предлагались явные рекомендации для политики в области бедности. Хотя в значительном числе статей в нашей выборке анализ был основан на данных региональных и локальных опросов, лишь в немногих статьях авторы пытались распространить полученные выводы на общенациональный уровень или показать применимость результатов для страны в целом.

Динамика качества исследований

Улучшилось ли со временем качество научных исследований бедности в России? Количество опубликованных статей о бедности слишком мало, чтобы достоверно ответить на этот вопрос. Мы можем только приблизительно оценить динамику качества исследований бедности в России за последние 15 лет. Для этого мы предлагаем использовать индекс, отражающий степень соответствия отдельно взятой статьи принципам проведения научного исследования. Индекс представляет собой простую нормализованную сумму восьми компонентов: формулируется ли в статье вопрос исследования; есть ли в ней цитаты из русских или зарубежных источников; имеется ли гипотеза, которую можно проверить; представлены ли рекомендации по экономической политике, удовлетворяет ли изложение результатов статистических вычислений существующим стандартам, использован ли в работе один из методов мультивариантного анализа и обсуждена ли проблема эндогенности? Этот индекс равен нулю, если статья не отвечает ни одному из восьми критериев, и равен единице, если статья удовлетворяет всем критериям. На рисунке 2 показано изменение этого качественного индекса в 1992–2006 гг.

Даже в самый лучший, с точки зрения качества публикаций, год (2004) индекс среднего качества статей не превышает 0,3. На первый взгляд, наметилась небольшая положительная динамика в качестве публикаций о бедности в России. Однако при коррекции индекса с учетом различий в характеристиках публикаций положительная качественная динамика пропадает [24].

 

Выводы и рекомендации

Научные журналы публикуются для того, чтобы способствовать приращению научного знания. Во всем мире экономические журналы — основное средство обмена новыми идеями, именно к ним в первую очередь обращаются и исследователи, и политики. Для экономистов эти издания — средство распространения их работ в академическом сообществе. С их помощью ученые, работающие в определенной сфере, знакомятся с проведенными исследованиями и находятся в курсе новейших методологий и подходов. Профессионалам-практикам экономические журналы дают доступ к последним исследованиям, а система рецензирования статей обеспечивает качество и актуальность научных работ.

В этой статье мы попытались оценить, насколько удовлетворяют опубликованные в России исследования бедности основным критериям, предъявляемым к научным публикациям, и могут ли они служить надежным ориентиром для российского правительства при разработке программ по борьбе с бедностью. Согласно нашим выводам, только в небольшой части статей о бедности, опубликованных в России в 1992–2006 гг., применяется научный метод эмпирического исследования. В них редко формулируется главный вопрос исследования; мало цитат; нет ясной теоретической модели; используемые эмпирические методы и подходы устарели; описанию данных недостает точности; большая часть выводов необоснованна; во многих статьях отсутствуют четкие рекомендации в области политики в отношении бедности. Если наша выборка публикаций объективно отражает ситуацию с исследованиями бедности в стране, то российские политики могут почерпнуть из них чрезвычайно мало, а может быть, и вообще не должны принимать эти работы во внимание.

Почему ситуация с исследованиями бедности в России выглядит так удручающе? Как нам кажется, тому есть несколько причин. Экономика, в западном понимании этого термина, не была известна в России до начала 1990-х годов. Многие активно работающие сегодня исследователи и политики получили академическое образование в рамках советской системы, в которой главное место занимала политэкономия, и слабо изучались микро-, макроэкономика и эконометрика. У политиков и управленцев нет возможности отличить работы низкого уровня от высококачественных исследований. Как показывает наш анализ, в российском научном сообществе пока не развита система внутренних норм саморегуляции, которые гарантировали бы высокие стандарты качества исследований. Корректные с точки зрения методологии работы о бедности в России написаны не экономистами, а другими учеными, например психологами, которые переносят научные нормы своих дисциплин в область исследований бедности.

Другой фактор, препятствующий высокому качеству исследований бедности, — недостаток микроэкономических данных. Сейчас имеется открытый доступ только к двум базам таких данных, репрезентативных на уровне страны; данные большинства региональных опросов принадлежат частным компаниям. Результаты официальных обследований, выполненных Росстатом, доступны только в агрегированной форме, без данных индивидуальных наблюдений. Очевидно, для России с ее крайним разнообразием экономических, географических и этнических характеристик этого недостаточно. Открытый доступ к данным необходим для тщательного анализа результатов новых исследований, их воспроизводства и улучшения. Из-за нехватки данных российские вузы не могут вводить в учебные программы прикладные микроэкономические курсы.

Судя по количеству ссылок на международные источники, российские исследователи бедности практически не интегрированы в мировое научное сообщество [25]. В результате они почти не знакомы c последними разработками в этой области. Освоение ими новых техник и методов экономического анализа и применение их в научной работе проходит медленно. Вероятно, одной из причин является языковой барьер.

Наконец, ни один из журналов в нашей выборке не использует формальную систему слепого (double-blinded) рецензирования, принятую во всем мире при отборе материалов для публикации. Редактору научного издания может быть трудно оценить качество узкоспециализированного исследования на новую тему. Иногда он не может найти ошибки в сложной научной работе. Предоставление рукописи для рецензии анонимным и независимым экспертам в соответствующей области могло бы обеспечить соответствие опубликованных статей научным стандартам и основным принципам научного исследования [26].

Несмотря на эти серьезные проблемы, мы уверены, что содержание научных исследований бедности в России можно улучшить. В ряде областей качество экономического дискурса в стране отвечает международным стандартам. Достаточно высокий уровень российских макроэкономических и бюджетных исследований, а также экономики финансов свидетельствует о том, что адекватная система стимулов может привлечь молодых исследователей, применяющих современные подходы и способных осуществлять качественные исследования. Специалисты из нескольких научных организаций, таких как Центр экономических и финансовых исследований и разработок в Российской экономической школе (ЦЭФИР), а также научных центров ГУ–ВШЭ и других, публикуют свои работы в ведущих международных экономических изданиях.

Российские исследователи только выиграли бы от большей интеграции в мировое научное сообщество. Она могла бы стимулировать научный диалог между ними и исследователями из других стран, что позволило бы познакомить российских ученых с международными стандартами проведения научных исследований и общепринятыми научными методиками [27]. Это также способствовало бы обсуждению их работ с коллегами со всего мира и свободному обмену критическими замечаниями.

Международное сотрудничество играет ключевую роль в развитии экономического знания. Посткоммунистическое преобразование экономической науки в странах Центральной и Восточной Европы можно рассматривать как заключительную стадию интернационализации этой научной дисциплины [28]. Грандиозная совокупность знаний, созданных и подробно описанных современными экономистами, сегодня открыта и доступна всем, кто хочет ее использовать. Российские экономисты, занимающиеся проблемами бедности, стоят перед серьезным выбором: принять международные стандарты и методы проведения научных исследований и стать частью мирового научного сообщества - или оставаться в изоляции и продолжать производить исследования, которые, с формальной точки зрения, неприменимы на практике.

Таблица 1. География авторов
Города Количество авторов % авторов
Москва 130 69,52
Новосибирск 7 3,74
С.-Петербург 7 3,74
Саратов 6 3,21
Нижний Новгород 4 2,14
Улан-Уде 4 2,14
Вологда 3 1,60
Иркутск 3 1,60
Киров 3 1,60
Алтайск 2 1,60
Брянск 2 1,60
Петрозаводск 2 1,60
Ульяновск 2 1,60
Прага 1 0,53
Стокгольм 1 0,53
Донецк 1 0,53
Екатеринбург 1 0,53
Махачкала 1 0,53
Омск 1 0,53
Ростов-на-Дону 1 0,53
Сыктывкар 1 0,53
Ярославль 1 0,53
Другие 3 1,60
Итого 188 100.00
 
Таблица 2. Количество публикаций у авторов, всего 250 публикаций
Количество публикаций Количество авторов % авторов
1 135 71,81
2 18 9,57
3 13 6,91
4 6 3,19
5 6 3,19
6 3 1,60
7 1 0,53
8 2 1,06
9 2 1,06
11 1 0,53
13 1 0,53
Итого 188 100,00
 
Таблица 3. Представление эмпирических результатов в США/Великобритании в 1965 г. и в России в 1992–2006 гг. (в %)
  США / Великобритания
1965
Россия
1992–2006
Оценки параметров 100 75
Среднеквадратические ошибки 53 8
Анализ регрессий 48 12
Источник: Thomas J. Op. cit.
Рисунок 1. Количество публикаций о бедности в год
Рисунок 2. Изменение индекса качества публикаций во времени
 

Примечания

Автор выражает признательность В. Гимпельсону, Р. Емцову, С. Заиди и Р. Капелюшникову, за комментарии и предложения. Выводы и заключения статьи отражают точку зрения автора, и их не следует связывать с позицией Всемирного банка, его исполнительными директорами или странами, которые они представляют.

[1] Russian Federation: Reducing Poverty through Growth and Social Policy Reform / The World Bank, 2005.

[2] Klugman J. Poverty in Russia: Public Policy and Private Responses. World Bank Publications, 1997.

[3] Ziman J. Real Science: What It Is, and What It Means. New York: Cambridge University Press, 2000.

[4] Campbell D. Quantitative Knowing in Action Research / Kurt Levin Award Address. Society for the Psychological Study of Social Issues, presented at the annual meeting of the American Psychological Association. New Orleans, 1974.

[5] King G., Keohane R., Verba S. Designing Social Inquiry: Scientific Inference in Qualitative Research. Princeton: Princeton University Press, 1994.

[6] Laudan L. Progress and Its Problems. Berkeley, CA: University of California Press, 1997.

[7] Einstein A., Infeld L. The Evolution of Physics. New York: Simon and Shuster, 1938.

[8] Stokes D. Pasteur’s Quadrant: Basic Science and Technological Innovation. Washington, DC: Brookings Institution Press, 1997.

[9] Abt H., Garfield E. Is the Relationship between Numbers of References and Paper Lengths the Same for All Sciences? // Journal of the American Society for Information Science and Technology. 2002. Vol. 53, No 13. P. 1106–1112. В последние десятилетия число ссылок на другие работы в экономических изданиях значительно выросло. Дж. Эллисон отмечает, что в 1977–1978 гг. статья, опубликованная в одном из четырех ведущих экономических журналов, содержала в среднем 15 цитирований; в 1998 г. их число увеличилось до 30 (Ellison  G. Evolving Standards for Academic Publishing: A q-r Theory: Mimeo. Department of Economics, Massachusetts Institute of Technology, 2001). Если считать, что число цитирований растет линейно со временем, то получится, что в российских изданиях оно соответствует международному уровню 1968 г.

[10] Kalaitzidakis P., Mamuneas T., Stengos T. Rankings of Academic Journals and Institutions in Economics // Journal of the European Economic Association. 2001. Vol. 1, No 6. P. 1346–1366.

[11] Coupe T. Revealed Performance: Worldwide Rankings of Economists and Economics Departments, 1990–2000 // Journal of the European Economic Association. 2003. Vol. 1, No 6. P. 1309–1345.

[12] Friedman M. Essays in Positive Economics. Chicago, IL: University of Chicago Press, 1970. P. 6.

[13] Root-Bernstein R. On Defining a Scientific Theory: Creationism Considered. // Science and Creationism / A. Montagu (ed.) New York: Oxford University Press, 1984. P. 64–94.

[14] Popper K. Conjectures and Refutations: The Growth of Scientific Knowledge. 2nd ed. New York: Basic Books, 1965.

[15] Подробное описание обследования НОБУС и собранные данные можно найти по адресу nobus.worldbank.org.ru.

[16] Haavelmo T. The Probability Approach in Econometrics // Econometrica. 1944. Vol. 12 (Supplement). P. iii-vi+1–115.

[17] Marschak J. Economic Structure, Path, Policy, and Prediction // The American Economic Review. 1947. Vol. 37, No 2. P. 81–84.

[18] Gilbert R. Richard Stone, Demand Theory and the Emergence of Modern Econometrics // The Economic Journal. 1991. Vol. 101. P. 288–302.

[19] Green W. Econometric Analysis. 5th ed. NJ: Prentice Hall, 2003.

[20] Эти цифры, однако, говорят об улучшении ситуации по сравнению с концом 1980-х годов. М. Алексеев с соавторами пришли к заключению, что среди более чем 100 статей, опубликованных в ведущем экономическом журнале в 1988 г., нет «статей, в которых бы использовались математические вычисления, или в которых были бы попытки выдвинуть поведенческую или какую либо другую модель» (см.: Alexeev M., Gaddy C., Leitzel J. Economics in the Former Soviet Union // Journal of Economic Perspectives. 1992. Vol. 6, No 2. P. 137–148).

[21] Похожее различие в использовании многомерного анализа среди российских и западных биологов отмечено В. Леоновым. 30% статей, опубликованных в международных биологических медицинских журналах, основано на многовариантных методах по сравнению с 3% — в российских публикациях (см.: Леонов В. Наукометрика статистической парадигмы экспериментальной биомедицины // Вестник Томского Университета. 2002. Вып. 275. С. 17–24).

[22] Wooldridge J. Econometric Analysis of Cross-sectional and Panel Data. Cambridge, Mass: MIT Press, 2002.

[23] Stanley T. Wheat from Chaff: Meta-Analysis as Quantitative Literature Review // Journal of Economic Perspectives. 2001. Vol. 15, No 3. P. 131–150.

[24] С помощью линейной регрессии мы оцениваем зависимость индекса качества от следующих характеристик: год публикации; область науки (экономика, социология); является ли статья исследованием или обзором; из Москвы автор или нет; есть ли у автора научные степени; опубликована ли статья в одном из четырех журналов с наибольшим количеством публикаций о бедности.

[25] Мы проанализировали подборку публикаций в 200-х ведущих международных экономических изданиях с 1985 по 2006 г. (см.: Das J., Do T., Sahines K., Srinivasan S. To Grow is to Know: Economics Research and The Wealth of Countries: Mimeo. The World Bank, 2007). Публикации, в которых хотя бы один автор был связан с российскими научными институтами, составляют 0,45% от общего числа опубликованных статей.

[26] Актуальный проект редакторов российских физических журналов посвящен развитию независимой системы контроля качества научных исследований в физике. Ведущие российские физики и математики подчеркивают, что недостаток такой независимой оценки — одно из ключевых препятствий на пути прогресса и даже самого существования российской науки (www.scientific.ru).

[27] В 1963 г. экономический еженедельник «Horsodarske Noviny», выходивший в Чехословакии, опубликовал мнения нескольких выдающихся экономистов о качестве экономических исследований в стране. Две главные причины, объяснявшие низкие стандарты экономической науки: общая нехватка экономической литературы и невозможность получить доступ к необходимым данным (Revisionism in CS Economics / Target Area Research and Analysis. Czechoslovak Unit. Report 16-6-134. 1963).

[28] Kaase M., Sparschuh V., Wenninger A. Three Social Science Disciplines in Central and Eastern Europe // Handbook on Economics, Political Science and Sociology (1989–2001). Berlin/Bonn/Budapest: Collegium Budapest and the Social Science Information Centre, 2002.

См. также:

Обсудите в соцсетях

Система Orphus

Главные новости

15.12 21:08 Отца предполагаемых организаторов теракта в метро Петербурга выслали в Киргизию
15.12 20:57 Майкл Джордан назван самым высокооплачиваемым спортсменом всех времен
15.12 20:36 Вероника Скворцова обсудила с Элтоном Джоном борьбу с ВИЧ
15.12 20:23 Полиция открыла огонь по мужчине с ножом в аэропорту Амстердама
15.12 20:07 Falcon 9 отправила груз на МКС и вернулась на космодром в США
15.12 19:47 В Пентагоне рассказали о новом сближении с российской авиацией в Сирии
15.12 19:44 ЦБ оценил объем докапитализации Промсвязьбанка в 100-200 млрд рублей
15.12 19:27 Пожизненно отстраненная от Игр скелетонистка Елена Никитина выиграла ЧЕ
15.12 19:18 Косово объявило о создании собственной армии к марту 2018 года
15.12 19:03 В Назарете отменили Рождество
15.12 18:51 В Испании не поверили в угрозу отстранения от ЧМ-2018
15.12 18:35 Программу безопасности на дорогах увеличили на 2 млрд рублей
15.12 18:25 ФАС проверит частичную отмену роуминга сотовыми операторами
15.12 18:25 РФ и Египет подписали соглашение о возобновлении авиасообщения
15.12 18:19 Трамп попросил у России помощи с КНДР
15.12 18:03 Курс биткоина приблизился к 18 тысячам долларов
15.12 17:54 Промсвязьбанк сообщил о проблемах в работе интернет-банка
15.12 17:48 ФИФА пригрозила отстранить сборную Испании от ЧМ-2018 из-за действий властей
15.12 17:28 Задержанный в Петербурге планировал взорвать Казанский собор
15.12 17:25 Промпроизводство в РФ в ноябре упало максимальными темпами за 8 лет
15.12 17:01 Турция потребует в ООН отменить решение США по Иерусалиму
15.12 16:43 В посольстве США назвали ложью обвинение во вмешательстве в российскую политику
15.12 16:33 Букингемский дворец назвал дату свадьбы принца Гарри
15.12 16:29 Журналист сообщил о готовности Захарченко внедрить на Украину 3 тысячи партизан
15.12 16:14 МИД Украины опроверг ведение переговоров об экстрадиции Саакашвили
15.12 16:08 Страны ЕС согласились начать вторую фазу переговоров по выходу Великобритании
15.12 15:49 Дипломатов из США не пустят наблюдать за российскими выборами
15.12 15:47 Глава ЦИК назвала стоимость информирования избирателей о выборах
15.12 15:36 Гафт перенес операцию из-за проблем с рукой
15.12 15:21 В Кремле посчитали недоказанными обвинения в адрес Керимова во Франции
15.12 14:55 ФСБ задержала в Петербурге планировавших теракты исламистов
15.12 14:33 Сенаторы одобрили закон о штрафах за анонимность в мессенджерах
15.12 14:15 В Кремле признали нежелание Путина упоминать фамилию Навального
15.12 14:02 Дума отказалась ограничить доступ к сведениям о закупках госкомпаний
15.12 13:59 Минфин пообещал не допустить «эффект домино» из-за Промсвязьбанка
15.12 13:52 Алексей Улюкаев приговорен к восьми годам строгого режима
15.12 13:39 Госдума разрешила внеплановые проверки бизнеса по жалобам сотрудников или СМИ
15.12 13:36 ЦБ снизил ключевую ставку
15.12 13:24 Ученые заглянули в глаз трилобита
15.12 13:23 Власти Москвы отказали Илье Яшину в проведении акции 24 декабря
15.12 13:19 Индекс потребительских настроений по всей России вышел в «зеленую зону»
15.12 13:08 Прокуратура назвала самое коррумпированное подразделение силовиков
15.12 13:00 Лавров заявил о вмешательстве США в выборы в России
15.12 12:47 Совет Федерации подключился к поиску источника вони в Москве
15.12 12:40 Минтранс анонсировал возобновление рейсов в Каир в феврале
15.12 12:25 Дед Мороз заявил об отказе от пенсии
15.12 12:20 Дума приняла закон об индексации пенсий в 2018 году
15.12 12:07 Антитела к вирусу лихорадки Эбола вырабатываются через сорок лет после болезни
15.12 12:01 ЦИК снова пересчитал желающих баллотироваться в президенты
15.12 11:41 Улюкаев признан виновным в получении взятки
Apple Boeing Facebook Google iPhone IT NATO PRO SCIENCE видео ProScience Театр Pussy Riot Twitter Абхазия аварии на железной дороге авиакатастрофа Австралия Австрия автопром администрация президента Азербайджан акции протеста Александр Лукашенко Алексей Кудрин Алексей Навальный Алексей Улюкаев алкоголь амнистия Анатолий Сердюков Ангела Меркель Антимайдан Аргентина Аркадий Дворкович Арктика Армения армия Арсений Яценюк археология астрономия атомная энергия аукционы Афганистан Аэрофлот баллистические ракеты банковский сектор банкротство Барак Обама Башар Асад Башкирия беженцы Белоруссия Белый дом Бельгия беспорядки биатлон бизнес биология ближневосточный конфликт бокс болельщики «болотное дело» большой теннис Борис Немцов борьба с курением Бразилия Валентина Матвиенко вандализм Ватикан ВВП Великая Отечественная война Великобритания Венесуэла Верховная Рада Верховный суд взрыв взятка видеозаписи публичных лекций «Полит.ру» видео «Полит.ру» визовый режим Виктор Янукович вирусы Виталий Мутко «ВКонтакте» ВКС Владивосток Владимир Жириновский Владимир Маркин Владимир Мединский Владимир Путин ВМФ военная авиация Волгоград ВТБ Вторая мировая война вузы ВЦИОМ выборы выборы губернаторов выборы мэра Москвы Вячеслав Володин гаджеты газовая промышленность «Газпром» генетика Генпрокуратура Германия ГИБДД ГЛОНАСС Голливуд гомосексуализм госбюджет Госдеп Госдума госзакупки гражданская авиация Греция Гринпис Грузия гуманитарная помощь гуманитарные и социальные науки Дагестан Дальний Восток декларации чиновников деньги День Победы дети Дмитрий Медведев Дмитрий Песков Дмитрий Рогозин доллар Домодедово Дональд Трамп Донецк допинг дороги России драка ДТП Евгения Васильева евро Евровидение Еврокомиссия Евромайдан Евросоюз Египет ЕГЭ «Единая Россия» Екатеринбург ЕСПЧ естественные и точные науки ЖКХ журналисты Забайкальский край закон об «иностранных агентах» законотворчество здравоохранение в России землетрясение «Зенит» Израиль Ингушетия Индия Индонезия инновации Интервью ученых интернет инфляция Ирак Ирак после войны Иран Иркутская область искусство ислам «Исламское государство» Испания история История человечества Италия Йемен Казань Казахстан казнь Калининград Камчатка Канада Киев кино Киргизия Китай климат Земли КНДР Книга. Знание Компьютеры, программное обеспечение Конституционный суд Конституция кораблекрушение коррупция космодром Восточный космос КПРФ кража Краснодарский край Красноярский край кредиты Кремль крушение вертолета Крым крымский кризис Куба культура Латвия ЛГБТ ЛДПР Левада-Центр легкая атлетика Ленинградская область лесные пожары Ливия лингвистика Литва литература Лондон Луганск Малайзия Мария Захарова МВД МВФ медиа медицина междисциплинарные исследования Мексика Мемория метро мигранты МИД России Минздрав Минкомсвязи Минкульт Минобороны Минобрнауки Минсельхоз Минтранспорта Минтруд Минфин Минэкономразвития Минэнерго Минюст «Мистраль» Михаил Саакашвили Михаил Ходорковский МКС мобильные приложения МОК Молдавия Мосгорсуд Москва Московская область мошенничество музыка Мурманская область МЧС наводнение Надежда Савченко налоги нанотехнологии наркотики НАСА наука Наука в современной России «Нафтогаз Украины» недвижимость некоммерческие организации некролог Нерусский бунт нефть Нигерия Нидерланды Нобелевская премия Новосибирск Новые технологии, инновации Новый год Норвегия Нью-Йорк «Оборонсервис» образование обрушение ОБСЕ общественный транспорт общество ограбление Одесса Олимпийские игры ООН ОПЕК оппозиция опросы оружие отставки-назначения офшор Пакистан палеонтология Палестинская автономия Папа Римский Париж ПДД педофилия пенсионная реформа Пентагон Петр Порошенко пищевая промышленность погранвойска пожар полиция Польша похищение Почта России права человека правительство Право правозащитное движение православие «Правый сектор» преступления полицейских преступность Приморский край Продовольствие происшествия публичные лекции Рамзан Кадыров РАН Революция в Киргизии Реджеп Эрдоган рейтинги религия Республика Карелия Реформа армии РЖД ритейл Роскомнадзор Роскосмос «Роснефть» Роспотребнадзор Россельхознадзор Российская академия наук Россия Ростов-на-Дону Ростовская область РПЦ рубль русские националисты РФС Санкт-Петербург санкции Саудовская Аравия Сахалин Сбербанк Свердловская область связь связь и телекоммуникации Севастополь сельское хозяйство сепаратизм Сербия Сергей Лавров Сергей Полонский Сергей Собянин Сергей Шойгу Сирия Сколково Славянск Следственный комитет следствие смартфоны СМИ Совбез ООН Совет по правам человека Совет Федерации сотовая связь социальные сети социология Социология в России Сочи Сочи 2014 «Спартак» спецслужбы «Справедливая Россия» спутники СССР Ставропольский край стихийные бедствия Стихотворения на случай страхование стрельба строительство суды суицид Счетная палата США Таджикистан Таиланд Татарстан театр телевидение телефонный терроризм теракт терроризм технологии Трансаэро транспорт туризм Турция тюрьмы и колонии убийство уголовный кодекс УЕФА Узбекистан Украина Условия труда фармакология ФАС ФБР Федеральная миграционная служба физика Филиппины Финляндия ФИФА фондовая биржа фоторепортаж Франсуа Олланд Франция ФСБ ФСИН ФСКН футбол Хабаровский край хакеры Харьков Хиллари Клинтон химическое оружие химия хоккей хулиганство цензура Центробанк ЦИК Цикл бесед "Взрослые люди" ЦРУ ЦСКА Челябинская область Чехия Чечня ЧМ-2018 шахты Швейцария Швеция школа шоу-бизнес шпионаж Эбола эволюция Эдвард Сноуден экология экономика экономический кризис экстремизм Эстония Южная Корея ЮКОС Юлия Тимошенко ядерное оружие Якутия Яндекс Япония

Редакция

Электронная почта: politru.edit1@gmail.com
Адрес: 129090, г. Москва, Проспект Мира, дом 19, стр.1, пом.1, ком.5
Телефон: +7 495 980 1894.
Яндекс.Метрика
Свидетельство о регистрации средства массовой информации
Эл. № 77-8425 от 1 декабря 2003г. Выдано министерством
Российской Федерации по делам печати, телерадиовещания и
средств массовой информации. Выходит с 21 февраля 1998 года.
При любом использовании материалов веб-сайта ссылка на Полит.ру обязательна.
При перепечатке в Интернете обязательна гиперссылка polit.ru.
Все права защищены и охраняются законом.
© Полит.ру, 1998–2014.