Журнал Science опубликовал исследование, результаты которого могут показаться неприятными многим ученым. Авторы повторили 100 психологических экспериментов, взятых из публикаций последних лет, и обнаружили, что получить те же результаты, что и авторы первоначального исследования удается лишь в 39% случаев.
Проект по исследованию воспроизводимости психологических экспериментов проводили ученые из Open Science Collaboration, это коллектив из 270 экспертов из разных стран, который возглавил профессор психологии Брайан Носек (Brian Nosek) из Виргинского университета. Эксперименты для попытки воспроизведения отбирались из двух областей: когнитивной и социальной психологии. Все отобранные эксперименты были взяты из публикаций не ранее 2008 года в трех авторитетных научных журналах: Psychological Science, Journal of Personality and Social Psychology и Journal of Experimental Psychology: Learning, Memory, and Cognition. Авторы оригинальных исследований были приглашены принять участие в подготовке эксперимента по воспроизведению опубликованных ими результатов.
Ради примера опишем один и экспериментов по когнитивной психологии, воспроизвести который взялись психологи под руководством Брайана Носека. В 2008 году был проведен тест, участникам которого надо было назвать показанные им на картинках объекты. На тех же картинках были написаны слова, не относящиеся к изображениям. По данным авторов исследования, участники испытывали больше затруднений, когда слова обозначали предметы из той же понятийной сферы, что и нарисованные объекты. Например, когда под изображением паровоза стояла надпись «карета», под изображением пушки – надпись «пистолет», под самолетом – «паром», под слоном – «моллюск». Однако при повторном эксперименте воспроизвести такой эффект не удалось.
Таких невоспроизведенных эффектов и неподтвержденных закономерностей оказалось обескураживающе много. Как уже говорилось, только подтвердились только 39% описанных экспериментов. Причем, если взять только эксперименты по социальной психологии, то количество воспроизведенных результатов падает до 25%. А в тех случаях, когда установленные авторами первоначальных исследований эффекты подтвердились, количественное их выражение часто оказывалось значительно меньшим, в среднем вдвое, чем указывалось в публикациях.
«Ключевое предупреждение, которое должен вынести из нашего исследования читатель – говорит Байан Носек – это то, что ни одна публикация не является последним словом. Наука представляет собой процесс сокращения неопределенности, и ни одно исследование почти никогда не является окончательным результатом само по себе».
Полученные результаты многим показались разочаровывающими, но многие ученые отнеслись к ним более или менее спокойно. Опровержение предыдущих результатов – естественная часть прогресса. Чтобы познать устройство мира, ученые формулируют вопросы и на свой риск выбирают пути поиска ответов. Ошибки здесь неизбежны. Как отметил Алан Краут из Ассоциации психологических наук: «Единственное открытие, которое будет воспроизводиться в 100% случаев, будет банальным, скучным и, вероятно, уже известным: да, мертвые люди никогда не смогут научиться читать». Другое дело, что неплохо было бы снизить долю ненадежных результатов на стадии публикации, а главное избежать ситуации, когда опубликованное исследование воспринимается как истина, над подтверждением или опровержением которой трудиться бессмысленно.
В связи с этим организаторы проекта по воспроизведению результатов считают важным подобные работы и публикацию их результатов. До недавнего времени журналы весьма неохотно печатали статьи, посвященные воспроизведению предшествующих экспериментов. Такая ситуация стала исправляться лишь в последние годы. Уже сейчас на публикацию в Science отозвались редакторы некоторых психологических журналов. Линн Купер, психолог из Университета Миссури, Колумбия, которая стала одним из редакторов Journal of Personality and Social Psychology в январе этого года, говорит, что статья отрезвляет и ставит четкую задачу. Уже, по словам Линн Купер, в политике журнала происходят изменения, он будет публиковать больше статей, посвященных воспроизводимости результатов.
Интересно, что большинство авторов тех 100 публикаций, результаты которых подверглись проверке, положительно отнеслись к этому и сочли работу Брайана Носека и его коллег полезным продолжением своих исследований. Хотя большинство из тех, чьи результаты повторить не удалось, не готовы отказаться от своих идей, а планируют провести дальнейшие исследования, на более представительном материале и устранив недостатки методики. Такое благодушное отношение ученых к перепроверке их работы бывает не всегда. В мае 2014 года журнал Social Psychology посвятил отдельный выпуск исследованиям воспроизводимости. В онлайновых комментариях нередко подобная деятельность оценивалась критически. Высказывались обвинения, что она «напоминает охоту на ведьм», «полностью находится в руках кучки самодовольных, самозваных шерифов». Психолог Пит Этшельс, комментируя все это в своем блоге на сайте «Гардиан», попытался еще раз объяснить, что невоспроизводимость результата вовсе не означает обвинения авторов первоначального исследования в недобросовестности или, тем более, в сознательном мошенничестве, а лишь то, что результат не повторен – причины этого должны выясниться при дальнейших исследованиях. Таких причин может быть множество, поэтому надо не ругаться, а стараться найти их. Но вряд ли Этшельсу удалось переубедить всех своих оппонентов.
То, что даже при подтверждении результата эксперимента, количественное его выражение оказывается в среднем вдвое меньшим, чем в первоначальном исследовании, Носек и его коллеги связывают как с действиями авторов, которые стараются отсеять неподходящие результаты, так и с политикой журналов, которые принимают к публикации преимущественно те работы, результаты которых демонстрируют количественно большие эффекты. Последний фактор вполне можно скорректировать при наличии на то доброй воли у редакций.
В качестве одного из методов повысить воспроизводимость результатов психологических исследований Брайан Носек предлагает изменить существующий порядок действий исследователя. Обычно психолог формулирует гипотезу и придумывает эксперимент, проводит этот эксперимент, затем, если результат показательный, психолог пишет статью, отсылает ее в научный журнал, где она проходит процедуру рецензирования и, наконец, публикуется. По предлагаемому алгоритму исследователь должен в начале описать «дизайн эксперимента» – подробный план его проведения, включая цели, условия, метод, оцениваемые параметры, выбранные методы статистической обработки результатов. Это описание эксперимента проходит через рецензирование, в ходе которого выявляются возможные упущения автора. И лишь затем исследователь проводит свой эксперимент, причем публикуя полученные результаты в любом случае, независимо от того, подтвердилась ли его первоначальная гипотеза.
