Полiт.ua Государственная сеть Государственные люди Войти
8 декабря 2016, четверг, 14:58
Facebook Twitter LiveJournal VK.com RSS

НОВОСТИ

СТАТЬИ

АВТОРЫ

ЛЕКЦИИ

PRO SCIENCE

ТЕАТР

РЕГИОНЫ

30 августа 2015, 13:15

Досадная неповторимость

A picture is worth a thousand words
A picture is worth a thousand words
Wikimedia Commons

Журнал Science опубликовал исследование, результаты которого могут показаться неприятными многим ученым. Авторы повторили 100 психологических экспериментов, взятых из публикаций последних лет, и обнаружили, что получить те же результаты, что и авторы первоначального исследования удается лишь в 39% случаев.

Проект по исследованию воспроизводимости психологических экспериментов проводили ученые из Open Science Collaboration, это коллектив из 270 экспертов из разных стран, который возглавил профессор психологии Брайан Носек (Brian Nosek) из Виргинского университета. Эксперименты для попытки воспроизведения отбирались из двух областей: когнитивной и социальной психологии. Все отобранные эксперименты были взяты из публикаций не ранее 2008 года в трех авторитетных научных журналах: Psychological Science, Journal of Personality and Social Psychology и Journal of Experimental Psychology: Learning, Memory, and Cognition. Авторы оригинальных исследований были приглашены принять участие в подготовке эксперимента по воспроизведению опубликованных ими результатов.

Ради примера опишем один и экспериментов по когнитивной психологии, воспроизвести который взялись психологи под руководством Брайана Носека. В 2008 году был проведен тест, участникам которого надо было назвать показанные им на картинках объекты. На тех же картинках были написаны слова, не относящиеся к изображениям. По данным авторов исследования, участники испытывали больше затруднений, когда слова обозначали предметы из той же понятийной сферы, что и нарисованные объекты. Например, когда под изображением паровоза стояла надпись «карета», под изображением пушки – надпись «пистолет», под самолетом – «паром», под слоном – «моллюск». Однако при повторном эксперименте воспроизвести такой эффект не удалось.

Таких невоспроизведенных эффектов и неподтвержденных закономерностей оказалось обескураживающе много. Как уже говорилось, только подтвердились только 39% описанных экспериментов. Причем, если взять только эксперименты по социальной психологии, то количество воспроизведенных результатов падает до 25%. А в тех случаях, когда установленные авторами первоначальных исследований эффекты подтвердились, количественное их выражение часто оказывалось значительно меньшим, в среднем вдвое, чем указывалось в публикациях.

«Ключевое предупреждение, которое должен вынести из нашего исследования читатель – говорит Байан Носек – это то, что ни одна публикация не является последним словом. Наука представляет собой процесс сокращения неопределенности, и ни одно исследование почти никогда не является окончательным результатом само по себе».

Полученные результаты многим показались разочаровывающими, но многие ученые отнеслись к ним более или менее спокойно. Опровержение предыдущих результатов – естественная часть прогресса. Чтобы познать устройство мира, ученые формулируют вопросы и на свой риск выбирают пути поиска ответов. Ошибки здесь неизбежны. Как отметил Алан Краут из Ассоциации психологических наук: «Единственное открытие, которое будет воспроизводиться в 100% случаев, будет банальным, скучным и, вероятно, уже известным: да, мертвые люди никогда не смогут научиться читать». Другое дело, что неплохо было бы снизить долю ненадежных результатов на стадии публикации, а главное избежать ситуации, когда опубликованное исследование воспринимается как истина, над подтверждением или опровержением которой трудиться бессмысленно.

В связи с этим организаторы проекта по воспроизведению результатов считают важным подобные работы и публикацию их результатов. До недавнего времени журналы весьма неохотно печатали статьи, посвященные воспроизведению предшествующих экспериментов. Такая ситуация стала исправляться лишь в последние годы. Уже сейчас на публикацию в Science отозвались редакторы некоторых психологических журналов.  Линн Купер, психолог из Университета Миссури, Колумбия, которая стала одним из редакторов Journal of Personality and Social Psychology в январе этого года, говорит, что статья отрезвляет и ставит четкую задачу. Уже, по словам Линн Купер, в политике журнала происходят изменения, он будет публиковать больше статей, посвященных воспроизводимости результатов.

Интересно, что большинство авторов тех 100 публикаций, результаты которых подверглись проверке, положительно отнеслись к этому и сочли работу Брайана Носека и его коллег полезным продолжением своих исследований. Хотя большинство из тех, чьи результаты повторить не удалось, не готовы отказаться от своих идей, а планируют провести дальнейшие исследования, на более представительном материале и устранив недостатки методики. Такое благодушное отношение ученых к перепроверке их работы бывает не всегда. В мае 2014 года журнал Social Psychology посвятил отдельный выпуск исследованиям воспроизводимости. В онлайновых комментариях нередко подобная деятельность оценивалась критически. Высказывались обвинения, что она «напоминает охоту на ведьм», «полностью находится в руках кучки самодовольных, самозваных шерифов». Психолог Пит Этшельс, комментируя все это в своем блоге на сайте «Гардиан», попытался еще раз объяснить, что невоспроизводимость результата вовсе не означает обвинения авторов первоначального исследования в недобросовестности или, тем более, в сознательном мошенничестве, а лишь то, что результат не повторен – причины этого должны выясниться при дальнейших исследованиях. Таких причин может быть множество, поэтому надо не ругаться, а стараться найти их. Но вряд ли Этшельсу удалось переубедить всех своих оппонентов.

То, что даже при подтверждении результата эксперимента, количественное его выражение оказывается в среднем вдвое меньшим, чем в первоначальном исследовании, Носек и его коллеги связывают как с действиями авторов, которые стараются отсеять неподходящие результаты, так и с политикой журналов, которые принимают к публикации преимущественно те работы, результаты которых демонстрируют количественно большие эффекты. Последний фактор вполне можно скорректировать при наличии на то доброй воли у редакций.

В качестве одного из методов повысить воспроизводимость результатов психологических исследований Брайан Носек предлагает изменить существующий порядок действий исследователя. Обычно психолог формулирует гипотезу и придумывает эксперимент, проводит этот эксперимент, затем, если результат показательный, психолог пишет статью, отсылает ее в научный журнал, где она проходит процедуру рецензирования и, наконец, публикуется. По предлагаемому алгоритму исследователь должен в начале описать «дизайн эксперимента» – подробный план его проведения, включая цели, условия, метод, оцениваемые параметры, выбранные методы статистической обработки результатов. Это описание эксперимента проходит через рецензирование, в ходе которого выявляются возможные упущения автора. И лишь затем исследователь проводит свой эксперимент, причем публикуя полученные результаты в любом случае, независимо от того, подтвердилась ли его первоначальная гипотеза.

Обсудите в соцсетях

Система Orphus
Подпишитесь
чтобы вовремя узнавать о новых спектаклях и других мероприятиях ProScience театра!
3D Apple Facebook Google GPS IBM iPhone PRO SCIENCE видео ProScience Театр Wi-Fi альтернативная энергетика «Ангара» античность археология архитектура астероиды астрофизика Байконур бактерии библиотека онлайн библиотеки биология биомедицина биомеханика бионика биоразнообразие биотехнологии блогосфера бозон Хиггса визуальная антропология вирусы Вольное историческое общество Вселенная вулканология Выбор редакции гаджеты генетика география геология глобальное потепление грибы грипп демография дети динозавры ДНК Древний Египет естественные и точные науки животные жизнь вне Земли Западная Африка защита диссертаций землетрясение зоопарк Иерусалим изобретения иммунология инновации интернет инфекции информационные технологии искусственный интеллект ислам историческая политика история история искусства история России история цивилизаций История человека. История институтов исчезающие языки карикатура католицизм квантовая физика квантовые технологии КГИ киты климатология комета кометы компаративистика компьютерная безопасность компьютерные технологии коронавирус космос криминалистика культура культурная антропология лазер Латинская Америка лженаука лингвистика Луна мамонты Марс математика материаловедение МГУ медицина междисциплинарные исследования местное самоуправление метеориты микробиология Минобрнауки мифология млекопитающие мобильные приложения мозг Монголия музеи НАСА насекомые неандертальцы нейробиология неолит Нобелевская премия НПО им.Лавочкина обезьяны обучение общество О.Г.И. открытия палеолит палеонтология память педагогика планетология погода подготовка космонавтов популяризация науки право преподавание истории происхождение человека Протон-М психология психофизиология птицы ракета растения РБК РВК регионоведение религиоведение рептилии РКК «Энергия» робототехника Роскосмос Роспатент русский язык рыбы Сингапур смертность Солнце сон социология спутники старообрядцы стартапы статистика технологии тигры торнадо транспорт ураган урбанистика фармакология Фестиваль публичных лекций физика физиология физическая антропология фольклор химия христианство Центр им.Хруничева школа эволюция эволюция человека экология эпидемии этнические конфликты этология ядерная физика язык

Редакция

Электронная почта: politru.edit1@gmail.com
Адрес: 129343, Москва, проезд Серебрякова, д.2, корп.1, 9 этаж.
Телефоны: +7 495 980 1893, +7 495 980 1894.
Стоимость услуг Полит.ру
Свидетельство о регистрации средства массовой информации
Эл. № 77-8425 от 1 декабря 2003г. Выдано министерством
Российской Федерации по делам печати, телерадиовещания и
средств массовой информации. Выходит с 21 февраля 1998 года.
При любом использовании материалов веб-сайта ссылка на Полит.ру обязательна.
При перепечатке в Интернете обязательна гиперссылка polit.ru.
Все права защищены и охраняются законом.
© Полит.ру, 1998–2014.