Мы публикует рецензию Ивана Низгораева на книгу известного украинского социолога, недавно скончавшейся Натальи Паниной (Панина Н.В. Технология социологического исследования: Курс лекций. Киев: Институт социологии НАН Украины, 2001. 2-е изд.). Как это часто бывает с зарубежными изданиями, книга Паниной не сразу дошла до российского читателя, но не потеряла своей актуальности, ни в методологическом, ни в политическом контексте. О соотношении российской и украинской социологии читайте также в интервью украинского социолога Евгения Головахи.
Бытует мнение, что науку и практическую жизнедеятельность разделяет пропасть. Одни предпочитают тихую размеренную жизнь в дали от удручающего социума, людских страстей и действий, выходящих за пределы рациональных интерпретаций. Другие ратуют за прикладной характер исследования, за оперативность, гибкость не только во взглядах, но и навыках, за умение угодить заказчику. Курс лекций Н.В. Паниной - не очередная попытка синтеза умозрительных категорий, надежно защищенных от остального мира сеткой догм и тривиальных допущений. Скорее, перед нами внятное описание того, как разработанные и внедренные еще в начале прошлого века количественные процедуры воспроизводятся в веке настоящем, как взгляды на нормы и отклонения социологического исследования формируют представления о качественном научном предприятии: "Качество информации в конечном итоге определяется не отсутствием ошибок и погрешностей (избежать которые практически невозможно), а создаваемыми исследователем условиями, позволяющими учесть влияние этих ошибок на конечный результат" (с. 83).
Если качество опросной технологии является предметом книги, то объектом выступает совокупность смещений, ошибок и ложных представлений, сопровождающих фабрикацию научных или околонаучных выводов: "мы видим свою задачу прежде всего в том, чтобы обратить внимание аудитории на разработанные социологической наукой требования и правила, позволяющие если не избежать, то учесть возможные ошибки социологического исследования при интерпретации полученного материала" (с. 8). Личный опыт, замечания и рекомендации коллег, публицистические и научные статьи служат для Н.В. Паниной исходным материалом для вдумчивого прочтения классических текстов по методике и технике социальных измерений, для воссоздания существующей в среде полстеров и политических аналитиков картины мира. Даже ошибки и недочеты, допущенные в книге играют немаловажную роль. Они точно воспроизводят благие намерения, предрассудки и допущения современных исследователей, тем самым помогая вдумчивому читателю обнаружить границы научного мировоззрения, воплощенного в мечте о надежных и валидных результатах.
Ошибки выборки
Итак, назвался полстером, беспокойся о репрезентативности. Поскольку наиболее доступная ее оценка - случайная ошибка выборки, то можно ограничиться лишь теоретическим расчетом и не утомлять себя долгими методическими изысканиями. "Надежность информации на этапе формирования выборки обеспечивается учетом случайных ошибок", - пишет Н.В. Панина (с. 77), что верно лишь в модели абсолютно случайной выборки - романтической мечте раннего позитивного мышления. Практическая несостоятельность подобного утверждения в социальных исследованиях не подлежит сомненению (с. 101). Так Х. Кэнтрил, введя в начале прошлого века в широкий обиход различение ошибок на случайные и систематические, утверждал, что "...случайные (статистические) ошибки, прежде всего, сопровождающие реализацию выборочного плана, часто не являются основными. Нестатистические погрешности куда более значительны и "опасны", чем следствия, обусловленные малым объемом выборки (цит. по Докторов, 2005, с. 161). Однако все еще эффекты интервьюера, неответы, давление труднодоступных единиц исследования и другие источники систематических смещений остаются риторическими фигурами, о которых обязательно надо упомянуть, но предложить какие-либо средства для их измерения не получается (с. 80-81). Такое упоминание подобно его отсутствию, поскольку абстрактные риторические фигуры, неподкрепленные технологическим описанием, отторгаются из эмпирических исследований за ненадобностью и практической несостоятельностью. Случайные ошибки - альфа и омега в оценке качества исследования. Отсюда возникает миф о качестве объемных, широкомасштабных исследований, основанных на идеологии "соломенных" опросов: "даже неискушенный в исследованиях человек понимает, что чем больше опрошено, тем лучше"" (с. 117); "общий принцип сводится к тому, что чем больше выборка, тем более вероятно, что десятые доли процента могут представлять значимое информационное значение" (с. 202). Исследователи забывают, что стремясь увеличить расчетную точность случайной ошибки, они многократно увеличивают систематические смещения. В условиях ограниченных ресурсов рост объема выборки приводит к необходимости привлекать менее квалифицированный персонал, сокращать время на инструктаж, согласование интересов и представлений новых участников опросной процедуры. Аналогичная логика экстенсивного роста лежит в основе рекомендаций по увеличению квотируемых признаков в квотной выборке: "Чем больше пропорций учитывается, тем более вероятно, что выборка будет репрезентативной и по неучитываемым параметрам" (с. 113). Здесь явно не принимается во внимание большая трудоемкость такого подхода, а значит и больший риск недобросовестной работы интервьюеров, накладывающийся на рост количества отказов от интервью. Н.В. Панина подробно излагает разные способы выборочного исследования: одноступенчатую случайную, районированную, гнездовую и многоступенчатую комбинированную, квотную выборки. При этом теоретические фундированные требования уступают место довольно сомнительной аргументации ad praxis: "теоретически это легко опровергнуть, однако практика социологических исследований позволяет доверять этому способу отбора" (с. 114) - речь идет о квотных выборках. Не менее экзотична и рекомендация в выборе квотной или случайной выборке по критерию знакомства исследователя с предметом и объектом исследования: если хорошо знаком, проводи квотную выборку, плохо - случайную (с. 116-117). Как минимум непонятно, каким образом при плохом знакомстве с объектом исследования составлять основу для случайного отбора? Тот факт, что "основным недостатком целенаправленных выборок является необоснованность статистических процедур анализа", сглаживается рекомендацией не обращать на это внимание: "значение статистических показателей следует рассматривать как относительное" (с. 116). Недобросовестность в следовании выборочным процедурам, оправдывается большим соответствием некоторым внешним показателям: "Нарушая определенные формальные требования, исследователь нередко добивается более достоверной информации, что впоследствии подтверждается результатами референдумов и выборов" (с. 110-111). Насколько прогностическая функция, построенная на прямой модели "спросил - подсчитал - предсказал", может играть роль внешней валидности - большой вопрос. При всеобщем падении интереса к выборам, доминировании спонтанных решений, принимаемых непосредственно во время голосования, распространенности этикетных норм, не приветствующих отрицательные ответы на предвыборную тематику, расхождения между заявляемыми и фактическими голосами закономерны и ожидаемы. И скорее отклонения, а не совпадения между ответами, данными в опросах и на избирательных участках, должны определять качество исследования. Напротив, несовершенство процедуры измерения, отсутствие в конкретных исследованиях экспериментального материала, объясняющего разрывы между политическими установками, их репрезентациями и поведением на выборах, приближают подобные прогнозы к алхимическим или астрологическим предсказаниям. Мистическая компонента опроса усиливается, когда речь заходит об экспертной процедуре - приглашение компетентных лиц, желательно по трое, для отбора исследуемых совокупностей (с. 111-112). Зачастую за экспертными мнениями скрывается нежелание исследователя заботить себя поиском и обоснованием критериев отбора.
Ошибки опросного инструмента
Н.В. Панина выделяет два типа эмпирических исследований: опросы общественного мнения и, собственно, социологическое исследование. В качестве "наиболее важного элемента проекта" первому приписывается проблема репрезентативности, второму - операционализации, поскольку "в опросах общественного мнения необходима лишь редакция информационного запроса в соответствии с основными техническими требованиями и правилами составления анкеты" (с. 24). Значит обоснование показателей не так важно, они подкупают автора своей очевидностью и бесхитростностью: "Так, уверенность в улучшении социально-экономической ситуации непосредственно связана с показателем социального оптимизма и не требует дополнительного обоснования" (с. 30), а избирателю приписан статус рационально мыслящего субъекта, который обязательно мотивирован в выборе того или иного кандидата (с. 40). Пилотаж анкеты редуцируется до перечитывания вопросов, разговоров с родственниками и знакомыми, или экспертного оценивания, теми же знакомыми, только теперь уже имеющими опыт эмпирических исследований, - их уже можно назвать экспертами (с. 68-69). В подобных действиях нет ничего плохого: "анкета нуждается в любой помощи, которую ей могут оказать!", - как эмоционально подытоживает Р. Туранжо (Tourangeau, 2004, p. 210). Однако ограничиваться лишь тривиальными подходами, которые были разработаны в 1930-е годы, подвергнуты критике в 1990-е, а в 2000-х списаны из академически фундированных проектов, непозволительная роскошь даже для сугубо прикладных исследований. Подготовка интервьюера сводится к набору жестких правил, по сути невыполнимых в условиях любой коммуникации. Удивительным образом, уже десятки раз опровергнутые в методических экспериментах утверждения, воспроизводятся в учебных изданиях. Не исключение и курс лекций Н.В. Паниной: "если респондент не понимает вопрос, интервьюер должен повторить его еще раз, помедленнее, не изменяя формы вопросы" (с. 144); "В ходе интервью не должно быть ни обсуждений, ни полемики между интервьюером и респондентом" (с. 145) и т.д. Первый же опыт интервьюирования, если он оказался успешным, учит обходить эти правила, приноравливаться к ситуации интервью, поддерживать беседу с человеком, который всегда может отказаться от ее продолжения. Не удивительно, что после нарушения казалось бы основополагающих допущений стандартизированного интервью любые требования исследователя воспринимаются как пустая, ни к чему не обязывающая формальность. Подобное негативное отношение быстро распространяется на все рекомендации по ведению опроса, включая соблюдение спроектированной выборки и ведение отчетности по неответам. Фальсификация и недобросовестная работа интервьюеров - результат нашей убежденности в давно опровергнутых догматических предположениях.
Ошибки анализа данных
Обоснование статистического вывода невозможно без принятия случайного отбора, хотя бы в модусе гипотетического "как если бы" исполнения. Так возникает недосказанность, сказать точнее, лукавство многих социологических исследований. С одной стороны, социолог видит невозможность применения статистического аппарата, основанного на идеологии случая и нормальном распределении признака. С другой, формулы безлики и введенные в них цифры дают результаты, которые можно интерпретировать, подводить под собственный набор концепций и теоретических представлений. Точная механика статистического анализа становится фигурой речи, подтверждающей научность проделанной работы, ее статус истинного знания. В этом состоит величайшая драма современной социальной мысли - замена критериев истинности словами о них. Показатель среднего арифметического адекватен лишь для измерения распределений, приближающихся к нормальным, получаемым в результате случайного отбора (с. 210, 221). Поскольку таких распределений найти практически невозможно, то следует оценивать степень приближения фактических распределений к нормальным. И если дела обстоят совсем плохо, то преобразовывать данные, иными словами, подгонять их под теоретическую конструкцию, всеми доступными для этого техническими средствами. Если в обыденном общении сказать, что ответ человек случаен, это будет признано безумием. Но именно на этом допущении построена технология расчета связей между признаками, которые не более чем ответы людей. Безумие научных интерпретаций давно легитимно и стало каноном исследовательской работы. Не удивительно, что одна уступка перед научной истиной порождает другую и заканчивается все абсолютной фальсификацией планируемого научного предприятия, преобразование его в социальное действие, обслуживающего интересы социальных же деятелей. Если очень хочется установить связь между признаками, то можно взять за основу и коэффициент, изначально всего лишь опровергающий нулевую гипотезу об отсутствии связи: "Если значение этого коэффициента (хи-квадрат - Д.Р.) статистически значимо, по крайней мере, на уровне 5%, то исследователь может сделать вывод о том, что между анализируемыми признаками есть определенная связь". Далее очень хочется определится с величиной связи, отсюда: "чем выше значение данного коэффициента, тем более тесная связь между этими двумя признаками" (с. 226), отсюда будем сравнивать коэффициенты полученные в таблицах с разной размерностью (с. 233). Конечно, можно указать на данное утверждение как ошибочное - коэффициент хи-квадрат не измеряет силу связи и зависит от размерности таблицы сопряженности. Но полученная ошибка - лишь отражение общей тенденции заменять критерии словами. Ее возникновение в курсе лекций скорее его достоинство, нежели недостаток, поскольку обнажает запутанную арифметику "как если бы" расчетов, явно указывает к чему приводит путь переименований и уступок.
Ошибки оформления
Книгу отличает непозволительная для научного издания библиографическая небрежность. И хотя к каждой главе составлен небольшой список рекомендуемой литературы, в тексте ссылки на первоисточники крайне редки. Вместо них читатель сталкивается с отсылками к некоторым "объективным", закрытым для какой-либо фальсификации субстанциям: "эксперименты в области межличностного общения позволили установить" (с. 42), "анализ отчетов интервьюеров показывает" (с. 55), "в некоторых учебных пособиях по методике проведения социологических опросов указывается" (с. 95) и т.д. Непонятны также источники некоторых методических фактов, приводимых в работе. Например, автор приводит уровень недостижимости респондентов в 10-15% (c. 100), не указывая откуда и как получен показатель. В то время, как в сотнях методических экспериментов, проводимых по всему миру, коэффициент неответов, с учетом самых благоприятных обстоятельств и довольно продолжительного периода полевого этапа - не менее месяца, составляет более 30% (см., например, (Scholl, 2003, S. 44). Если же речь идет об оперативных опросах, полевой этап которых не превышает недели или двух, и в технологии которых не предусмотрены повторные обращения к недостижимым единицам отбора, по оценкам специалистов Фонда "Общественного мнения" коэффициент неответов может достигать 60-70%. Отталкиваясь от подобных прогнозов многие методисты считают оперативные исследования, с полевым этапом менее двух недель, не более чем умелой фабрикацией общественного мнения .
Резюме
Наука построена на ошибках и их исправлениях, псевдонаука - на объяснениях и логичных доводах, подтверждающих каждое новое утверждение. Вышедшая в издательстве Института социологии НАН Украины книга - большая удача для русскоговорящей научной аудитории. Она позволяет обнажить разрывы сознания, укорененные в среде социальных наук, проблематизировать очевидные для многих положения, приближающие научное знание к обыденным представлениям и предрассудкам.
Литература
1 Biemer P.P. Measuring data quality // Telephone survey methodology / Ed. by R.M. Groves, P.P. Biemer, L.E. Lyberg, et al. New York: John Wiley Sons, 2001. P. 273-282
2.Sebold J. Survey period length, unanswered numbers, and nonresponse in telephone surveys // Telephone survey methodology / Ed. by R.M. Groves,.P. Biemer, L.E. Lyberg, et al. New York: John Wiley Sons, 2001. P. 247-256
3.Scholl A. Die Befragung: Sozialwissenschaftliche Methode und kommunikationswissenschaftliche Anwendung. Konstanz: UVK Verlagsgesellschaft mbH, 2003.
4. Tourangeau R. Experimental design considerations for testing and evaluating questionnaires // Methods for testing and evaluating survey questionnaires / Ed. by S. Presser, J.M. Rothgeb, M.P. Couper, et al. Hoboken, NJ: John Wiley Sons, 2004. P. 209-224.
5. Докторов Б.З. Первопроходцы мира мнений: от Гэллапа до Грушина. М.: Институт Фонда "Общественное мнение", 2005
