Панельные исследования

В определенных однородных исследованиях респон­дентам нередко предлагается самим определить, были ли они подвержены X. В таких случаях корреляция между воздействием и результатом итогового тестиро-

вания оказывается смещенной не только в силу нали­чия общего источника погрешности (X получают те, кто и без X дал бы высокий результат О), но и из-за искажений памяти по отношению к X, еще больше уси­ливающих ложный эффект (Stouffer [120, с. 356]). Хотя эти исследования и обнаруживают каузальную связь, оправдывающую затраты на рекламу (то есть демонстрируют корреляцию между ответами на вопро­сы типа «Смотрели ли Вы эту программу?» и «Купили ли Вы это изделие?»), они являются тривиальным свидетельством о наличии эффекта. Они привносят но­вый фактор, угрожающий внутренней валидности ре­зультатов, то есть систематическую ошибку в определе­нии того, кто получил X, который мы не намерены вно­сить в наши таблицы.

Большим достижением методологии исследования общественного мнения явилось применение панельного метода — повторных интервью с теми же лицами. В лучшем случае, когда X (например, показ кинофиль­ма или проведение консультации) вклинивается между двумя волнами интервью или анкетирования, панель­ное исследование представляет собой слабый вариант плана 10 с единственным X. Следует, однако, иметь в виду, что в социологии это важное методическое ново­введение сопровождается ошибочным традиционным анализом. Так, интерпретация «таблицы текучести» (Glock [41]), как отмечают Кэмпбелл и Клэйтон [14], затруднена из-за смешивания каузальных гипотез с ре­грессионными эффектами. Даже при анализе прира­щений зависимых переменных в группах, подвергшихся и не подвергшихся X, в понятиях предварительного и итогового тестирования остается менее явный источник систематической ошибки. В таких панельных исследо­ваниях факт предъявления респонденту X (например, показ кинофильма, направленного против предрассуд­ков) устанавливается во второй волне интервью двухэтапного панельного исследования. Схема такого плана выглядит следующим образом:

Панельное исследование с двумя волнами интервью (неприемлемо)_.

Здесь большими скобками отмечено наличие О или X на одном и том же этапе с одним интервью, а вопроси­тельный знак указывает на неоднозначность отнесения респондентов к группам с X и без X. В отличие от плана 10 этот план не позволяет однозначно опре­делить, кто принадлежит к экспериментальной, а кто к контрольной группе. Как в худших реализациях пла­на 10, X коррелирует с данными предварительного тестирования (лица с минимальными предрассудками более склонны посмотреть фильм). Более того, даже если X в действительности не влияет на результаты О, корреляция между X и данными последующих тестиро­ваний будет более высокой, чем между X и данными предварительных тестирований, просто потому, что они (X и О) осуществляются в одном и том же интервью. Как показывает общий опыт исследований, связанных с тестированием и измерениями, в отношении любых двух пунктов одного и того же вопросника наблюдается сильная тенденция к более высокой корреляции ответов между собой, чем в отношении ответов на те же во­просы, но включенные в разные вопросники. Стокфорд и Бисселл [119] обнаружили, что даже в рамках одной анкеты ответы на смежные (соседние по положению) вопросы имеют более высокую корреляцию, чем ответы на вопросы, отдаленные друг от друга. Корреляция между измерениями, выполненными в один день, как правило, выше, чем между измерениями, сделанными в разные дни. В упомянутом панельном исследовании (Glock [41]) два интервью были проведены с интерва­лом в восемь месяцев. Увеличению корреляции внутри одного интервью и уменьшению корреляции тех же пунктов между обоими интервью способствовали изме­нения в составе интервьюеров. Неизбежные ошибки по­следних и неточности высказываний опрашиваемых при повторной идентификации данных первоначальных рес­пондентов приводят к тому, что некоторые пары ин­тервью на самом деле оказываются принадлежащими разным людям. Получаемая в итоге более высокая кор­реляция между X и данными последующего интервью означает, что регрессия от X к результатам этого ин­тервью меньше, чем к результатам предварительного опроса, и поэтому различия между группами в после­дующем интервью окажутся большими, чем при предва-

рительном обследовании. Это приведет (даже в отсут­ствие эффекта в популяции) к ложному эффекту при­роста показателей для тех, кто отнес себя к числу по­лучивших воздействие, и снижению для тех, кто счи­тал; что не получал воздействие. Подобный результат обычно ошибочно принимается за подтверждение гипо­тезы об эффекте X (более подробно см. Campbell, Clayton [14]).

Чтобы обойти этот ложный источник повышенной корреляции, принадлежность респондентов к группе, которой предъявляется X, можно устанавливать незави­симо от интервью или посредством отдельной промежу­точной волны опросов. В последнем случае, даже если и имеется ошибка памяти относительно прохождения X, это не должно искусственно увеличивать корреля­цию X с данными последующей проверки по сравнению с корреляцией между X и данными предварительного обследования. Вот как выглядит такой план:

Дата добавления: 2015-10-23