Непоследовательное проведение интервью

Remmie Corporation наняла компанию, специализирующуюся по сбору данных, для прове­дения 300 интервью методом перехвата в торговых центрах. Интервью должны проводиться в течение двух недель. Через неделю оказалось, что проведено только 100 интервью. В ходе обсуждения проблемы с интервьюерами выяснилось, что много времени уходит на объяс­нение содержания вопросов и проверку ответов. Чтобы закончить работу в оговоренный срок, интервьюерам дали указание уделять этим видам работы как можно меньше времени. Изменение формы ведения интервью может в значительной степени повлиять на содержа­ние и качество информации и, следовательно, на внутреннюю валидность исследований.

ГЛАБА 7. Эксперименты 197

Отбор и выбывание. Угрозы отбора и выбывания для внутренней валидности име­ют отношение к составу и характерным особенностям групп, участвующих в прове­дении экспериментальных исследований.

План проведения экспериментов требует участия, по крайней мере, двух отдель­ных групп — экспериментальной и контрольной. Контрольная группа не подверга­ется экспериментальному манипулированию и служит основой для сравнения с экс­периментальной группой, подвергаемой экспериментальному воздействию. Угроза отбора для внутренней валидности возникает всякий раз, когда характерные черты этих двух групп перед началом проведения эксперимента отличаются. Угроза отбора имеет место, когда участники экспериментальных и контрольных групп отличаются по важным демографическим признакам, установкам, поведению, а также своим первоначальным уровнем в отношении зависимой переменной или по вероятной восприимчивости к воздействию независимой переменной. Возможность возникно­вения этого риска можно свести к минимуму, используя метод случайного отбора при распределении участников в экспериментальную и контрольную группу³.

Угроза выбывания для внутренней валидности возникает всякий раз, когда харак­теристики экспериментальных и контрольных групп различаются по важным демо­графическим переменным, отношениям, поведению, первоначальному уровню в отношении зависимой переменной или вероятной восприимчивостью к воздейст­вию независимой переменной при завершении эксперимента. Угроза валидности, связанная с выбыванием, обычно имеет место, когда отличающиеся типы людей пе­рестают участвовать в проведении исследований в каждой из групп. Например, предположим, что экспериментальная и контрольная группы перед началом иссле­дований были сопоставимы. Каждая групп представляла собой выборку, репрезен­тативную для взрослого населения Соединенных Штатов Америки. В ходе проведе­ния исследований по 10% участников исследований выбыли из той и другой группы. Но из контрольной группы выбыли лица в возрасте 18—24 лет (увеличив таким обра­зом количество людей среднего возраста в группе), тогда как из экспериментальной группы выбыли лица в возрасте от 45 лет и старше (уменьшив таким образом коли­чество людей среднего возраста в группе). Следовательно, различия в отношении и поведении в конце эксперимента нельзя однозначно отнести за счет влияния неза­висимой переменной. Различия между средними значениями возраста в обеих груп­пах могут повлиять на ответы при измерении зависимой переменной.

Экспериментальный план_________________________

Рассмотренные в предыдущем разделе семь угроз внутренней валидности могут, в большей или меньшей степени, контролироваться правильно разработанным пла­ном эксперимента. Некоторые из планов эксперимента предполагают контроль всех угроз для внутренней валидности, тогда как другие пытаются (или в состоянии) кон­тролировать лишь некоторые из них, как это показано в табл. 7.1.

¹ Случайная выборка, результат вероятностного отбора, имеет место тогда, когда каждый из элементов целевой совокупности имеет известный и равный шанс быть отобранным для участия в проведении исследований. Случайная выборка и вероятностный отбор более подробно рассматриваются в главе 8.

Л 98 ЧАСТЬ II. Основные вопросы планирования рекламных исследований

Врезка 7.2.

Типичная ситуация рассмотрения экспериментального плана

American Savings Association, Ассоциация ссудосберегательных учреждений, разработала кампанию прямой рассылки, нацеленную на создание положительного восприятия местных ссудосберегательных учреждений. Особо подчеркивается их стабильность, дружествен­ность к потребителю и участие в жизни района. В качестве зависимых переменных исполь­зовались потребительские рейтинги каждой из перечисленных областей. В ходе кампании были использованы четыре прямых почтовых отправления, в каждом из которых содержа­лись вопросы об уровне стабильности, дружественности и участия ссудосберегательных уч­реждений в жизни жителей района.

Ниже приведены примеры надписей на конвертах. Кампания прямой рассылки организова­на таким образом, что каждому респонденту отправляют один конверт в неделю. Следова­тельно, в конце четырехнедельного периода каждый респондент получит все четыре конвер­та. (Участие респондента в кампании прямой рассылки — независимая переменная.) Под конец рассылки ассоциация сможет дать определение эффективности почтовой кампа­нии путем оценки отношения потребителей к уровню стабильности, дружественности и уча­стия в жизни жителей района ссудосберегательных учреждений. Вот образцы четырех конвертов, использованных для проведения прямой почтовой кампании.

ГЛАВА 7. Эксперименты 199

Обычно точность информации и ее стоимость возрастают при увеличении контро­ля в экспериментальном плане. Принимая во внимание взаимосвязь между стоимо­стью и осуществлением контроля, исследователь вовсе не обязан всегда выбирать тот план, который бы контролировал все семь угроз для внутренней валидности. Хорошо спланированное исследование требует соблюдения баланса между точностью собран­ной информации и стоимостью ее сбора. Исследователь должен определить такой план проведения эксперимента, который, ввиду важности решения и настоятельной потребности в информации, обеспечит баланс между ее точностью и стоимостью.

В этом разделе рассматривается каждый из экспериментальных планов, представ­ленных в табл. 7.1, с указанием сильных и слабых сторон каждого плана. Планы будут рассматриваться в контексте гипотетических ситуаций, описанных во врезке 7.2.

Квази-экспериментальные планы

Эффективность прямой почтовой кампании, проведенной American Savings Association (врезка 7.2), можно оценить с помощью одного из двух квази-экспери-ментальных планов, представленных в табл. 7.1.

Таблица 7.1. Экспериментальные планы: относительная способность контролировать угрозы внутренней валидности

200 ЧАСТЬ II. Основные вопросы планирования рекламных исследований

Окончание табл. 7.1

Эксперимен- Предваритель- Взаимо- Фон Естествен- Инструмен- Отбор Выбывание
тальный план ное измерение действие ное развитие тальная

погрешность

План с заклю- ⁺ + + + +

чительным

тестированием

и контрольной

группой

План с пред- ^{+ +}

верительным и заключитель­ным тестиро­ванием и с контрольной группой

ПланСоломо- ⁺ + + + + + +

на для четырех

групп

Эти планы называются квази-экспериментальными⁴, поскольку они не являются истинными экспериментами. Результаты экспериментов, использующих подобные планы, с трудом поддаются интерпретации, так как они не предполагают (или лишь частично предполагают) контроль над угрозами для внутренней валидности. Такие планы, в отличие от подлинных экспериментальных планов, ненамного превосходят описательные исследования и не могут служить основой для принятия решений. Та­ким образом, если эти планы обычно и используются, то лишь для специфических типов рекламных и маркетинговых исследований (таких как предварительное рек­ламное тестирование, тестирование концепции товара и т.д.). Они, в общем, не пригодны для проведения экспериментальных исследований. Маркетологи и рекла­мисты, использующие такие планы для проведения экспериментов, делают это на свой страх и риск.

План с одной группой и заключительным тестированием. Этот план предполагает участие одной-единственной группы испытуемых, которая подвергается воздейст­вию или экспериментальному манипулированию (независимая переменная). После этого измеряется зависимая переменная (переменные) как часть заключительного тестирования. Символически этот план можно представить таким образом:

Группа 1. Воздействие -^ Заключительное тестирование

⁴ Автор ошибается, называя эти планы квази-экспериментальными. По классификации Д. Кэмпбелла они носят название доэксиериментальных — см. Кэмпбелл Д. Модели экспериментов в социальной психологии и прикладных исследованиях. М., 1980. (Прим. научн. ред.)

ГЛАВА 7. Эксперименты 201

Если бы подобный план использовался American Savings Association при проведе­нии кампании методом прямой рассылки, это повлекло бы за собой разработку опи­санного ниже эксперимента и вызвало бы такие наблюдения. American Savings Association рассылает прямые почтовые отправления отобранной группе лиц. Две не­дели спустя каждому из участников звонят и задают вопрос о его восприятии уровня стабильности, дружественности и участия в жизни района местного отделения Savings & Loans. Затем American Savings Association знакомится с мнениями, выска­занными при анкетировании, и определяет, была ли почтовая кампания успешной.

Как показывает сценарий, подобный план имеет три существенных недостатка. Во-первых, ассоциация вынуждена всецело полагаться на собственные суждения при интерпретации результатов. Предположим, что критерий "дружественности" измеряется по пятибалльной шкале, в которой "I" означает чрезвычайно дружест­венный, а "5" — чрезвычайно недружественный. Как тогда расценивать оценку "3"? Это хорошо или плохо? У ассоциации нет ответа, так как неизвестно, насколько "дружественным" воспринималось отделение Savings & Loans до начала кампании. Во-вторых, поскольку контрольной группы не существует, ассоциация не может оп­ределить, в какой степени какие-либо изменения в отношении вызваны получением почтового отправления (а не другими факторами, влияющими на потребителя). Это и называется угрозой для внутренней валидности, связанной с фоновыми влияния­ми. В-третьих, с помощью этого плана невозможно контролировать некоторые другие дополнительные угрозы для внутренней валидности, такие как естественное развитие, отбор и выбывание.

План с одной группой, предварительным и заключительным тестированием. Этот план, называемый также "планом с тестированием до и после, без контрольной группы", подобен вышеописанному плану с одной группой и заключительным тес­тированием. Отличие заключается в том, что производится предварительное изме­рение перед экспериментальным манипулированием независимой переменной. Символически этот план можно представить так:

Группа 1. Предварительное тестирование

Воздействие —> Заключительное тестирование

Этот план часто используется при тестировании цены товара, его упаковки и ре­акции на рекламу. Схематически это выглядит таким образом:

Измерение доли торго- —> Изменение цены

вой марки

Измерение удовлетво- —> Изменение состава

ренности заказчика товара

Измерение восприятия —> Проведение новой

товара

рекламной кампании

—» Измерение доли торговой

марки —» Измерение удовлетворенности

заказчика —> Измерение восприятия товара

В каждом из этих случаев измерение эффекта экспериментального воздействия осуществляется путем сравнения уровня зависимой переменной при заключитель­ном измерении с уровнем, наблюдавшимся при предварительном тестировании.

202 ЧАСТЬ II. Основные вопросы планирования рекламных исследований

В этом случае план исследований, воспроизведенный во врезке 7.2, воплощался бы в жизнь так. American Savings Association отбирает для участия в проведении иссле­дований группу лиц. Каждому из участников звонят по телефону и интересуются его восприятием (до проведения почтовой кампании) уровня стабильности, дружест­венности и участия в жизни района местного отделения Savings & Loans. Ассоциация начинает почтовую кампанию через неделю после проведения предварительного тестирования. Спустя две недели после последней почтовой рассылки, каждому из участников звонят по телефону и интересуются его восприятием уровня стабильно­сти, дружественности и участия в жизни района местного отделения Savings & Loans. American Savings Association изучает мнения, высказанные в ходе проведения бесед после почтовой кампании, и сравнивает их с мнениями, высказанными до нее. По­сле этого принимается решение, считать ли изменения уровней, наблюдаемых до и после почтовой кампании, показателями эффективности кампании, или нет.

Как и в предыдущем случае, недостатки этого метода проведения экспериментов ста­новятся очевидными при попытке истолковать полученные результаты. Мы не можем заявить с полной уверенностью, что любые наблюдаемые различия в уровнях предвари­тельного и заключительного тестирования вызваны проведением почтовой кампании, потому что, во-первых, мы не в состоянии изолировать воздействие рекламной кампа­нии от других влияющих факторов, и, во-вторых, этот план не может обеспечить кон­троль всех других угроз для внутренней валидности, за исключением угрозы отбора.

Планы истинных экспериментов

Две важнейшие особенности отличают планы истинных экспериментов от квази­экспериментальных планов. Планы истинных экспериментов предполагают участие контрольной группы. Кроме того, единицы измерения (т.е. участники, точки роз­ничной торговли) назначаются в контрольные и экспериментальные группы слу­чайным образом. (Случайное назначение имеет место тогда, когда каждый член со­вокупности имеет известную и равную вероятность стать участником исследований.) Применение метода случайного отбора чрезвычайно важно, так как случай дает воз­можность контролировать многие из угроз для внутренней валидности. Таким обра­зом, несмотря на то, что истинные экспериментальные планы по сравнению с ква-зи-экспериментальными требуют больших затрат времени и средств, с их помощью собирают более качественную информацию для принятия решений. Существует че­тыре основных плана истинных экспериментов⁵.

• Смоделированный план с предварительным и заключительным тестированием.

• План с заключительным тестированием и контрольной группой.

• План с предварительным и заключительным тестированием и с контрольной
группой.

• План Соломона для четырех групп.

⁵ Полное и подробное рассмотрение квази-экспериментальных и истинных экспериментальных планов вы найдете в работе Donald Campbell, Julian Stanley, Experimental and Quasi-Experimental Designs For Research (Chicago, IL: Rand-McNally Company, 1963). Имеется перевод на русский язык: Кэмпбелл Д. Модели экспе­риментов в социальной психологии и прикладных исследованиях. М, 1980.

ГЛАВА 7'. Эксперименты 203

Как видно из табл. 7.1, каждый из этих планов предполагает контроль различных угроз для внутренней валидности, поэтому все они намного надежнее, нежели ква-зи-экспериментальные планы.

Возможность полнее контролировать угрозы для внутренней валидности влечет за собой значительные затраты денег и времени, прежде всего в связи с необходимо­стью осуществлять большее количество измерений и формировать больше групп респондентов. Таким образом, исследователь должен выбрать тот план, который предполагает оптимальную сбалансированность, учитывая при этом текущие ин­формационные потребности.

Планы с двумя группами и двумя измерениями

Две наиболее распространенные формы планирования экспериментальных ис­следований в области рекламы предполагают участие двух групп респондентов и осуществление двух измерений. Эти планы — смоделированный план с предваритель­ным и заключительным тестированием и план заключительного тестирования с кон­трольной группой — приобрели большую популярность благодаря реальной возмож­ности контролировать большинство существующих угроз для внутренней валидно­сти при минимальном количестве необходимых групп участников и требуемых из­мерений. При осуществлении и того, и другого плана можно свести к минимуму количество необходимых групп участников и измерений, поскольку предполагается, что случайный отбор участников отдельных групп приведет к их эквивалентности.

Смоделированный план с предварительным и заключительным тестированием. Дан­ный план был разработан с целью обеспечить контроль угрозы предварительного измерения и взаимодействия для внутренней валидности, в частности, при проведе­нии экспериментов, исследующих отношение и осведомленность потребителя⁶. Экспериментальный план контролирует эти угрозы благодаря тому, что одна группа, состоящая из случайно отобранных респондентов, формируется для участия в пред­варительном тестировании, а вторую группу подвергают экспериментальному воз­действию и проводят заключительное тестирование.

Группа 1 (случайный отбор). Группа 2 (случайный отбор).

Предварительное тестирование

Воздействие —> Заключительное тестирование

Угрозы предварительного измерения и взаимодействия в этом случае исключа­ются, потому что предварительное и заключительное тестирование проводятся на разных людях. Тем не менее, возможность возникновения других угроз, таких как угроза влияния фона, естественного развития, инструментальной погрешности и от­бора, все еще существует.

В соответствии с этим планом, при анализе данных сравниваются уровни изме­рений при проведении заключительного и предварительного тестирований. Если других объяснений не существует, различия этих измерений относят за счет экспе­риментального воздействия, так как план предполагает, что контрольная и экспери­ментальная группы (Группа 1 и Группа 2, соответственно) эквивалентны.

' Donald S. Tull, Del I. Hawkins, Marketing Researh; Measurement and Method, 5tn ed. (New York, NY: Macmillan Publishing Company, 1990), p. 195.

204 ЧАСТЬ II. Основные вопросы планирования рекламных исследований

American Savings Association смогла бы использовать этот план таким образом. Две репрезентативные выборки, состоящие из представителей взрослого населения страны, формируются методом случайного отбора из генеральной совокупности. Первой группе предлагается заполнить анкету, оценивающую их отношение к рабо­те местного отделения Savings & Loans. Вторая группа респондентов участвует в пря­мой почтовой кампании. После последней почтовой рассылки второй группе пред­лагается заполнить ту же анкету, что ранее заполняла первая группа. Если группы достаточно велики, а случайный отбор и назначение респондентов проводились как следует, тогда какие-либо различия в отношениях двух групп можно отнести за счет влияния прямой почтовой кампании в дополнение к воздействию факторов фона, естественного развития, инструментальной погрешности или отбора.

План с заключительным тестированием и контрольной группой. В данном плане также участвуют две группы респондентов и используются два измерения. Стои­мость эксперимента с данным планом примерно такая же, как для предыдущего плана при приблизительном равенстве объема выборок.

План с заключительным тестированием и контрольной группой отличается от предыдущего плана тем, как измеряется эффект воздействия (манипулирования). При осуществлении смоделированного плана с предварительным и заключительным тестированием для оценки эффекта воздействия (манипулирования) сравниваются результаты предварительного и заключительного тестирования. План с заключи­тельным тестированием и контрольной группой оценивает эффект воздействия, сравнивая результаты двух заключительных измерений — одного в эксперименталь­ной группе, и другого в контрольной группе:

Группа 1 (случайный отбор). Группа 2 (случайный отбор).

Заключительное тестирование

Воздействие —> Заключительное тестирование

Если других объяснений не существует, различия заключительных измерений двух групп объясняются экспериментальным воздействием, так как при разработке плана предполагается, что группы перед экспериментальной манипуляцией были эквивалентными.

План с заключительным тестированием и контрольной группой более эффективен, чем смоделированный план с предварительным и заключительным тестированием, поскольку существует возможность контроля большего числа угроз для внутренней ва-лидности. Поскольку оба заключительных измерения осуществляются в одно и то же время, этот план предполагает возможность контроля угроз фона, естественного раз­вития, инструментальной погрешности, равно как и предварительного измерения и взаимодействия.

American Savings Association осуществляла бы этот план следующим образом. Две ре­презентативные выборки представителей взрослого населения страны формируются методом случайного отбора из генеральной совокупности. Участники второй группы получают прямые почтовые отправления. После последней рассылки обеим группам участников предлагается заполнить одну и ту же анкету. Так как предполагается, что случайное назначение (случайный отбор) участников двух групп приводит к эквива­лентности их установок перед экспериментальным воздействием, какие-либо отличия в результатах заключительного тестирования двух групп можно объяснить влиянием экспериментального воздействия — проведением прямой почтовой кампании.

ГЛАВА 7. Эксперименты 205

Две группы — четыре измерения: план с предварительным и заключительным тестированием и контрольной группой

При разработке предыдущего плана предполагается, но никогда не проверяется тот факт, что метод случайного отбора позволяет получить группы, эквивалентные с точки зрения установок, предшествующих экспериментальному воздействию. План с пред­варительным и заключительным тестированием и контрольной группой позволяет убедиться в том, что группы действительно эквивалентны перед началом исследова­ния. Это обеспечивается тестированием обеих групп перед началом исследований:

Группа 1 Предварительное

(случайный отбор), тестирование
Группа 2 Предварительное

(случайный отбор), тестирование

—> Воздействие —>

— >

Заключительное тести­рование

Заключительное тести­рование

Этот план подходит в том случае, если исследователю необходимо получить пря­мое доказательство эквивалентности групп перед осуществлением эксперименталь­ного воздействия, или когда возникают сомнения в степени эквивалентности групп.

План с предварительным и заключительным тестированием и контрольной группой достаточно эффективен. Наличие контрольной группы наравне с двумя предваритель­ными тестированиями дает возможность контролировать все потенциальные источники экспериментальной погрешности, за исключением выбывания и взаимодействия. Более того, план позволяет компенсировать различия предварительных измерений, если тако­вые были выявлены уже после того, как исследования начались. Исходные различия групп компенсируются путем подсчета разницы отличий заключительного и предвари­тельного тестирования в каждой из групп с помощью следующего выражения:

(Группа 1 Заключительное тестирование минус Группа 1 Предварительное тести­рование) минус (Группа 2 Заключительное тестирование минус Группа 2 Предвари­тельное тестирование)

Тем не менее, этот план имеет более высокую стоимость по сравнению с плана­ми, предполагающими участие двух групп и использование двух измерений.

American Savings Association осуществляла бы этот план следующим образом. Две репрезентативные выборки взрослого населения страны формируются методом слу­чайного отбора из генеральной совокупности. Участникам обеих групп предлагается заполнить анкеты перед началом опроса. Затем первой группе участников рассыла­ют четыре прямых почтовых отправления. После последней рассылки обеим груп­пам участников предлагается заполнить ту же анкету, что и в начале.

План с предварительным и заключительным тестированием и контрольной груп­пой является альтернативой плану с заключительным тестированием с и контрольной группой. Оба экспериментальных плана предполагают контроль угрозы для внутрен­ней валидности: предварительного измерения, фона, естественного развития. Однако план с заключительным тестированием и контрольной группой исключает угрозу взаимодействия, тогда как план с предварительным и заключительным тестированием и контрольной группой исключает угрозу отбора. При этом ни один из планов не ис­ключает возникновения угроз внутренней валидности вследствие выбывания. Таким образом, выбор плана отражает потребность исследователя в информации, а также прогнозируемые угрозы для валидности и бюджета исследования.

206 ЧАСТЬ II. Основные вопросы планирования рекламных исследований

Четыре группы — шесть измерений: план Соломона с четырьмя группами

План Соломона с четырьмя группами — наиболее эффективный, и в то же время наиболее ресурсоемкий экспериментальный план. Его эффективность обеспечива­ется возможностью контроля над всеми семью угрозами для внутренней валидности эксперимента. Это достигается сочетанием двух планов: плана с предварительным и заключительным тестированием и контрольной группой и плана с заключительным тестированием и контрольной группой.

Группа 1 (случайный

отбор).

Группа 2 (случайный

отбор).

Группа 3 (случайный

отбор).

Группа 4 (случайный

отбор).

Предварительное тестирование Предварительное тестирование

Воздействие

Воздействие

Заключительное тес­тирование Заключительное тес­тирование Заключительное тес­тирование Заключительное тес­тирование

Количество измерений, осуществляемых в этом плане, дает возможность полу­чить широкий спектр сравнений во время проведения анализа данных. Например:

• предварительное тестирование группы 1 в сравнении с заключительным тес­
тированием группы 1;

• заключительное тестирование группы 1 в сравнении с заключительным тести­
рованием группы 2;

• заключительное тестирование группы 1 в сравнении с заключительным тести­
рованием группы 3;

• заключительное тестирование группы 2 в сравнении с заключительным тести­
рованием группы 4.

American Savings Association осуществляла бы этот план следующим образом. Че­тыре группы, каждая из которых состоит из репрезентативной выборки взрослого населения страны, формируются методом случайного отбора из генеральной сово­купности. В начале исследования участникам первой и второй групп предлагается заполнить анкету. Участникам первой и третьей групп отсылают четыре прямых почтовых отправления. Всем группам участников предлагается заполнить ту же ан­кету, что и в начале исследования, после проведения последней рассылки.

Следует отметить, что, несмотря на свою экспериментальную действенность, план Соломона редко используется при проведении рекламных или маркетинговых исследований, прежде всего из-за сложности, высокой стоимости и значительной продолжительности.

Более сложные экспериментальные планы

Предыдущие примеры иллюстрируют самые основные формы проведения экспе­риментов. Они предполагают наличие только одной независимой переменной, и эта переменная имеет только два уровня (наличие или отсутствие). Однако зачастую для

ГЛАВА 7. Эксперименты 207

проведения рекламных исследований требуется разработка более сложных экспери­ментальных планов, в которых независимая переменная имеет гораздо больше уров­ней, или имеется две и более независимых переменных.

Несколько уровней переменной

План проведения истинного эксперимента можно расширить на случай несколь­ких уровней одной независимой переменой. Представьте себе, что American Savings Association собирается протестировать степень воздействия количества различных почтовых отправлений на формирование у потребителя отношения к деятельности местного отделения Savings & Loans. В этом случае независимая переменная имела бы четыре уровня, каждый из которых представлял бы количество отправлений в ад­рес респондента. План эксперимента для данной конкретной ситуации может быть расширен путем добавления экспериментальной группы для каждого уровня незави­симой переменной. Например, план с предварительным и заключительным тестиро­ванием и контрольной группой примет форму, состоящую из четырех эксперимен­тальных групп и одной контрольной:

Группа 1 (случайный

отбор).

Группа 2 (случайный

отбор).

Группа 3 (случайный

отбор).

Группа 4 (случайный

отбор).

Группа 5 (случайный

отбор).

Предварительное—> Воздействие 1 —>

тестирование

Предварительное —> Воздействие 2 —>

тестирование

Предварительное —> Воздействие 3 —»

тестирование

Предварительное—» Воздействие 4—>

тестирование

Предварительное —»

тестирование

Заключительное тес­тирование Заключительное тес­тирование

Заключительное тес­тирование Заключительное тес­тирование; Заключительное тес­тирование.

Как и в предыдущих случаях, каждая группа состоит из репрезентативной выбор­ки взрослого населения страны, сформированного методом случайного отбора из генеральной совокупности. Участникам каждой из пяти групп предлагается перед началом опроса заполнить анкету. Все почтовые отправления совершаются на про­тяжении одной недели. Участники группы 1 получают одно почтовое отправление, участники группы 2 — два, и т.д. Участникам группы 5 (контрольной группы) от­правления не рассылаются. Неделю спустя после последней рассылки все пять групп получают все ту же анкету. Затем сравниваются все уровни заключительного тести­рования по всем пяти группам.

Факторные планы: манипулирование несколькими переменными

Бывают случаи, когда от рекламного исследователя требуется манипулирование и наблюдение за воздействием двух или более независимых переменных одновремен­но. Например, представьте себе рабочую творческую группу в такой ситуации.

208 ЧАСТЬ 11. Основные вопросы планирования рекламных исследований

Мы целыми днями спорили о вариантах исполнения нашей новой рекламной кампании, но две проблемы остались нерешенными. Во-первых, мы не можем никак договориться, кто же все-таки должен представлять компанию в рекламном ролике — знаменитость или обыкновенный человек. Во-вторых, мы не можем определить, какими должны быть тон и манера подачи ролика — юмористическими или серьезными. Чтобы ответить на эти во­просы, необходимо провести исследование. Для проверки убедительности рекламного ро­лика нужно выяснить следующее.

1. Какой эффект вызовет изменение представителя компании, участвующего в
рекламном ролике?

2. Какой будет эффект от изменения тона рекламного ролика?

3. Какой будет эффект, если изменить и представителя, и тон рекламного роли­
ка одновременно? Иными словами, существует ли взаимодействие между
представителем компании и тоном ролика?

Ответить на эти вопросы можно с помощью факторного плана. Факторный план — это экспериментальный метод, измеряющий одновременно воздействие двух или более независимых переменных (каждая из которых имеет несколько уровней) на одну или несколько зависимых переменных.

Факторные планы рассматривают главные эффекты и взаимодействия. Главным эффектом является отдельное воздействие каждой независимой переменной на за­висимую переменную (переменные). В рассматриваемом примере главные эффек­ты — представитель компании (два уровня: знаменитость или обыкновенный чело­век) и тон (два уровня: юмористический или серьезный). Следствием комбинирован­ного действия независимых переменных на зависимую переменную (переменные) будет взаимодействие. Взаимодействие имеет место тогда, когда совместный эффект двух или нескольких независимых переменных отличается от суммы их независимых эффектов. В нашем примере взаимодействие произойдет тогда, когда реакция на комбинацию конкретных значений "представитель—тон" будет отличаться от суммы независимых реакций на конкретного представителя самого по себе и конкретный тон сам по себе.

Факторный план, который можно было бы использовать для решения вопросов о выборе представителя и тона рекламного ролика, графически представлен в верхней части рис. 7.1. Столбцы представляют уровни одного главного эффекта, тогда как строки — уровни второго главного эффекта. Вся выборка состоит из 240 респонден­тов, назначенных случайным образом для участия в одном из условий эксперимента. Каждая из ячеек рис. 7.1 представляет эти условия. Каждому из респондентов пока­жут один рекламный ролик. Респондентам, попавшим в верхнюю левую ячейку, бу­дет продемонстрирована забавная реклама с участием знаменитости. Респондентам, попавшим в нижнюю правую ячейку, покажут серьезную рекламу с участием обык­новенного человека.

ГЛАВА 7'. Эксперименты 209

Рис. 7.1. Характеристики и данные факторного плана

После просмотра всех роликов реакции участников каждой из ячеек усредняют­ся. Схема в нижней части рис. 7.1 показывает средний балл степени убедительности по каждому из уровней каждого главного эффекта (с внешней стороны ячейки) и каждой отдельной ячейки факторного плана. Средний балл каждого уровня главного эффекта "участие представителя" подсчитывается путем усреднения баллов тона рекламного ролика. И наоборот, средний балл каждого уровня главного эффекта "тон рекламного ролика" подсчитывается путем усреднения баллов по каждому "представителю". Статистический анализ данных свидетельствует о том, что ни один из главных эффектов не является значимым.

• Средний балл юмористического тона (2,4) незначимо отличается от среднего
балла за серьезный тон (2,1).

• Средний балл участия знаменитости (2,2) незначимо отличается от среднего
балла участия обыкновенного человека (2,3).

210 ЧАСТЬ II. Основные вопросы планирования рекламных исследований

Тем не менее, при визуальном изучении степени убедительности по каждой из ячеек видно, что различия все же существуют. (Сравните, например, баллы ячейки за убедительность рекламы с участием обыкновенного человека и заданным юмори­стическим тоном и баллы ячейки с участием знаменитости и заданным серьезным тоном.) Статистический анализ показывает, что существует значительный эффект взаимодействия. Средний балл убедительности в ячейке участия обыкновенного че­ловека с заданным юмористическим тоном намного выше балла, поставленного трем остальным комбинациям. Таким образом, участие того или иного представите­ля и тон рекламного ролика не влияют на убедительность рекламного ролика незави­симо. Но совместно оба этих фактора оказывают значимое влияние.

Как видим, действенность и польза факторных планов состоят в том, что благо­даря им можно определить влияние отдельных независимых переменных самих по себе, а также влияние их взаимодействия.

Внутренняя валидность: более широкий взгляд_____

Предыдущий раздел показывает, как план эксперимента воздействует на внут­реннюю валидность, предполагая или исключая альтернативные объяснения резуль­татов эксперимента. Внутренняя валидность повышается при исключении как мож­но большего числа угроз. Кроме этих конкретных аспектов внутренней валидности, Д. Крэсволь (D. Krathwohl)⁷ настаивает на том, что на внутреннюю валидность экспе­римента также влияет характер предсказаний эксперимента и его результатов. Этот более широкий взгляд на внутреннюю валидность предполагает, что внутренняя ва­лидность эксперимента повышается при следующих обстоятельствах.

1. Внутренняя валидность растет при формулировке более точных предсказаний. Бо­
лее точные предсказания предполагают указание направления и величины из­
менений, происходящих в результате экспериментального манипулирования.
"Просто предвидеть, что воздействие вызовет какой-то эффект, — самое слабое
предсказание. Более точное предсказание содержит указание на направление
эффекта, самое точное — на силу и характер изменений". Например, исследова­
телю нужно изучить связь между показом рекламы и отношением к торговой
марке. Утверждение "показ влияет на формирование отношений" — самое сла­
бое предсказание, так как не указан характер связи между показом и формиро­
ванием отношений. Более точное предсказание предполагает определение на­
правления (т.е. более интенсивный показ положительно повлияет на отношение
к торговой марке). Но самый точный и определенный прогноз указывает на ха­
рактер изменения (т.е. более интенсивный показ положительно повлияет на от­
ношение к торговой марке в том, что касается ее характеристик и качества).

2. Внутренняя валидность выше, если изменения причины влекут за собой более
сильные изменения следствий. Результаты экспериментов обычно оцениваются

⁷ Пункты, представленные в этом разделе, взяты из работы David R. Krathwohl, Social and Behavioral Science Research: A New Framework for Conceptualizing, Implementing and Evaluating Research Studies (San Francisco, CA: Jossey-Bass Publishers, 1985), p. 92-97.

ГЛАВА 7. Эксперименты 211

посредством методов статистического вывода. При этом определяется, суще­ствуют ли статистически значимые различия между условиями эксперимента. Однако не все статистически значимые различия значительны и не все значи­тельные различия статистически значимы. Поэтому исследования, доказы­вающие существенные изменения зависимой переменной (переменных), обычно влекут за собой как значимые, так и значительные результаты, повы­шая тем самым внутреннюю валидность эксперимента.

3. Внутренняя валидность выше, когда эффект воздействия полностью изменяет преобладающую тенденцию или условие, по сравнению с ситуацией, когда воздей­ствие всего лишь несколько усиливает существующую тенденцию. Эксперимент, улучшающий отношение к торговой марке со стороны тех, кто отрицательно к ней расположен, обычно имеет более высокую внутреннюю валидность, чем эксперимент, улучшающий отношение к торговой марке тех, кто уже распо­ложен к ней положительно.

Мы полностью согласны с г-ном Крэсволем и рекомендуем учитывать эти фак­торы в процессе планирования эксперимента⁸.

Условия проведения эксперимента________________

Все эксперименты направлены на достижение максимально возможного уровня внутренней валидности при ограниченных времени и смете. Однако, кроме плана эксперимента и внутренней валидности, исследователь обязан также определить оп­тимальные условия для проведения запланированного эксперимента.

Эксперименты проводятся как в лабораторных, так и в полевых условиях. Рас­смотрим, к примеру, два подхода к оценке реакции на новую упаковку.

• Участники сидят перед монитором. Им предлагается совершить
"виртуальную" прогулку по магазинам. Для "прохода" по торговым рядам ба­
калейно-гастрономического магазина используется дистанционное управле­
ние. Участники могут остановиться там, где им захочется, и "выбрать" товар,
который их заинтересовал.

• Товар в новой упаковке размещается на настоящих, не виртуальных полках
торговых рядов. У покупателей, которые прошли мимо товара, спрашивают, за­
метили ли они товар. Если да, интересуются их реакцией на новую упаковку.

Первый подход описывает лабораторный эксперимент, а второй — эксперимент в полевых, естественных условиях.

В своей работе Social and Behavioral Science Research Д. Крэсволь представляет пять дополнительных критериев для оценки внутренней валидности. Предполагается, что внутренняя валидность повышается "при контролируемом использовании причины, воздействия или побуждающих условий"; "если возможно предсказание следствия на основе комплексно сформированной причины"; "если побуждающее условие или причина могут контролироваться произвольно"; "чем шире диапазон побуждающих условий, при которых предсказания остаются в силе"; "чем больше промежуток времени между побуждающим условием и следствием, при условии, что момент возникновения следствия прогнозируется". Для более глубокого рассмотрения этих вопросов настоятельно советуем читателю ознакомиться с этой работой.

2*12 ЧАСТЬ II. Основные вопросы планирования рекламных исследований

Лабораторные эксперименты

Лабораторные эксперименты могут играть важную роль в принятии решений в области рекламы и маркетинга. Обычно лабораторные эксперименты проводятся, когда нужно оценить дизайн упаковки, уровни установленных цен, альтернативные формулировки товара, творческие разработки рекламы.

• При лабораторном тестировании упаковки используется наблюдение за дви­
жением глаз, тахистоскопия или предъявление снимков. Таким образом оце­
нивается способность разработанного дизайна привлечь внимание, пробиться
сквозь перегруженные витрины, и тем самым заявить о наименовании торго­
вой марки или предоставить другую желаемую информацию о продукте.

• Лабораторные испытания рекламной кампании могут использовать регистра­
цию психофизиологических реакций, например наблюдение за направлением
взгляда, тахистоскопию или кожно-гальваническую реакцию. Другие формы
лабораторного тестирования рекламной кампании включают: сценарные тес­
ты, когда отобранные респонденты приходят в какое-либо учреждение
(например в бизнес-центр, гостиницу или торговый центр) для просмотра
рекламы во время реальных телевизионных программ. (Использование лабо­
раторных экспериментов при оценке творческой концепции рекламного про­
дукта рассматривается в главе 23.)

• Лабораторное тестирование товара обычно предполагает использование слепого
метода. При этом потребителям раздают товары без этикетки и спрашивают их
мнение о характеристиках и привлекательности товара. Хотя слепое тестирова­
ние довольно информативно, все же оно вводит в заблуждение, если в наимено­
вании торговой марки содержатся многозначительные и побудительные намеки
для потребителя, как в случае с Coca-Cola и новой торговой маркой Соке.

Полевые эксперименты

Рекламисты используют полевые эксперименты или эксперименты на местах продаж для получения ответов на вопросы, касающиеся внедрения новых товаров, упаковки то­вара, содержания рекламы, набора средств рекламы, расходов на рекламу. Например'.

• Компания Brown-Forman Beverages Worldwide проводила тестирование новой
линии коктейлей под названием "Заморозки в тропиках" в Бирмингеме,
Сент-Луисе, Фениксе и Хьюстоне¹⁰.

• Компания Sega of America провела тестирование совместного с компаниями
Blockbuster Enterntainment и IBM предприятия по прокату видеоигр. Тест прово­
дился на одном из рынков юго-запада и продолжался около четырех месяцев".

Кроме приведенных выше примеров, см. также работы "Will KFC's Latest Spawn a Big Chance?", Restaurant Business, June 10, 1993, p. 23-24; Don Nichols, "Taco Bell Expands All Night Test in Seattle", Restaurant Business, May 1, 1993, p. 30; Michael J. McCarthy, "PepsiCo is Set to Test Two Lines of Fruit Flavored Drinks This Week", Wall Street Journal, April 22, 1993, p. B6.

Eric Hollreiser, "New Products: Brown-Forman Tests New Markets for Wine Based Drinks", Brandweek, October 24, 1994, p. 4.

ГЛАВА 7. Эксперименты 213

• Компания Coors Brewing провела тестирование торговых марок легкого и свет­
лого пива повышенного качества в Канзасе и Оклахоме. Тестирование было
разработано с целью определить, будет ли способствовать внедрение этих то­
варов увеличению доли компании Coors на рынке недорогих марок пива¹².

• Компания Perrier инициировала создание пробного рынка для своей новой
торговой марки — готового к употреблению холодного чая под названием
Celestial Seasons. Пробный рынок организован в Далласе, Денвере, Хьюстоне,
Майами, Сан-Франциско и Тампе. Тестирование товара проводится при ши­
рокой рекламной поддержке на ТВ, радио, а также наружной рекламы".

• Компания Evian провела тестирование работы своих торговых автоматов, про­
дающих воду в бутылках на пляжах, в оздоровительных центрах, на террито­
риях колледжей в Нью-Йорке, Далласе, Бостоне, Лос-Анджелесе и Фениксе.
В автоматах продается вода в маленьких бутылках емкостью по 11,2 или 16,9
унций (1 унция — 28,35 грамма). Цена на товар была установлена в соответст­
вии с ценами в местных торговых центрах¹⁴.

Проведение подобных экспериментов на местах продаж часто дорого стоит и зани­мает много времени. Но эти недостатки компенсируются обстановкой "реальности", в которой проводится эксперимент. Рекламисты могут быть уверены, что результаты хо­рошо спланированного и проведенного рыночного эксперимента станут своеобраз­ным путеводителем при принятии решений, направленных на расширение рынка.

Полевые и лабораторные эксперименты: вопросы внешней

валидности

Внешняя валидность имеет отношение к репрезентативности и обобщаемости результатов эксперимента¹*. Высокая степень внешней валидности вселяет в нас уве­ренность в том, что выводы относительно обнаруженной зависимости

можно обоснованно распространить на других респондентов, ситуации, независимые пе­ременные или способы организации воздействия, измерительные инструменты, время проведения, планы и методы исследований, и других приемлемых интерпретаций фактов в плане общности не существует¹⁶.

При проведении лабораторных экспериментов исследователи имеют широкие воз­можности контроля, так как они в состоянии планировать физические условия осуще­ствления экспериментов и могут манипулировать "одной или несколькими независи­мыми переменными в строго заданных, детально описанных и контролируемых усло-

¹¹ Jeffrey D. Zbar, "Hey Kids! It's Sega On Demand", Advertising Age, June 6, 1994, p. 2.

"Wall Street Journal Staff, "Coors to Test Market Lower Priced Beer in Kansas, Oklahoma", Wall Street Journal,

August 11,1994, p. A4.

"Terry Lefton, "Test Markets: Perrier, Celestial Sample Teas", Brandweek, July 13, 1993, p. 10.

¹⁴ Larry Jabonsky, "Evian Tests Vending Waters", Beverage World, March 1993, p. 76.

"Robert J. Kibler, "Basic Communication Research Considerations", In Philip Emmert, William D. Brooks (ed.),

Methods of Research Communication (Boston, MA: Houghton Mifflin Company, 1970), p. 9—SO.

" David R. Krathwohl, Social and Behavioral Research, p. 113.

214 ЧАСТЬ И. Основные вопросы планирования рекламных исследований

виях"". Однако искусственность обстановки проведения лабораторных экспериментов часто создает среду, резко отличающуюся от реальных условий. В лабораторных усло­виях реакция респондентов на действие независимой переменной может отличаться от реакции на нее же, но в более естественных условиях. Как следствие, хорошо разрабо­танные лабораторные эксперименты обычно обладают высокой степенью внутренней валидности и относительно низкой степенью внешней валидности. Полевые экспери­менты, проводимые в естественных условиях, наоборот, часто обладают относительно низкой внутренней валидностью (так как не все факторы можно изолировать или кон­тролировать), но более высокой внешней валидностью.

Контроль угроз для внешней валидности

Исследователями установлено существование двух основных угроз для внешней валидности эксперимента. Разработка эксперимента, предполагающего контроль этих угроз, увеличивает внешнюю валидность.

Угроза смоделированной ситуации имеет место в том случае, если выборка или экспе­риментальная манипуляция не представляют все население или условия, на которые по­лученные результаты обобщаются. Например, угроза смоделированной ситуации возни­кает, когда эффект рекламы определяется путем принудительного показа в лабораторной обстановке. Ситуация просмотра в экспериментальных условиях явно отличается от до­машних условий. К счастью, этот тип угроз смоделированной ситуации для внешней ва­лидности может быть устранен или сведен к минимуму благодаря формированию соот­ветствующей выборки исследований (подробнее об этом будет говориться в следующей главе) и контролированию характеристик экспериментального воздействия.

Угроза реагирования возникает в том случае, если неестественность эксперимен­тальной ситуации или поведения экспериментатора меняет поведение респондента так, что он реагирует на саму экспериментальную ситуацию, а не на независимую пе­ременную. Этот тип угрозы связан, прежде всего, с лабораторными экспериментами. Угроза реагирования может появиться, если респонденты пытаются угадать характер и цель эксперимента и действуют соответствующим образом (положительно или отри­цательно), или когда они стараются вести себя так, как, по их мнению, требуется экс­периментатору. Существуют два типа угроз реагирования. Каждый из них может быть уменьшен, если структура эксперимента контролируется.

• Угроза реагирования, обусловленная экспериментальной ситуацией, умень­
шается с устранением подсказок, указывающих на цель исследований или ти­
пы поведения, "ожидаемые" со стороны респондента.

• Угроза реагирования, обусловленная экспериментатором, снижается, если его
поведение контролируется. Эти угрозы могут быть сведены к минимуму бла­
годаря тщательной подготовке экспериментатора, созданию эксперименталь­
ных инструкций (например сценария общения с каждой из групп респонден­
тов) и обострению чувствительности экспериментатора к невербальным сиг­
налам и подсказкам.

¹ F.N. Kerlinger, Foundations of Behavioral Research (New York, NY: Holt, Rinehart and Winston, Inc., 1973), p. 398.

ГЛАВА 7. Эксперименты 215

Применение результатов экспериментов: создание
пробных рынков__________________________ ₌₌₌₌^

Эксперименты в области рекламы направлены на изучение широкого спектра вопросов. Эксперимент, проводимый на пробном рынке, дублирует запланирован­ные или возможные на общенациональном уровне действия. Затем результаты этих действий оцениваются с точки зрения их влияния на деловую активность (например на продажу и распространение) и на потребителя (установки, восприятие марки). Пробный маркетинг представляет собой "осторожный и весьма предусмотритель­ный шаг"" при оценке внедрения нового товара, альтернатив стратегии и рекламных кампаний до проведения общенациональной кампании. Тем самым обеспечивается возможность оценки альтернативных вариантов действия без финансовых инвести­ций в программу, реализуемую в масштабе всей страны.

В этом разделе описываются три типа экспериментов на пробном рынке: проб­ные рынки на местах продаж, смоделированные пробные рынки и электронные пробные рынки. Обсуждение этих вариантов обеспечивает основу для понимания того, как планировать и проводить эксперименты, а также как рекламисты находят компромисс между внутренней и внешней валидностью экспериментов.

Пробные рынки на местах продаж

Эксперимент на местах продаж проводится, естественно, на рынке. Некоторые факторы рекламист в состоянии контролировать, некоторые — нет. В результате хо­рошо спланированный эксперимент на местах продаж обычно имеет довольно вы­сокий уровень внешней валидности и средний уровень внутренней валидности.

Успех эксперимента на пробном рынке в большой степени зависит от выбора географических зон. Обычно проводится целенаправленный отбор географических областей с целью получить репрезентативные, сопоставимые города или иные за­данные географические единицы. Ниже предлагаются критерии оценки и выбора географических зон пробного рынка для проведения эксперимента".

• Следует выбирать рынки, которые ранее не использовались для тестовых ис­
следований.

• Предпочтение отдается типичным рынкам. Не следует выбирать рынки, где
продажа или участие какой-либо категории развиты или слишком хорошо,
или очень плохо.

• Доли торговой марки (как тестируемой, так и марки конкурентов) на рынке
должны быть типичными для всей категории товара.

• Рынки должны быть относительно изолированы с точки зрения распростра­
нения средств рекламы. Необходимо, чтобы присутствие средств рекламы со
стороны других рынков было минимальным.

" Rene Y. Darmon, Michel Laroche, K. Lee McGowan, Marketing Research In Canada (Scarborough, Ontario,

Canada: Gage Educational Publishing Company, 1989), p. 371.

"F. Ladik, L Kent, P.C. Nahl, "Test Marketing of New Consumer Products", Journal of Marketing, April 1960, p. 40.

216 ЧАСТЬ II. Основные вопросы планирования рекламных исследований

• Использование средств рекламы должно соответствовать таковому в целом по
стране.

• Рынки должны быть средними: не слишком маленькими и не слишком боль­
шими.

• Демографическая структура рынков должна быть сопоставимой и соответст­
вовать демографической структуре страны.

После того как потенциальные рынки выбраны, на следующем этапе экспери­мента они распределяются по экспериментальным условиям. При этом рекоменду­ется, чтобы на каждое экспериментальное условие приходилось, по крайней мере, два рынка. Кроме того, если желательно обобщать результаты на всю страну, каждая из экспериментальных и контрольных групп должна включать четыре рынка, по од­ному из каждого географического региона страны.

В заключение рассматриваются вопросы затрат времени и средств. Типичный проб­ный рынок может проводиться в пределах от месяца до года и более. На продолжитель­ность конкретного теста влияют следующие эмпирически установленные правила.

• Тест длится столько времени, сколько необходимо для наблюдения и измере­
ния достаточного числа повторяющихся циклов покупок. В целом, чем короче
цикл покупок, тем меньше длится тест.

• Продолжительность теста не должна угрожать успеху проведения программы про­
движения продукта или маркетинговой программы на общенациональном уровне.

• Ценность информации, получаемой в результате проведения теста, должна
быть соизмерима с ресурсами, затраченными на ее получение. Продолжи­
тельные тесты стоят дороже, поэтому дополнительные выводы, полученные в
результате дополнительно потраченного на проведение теста времени, долж­
ны быть оправданы затратами, необходимыми для их приобретения.

Приведенный ниже пример наглядно иллюстрирует эти общие правила пробного маркетинга на местах продаж.

---

Дата добавления: 2015-07-16