Стадия 3.

Провести

оценку

и пересмотр

индикаторов

Рис. 12.1. Основные этапы процесса измерения

336 ЧАСТЬ IV. Количественные исследования и анализ их результатов

Разработка операционального определения. Идентифицировав понятие и сформу­лировав его концептуальное определение, переходят к разработке операционального определения. В операциональном определении понятие переводится на язык одного или нескольких наблюдаемых событий, эксплицитно описывающих наиболее важ­ные, поддающиеся наблюдению, определяющие свойства понятия. Операциональ­ное определение служит своеобразным мостом между абстрактным, теоретическим понятием и процессом сбора данных в реальном мире.

Если по существу концептуального определения исследователи зачастую много не дебатируют, то по поводу операционального определения часто возникают самые различные мнения. Отличающиеся друг от друга операциональные определения — результат различного видения исследователями предмета. Во врезке 12.1 приведен пример того, как общепринятое концептуальное определение может вести к не­скольким различным операциональным определениям. Данный пример показывает, как несколько исследователей, начинавших с одного и того же концептуального оп­ределения отношения к рекламному объявлению — "предрасположенности к поло­жительной или отрицательной реакции на определенный рекламный стимул при контакте с ним в определенной ситуации", избрали различные пути разработки опе­рационального определения.

Несмотря на различия операциональных определений, приведенных во врезке 12.1, вместе они иллюстрируют этап перехода от интересующего исследователя понятия к операциональному определению. Основные задачи этого процесса таковы².

1. Укажите интересующую область. В данном примере областью или понятием,
представляющим интерес, служит отношение к рекламному объявлению.

2. Обдумайте интересующее вас понятие. Спросите себя: "Что я подразумеваю
под данным понятием? Что другие имеют в виду, когда говорят о данном по­
нятии?" В нашем примере ответы на эти вопросы привели к концептуальному
определению "предрасположенность к положительной или отрицательной ре­
акции на определенный рекламный стимул при контакте с ним в определен­
ной ситуации". Самая важная часть данного концептуального определения —
конкретизация ответной реакции как "положительной" или "отрицательной".

3. Выделите основные составляющие операционального определения. Спросите
себя: "Могу ли я наблюдать [концептуальное определение понятия] и каким
образом? Как другим удавалось наблюдать [концептуальное определение]?" В
нашем примере ответ на эти вопросы требует указания на то, каким образом
положительная или отрицательная предрасположенность может быть опера-
ционализирована или конкретизирована.

4. Оцените и выберите один или несколько вариантов, выработанных на преды­
дущем этапе. Отобранный вариант (варианты) и будет вашим операциональ­
ным определением. Так, в данном примере в первом операциональном опре­
делении (см. врезку 12.1) уточняется, что предрасположенность к положи­
тельной или отрицательной реакции на объявление можно проследить, спра-

² Описанный процесс воспроизведен по работе G.A. Churchill, Jr., "A Paradigm for Developing Better Measures of Marketing Constructs", Journal of Marketing Research, February 1979, p. 64—73.

ГЛАВА 12. Измерение в рекламных исследованиях 337

шивая респондентов о пяти аспектах их отношения к рекламному объявле­нию: хорошее/плохое, интересное/скучное, творческое/нетворческое, понра­вилось/не понравилось, информативное/неинформативное.

Врезка 12.1.

Примеры операционального определения "отношения к рекламному объявлению"

Интересующее понятие: отношение к объявлению.

Концептуальное определение: предрасположенность к положительной или отрицательной реакции на определенный рекламный стимул при контакте с ним в определенной ситуации.

Операциональные определения: свидетельством положительного или отрицательного отношения к объявлению будут выступать следующие характеристики:

• пять характеристик отношения: хорошее/плохое, интересное/скучное, творче­
ское/нетворческое, понравилось/не понравилось, информативное/неинформативное*;

• четыре характеристики отношения: хорошее/плохое, нравится/не нравится, не раздра­
жает/раздражает и интересное/неинтересное⁶;

• две характеристики отношения: положительное мнение/отрицательное мнение и хоро­
шее/плохое*;

• тринадцать характеристик отношения: приятное/неприятное, изысканное/вульгарное,
может нравиться/не может нравиться, интересное/скучное, сделано со вку­
сом/безвкусное, развлекательное/ не развлекательное, хорошо выполненное/плохо вы­
полненное, известное/новое, хорошее/плохое, неоскорбительное/оскорбительное,
правдоподобное/неправдоподобное, убедительное/неубедительное и информатив­
ное/неинформативное'.

"Gabriel Biehal, Debra Stephens, Eleonora Curio, "Attitude Toward the Ad and Brand Choice", Journal of Advertising, 21, 1992, p. 19-36.

⁶ Meryl P. Gardner, "Does Attitude Toward the Ad Affect Brand Attitude Under a Brand Evalua­tion Set?", Journal of Marketing Research, 22, May 1995, p. 192-198.

" Mita Sujan, James R. Bettman, Hans Baumgartner, "Influencing Customer Judgement Using Autobiographical Memories: A Self-Referencing Perspective", Journal of Marketing Research, 30, November 1993, p. 422-436.

^r Sunendra N. Singh, Catherine H. Cole, "The Effect of Length, Content and Repetition on Tele­vision Commercial Effectiveness", Journal of Marketing Research, 30, February 1993, p. 91-104.

Вторая стадия: укажите наблюдаемые события

Ha второй стадии процесса измерения устанавливаются конкретные наблюдае­мые события (индикаторы). Здесь исследователь определяет характер требующейся информации и ищет наиболее приемлемые пути ее сбора. В конечном итоге вырисо­вывается реальный вопрос исследования или разрабатывается инструментарий для сбора данных (т.е. наблюдаемое событие).

Определите соответствующий уровень измерения. Характер информации, полу­чаемой при помощи того или иного наблюдаемого события, такого, например, как анкетный вопрос, зависит от его уровня измерения. Выделяют четыре уровня измере­ния или шкапы: номинальный, порядковый, интервальный и отношений. В табл. 12.1

338 ЧАСТЬ IV. Количественные исследования и анализ их результатов

приведены формы применения и определены свойства каждого уровня измерения, а также перечислены типы вопросов, характерных для каждого уровня. Заметьте, ин­формация на каждом последующем уровне измерения содержит всю информацию, полученную на более низких уровнях. При этом она отличается от информации пре­дыдущего уровня дополнительными свойствами. (Каждому уровню измерения также соответствуют определенные методы анализа данных. Методы анализа, адекватные для каждого уровня измерения, изложены в главах 15 и 16.)

Номинальный уровень измерения. Измерение на номинальном уровне очень часто используется при проведении исследований в области рекламы и маркетинга. К но­минальному измерению прибегают, когда целью исследования является только клас­сификация наблюдений на основании измеряемых характеристик или признаков. Измерение номинального уровня классифицирует, относя каждый уровень изме­ряемого свойства к отдельной категории, например:

УКАЖИТЕ ПОЛ РЕСПОНДЕНТА

Мужской___________ (1) Женский____________ (2)

С помощью данного измерительного инструмента номинального уровня респон­дентов относят к одной из двух категорий на основе принадлежности к одному из двух полов: мужскому или женскому.

Таблица 12.1. Уровни измерения

ГЛАВА 12. Измерение в рекламных исследованиях 339

Номинальный уровень измерения обладает тремя основными характеристиками, каждая из которых иллюстрируется вышеприведенным примером. Во-первых, ка­тегории при номинальном измерении являются взаимоисключающими и исчерпы­вающими. Это означает, что каждый уровень свойства или признака соответствует одной и только одной категории, и всегда найдется такая категория, которой он со­ответствует. В данном примере категории являются взаимоисключающими (никто не может быть и мужчиной, и женщиной) и исчерпывающими (каждый должен быть либо мужчиной, либо женщиной, других вариантов нет). Во-вторых, для проведения анализа каждой категории ответов присваивают числа. Таким образом, в нашем примере числом " 1" представлена категория лиц, классифицированных по полу как "мужчины", а числом "2" — категория лиц, классифицированных как "женщины". В-третьих, номинальное измерение предполагает внутреннюю эквивалентность ка­тегорий. Иными словами, все предметы, отнесенные к одной и той же категории и представленные одним и тем же числом, одинаковы. Например, если речь идет о по­ле респондента, предполагается, что все лица, классифицированные как "1", явля­ются мужчинами и в этом отношении эквивалентны всем другим лицам, классифи­цированным таким же образом.

Порядковый уровень измерения. В ходе измерения на порядковом уровне значения упорядочиваются по величине вдоль некоторой явно заданной оси измерения, обычно от большего к меньшему. Например.

Вы только что попробовали пять безалкогольных напитков. Оцените их вкус. Название каждого безалкогольного напитка указано ниже. Поставьте "1" напротив названия безал­когольного напитка, вкус которого вы предпочитаете всем другим, "2" — напротив назва­ния второго, который вам нравится чуть меньше, и так — до "5". Это число присваивается наименее предпочитаемому вами напитку. Каждое из чисел от 1 до 5 используйте только один раз (повторения не допускаются).

Соке ________

Dr. Pepper

Pepsi

Seven-Up

Sunkist

В данном задании респондентам предлагают проранжировать (т.е. расставить по порядку) пять безалкогольных напитков согласно вкусовым предпочтениям (ось изме­рения) от наиболее вкусного напитка к наименее вкусному (от большего к меньшему).

Участник опроса может это задание выполнить таким образом:

Соке
Dr. Pepper
Pepsi
Seven-Up
Sunkist

340 ЧАСТЬ IV. Количественные исследования и анализ их результатов

Числа, присваиваемые респондентом на порядковом уровне, отличаются от чи­сел, используемых на номинальном уровне. На порядковом уровне числа обладают определенным математическим значением, т.е. указывают положение объекта отно­сительно других объектов на оси измерения, представляющей интерес для исследо­вателя. Анализ ответов в данном примере позволяет сделать вывод, что этому чело­веку больше всего нравится вкус Соке и меньше всего — вкус Sunkist.

Таким образом, с помощью меры порядкового уровня можно получать представ­ление об относительном положении упорядоченных значений, т.е. о степени выра­женности значения порядковой меры. Однако порядковые измерения не могут слу­жить основанием для определения относительного расстояния между ранжированными объектами. При выполнении приведенного в примере задания возникает искушение посчитать разницу во вкусовом предпочтении между Соке и Seven-Up (находящихся на 1-м и 2-м местах соответственно) такой же, как и во вкусовом предпочтении меж­ду Seven-Up и Pepsi (2-е и 3-е места соответственно). В конце концов, в "реальном мире" расстояние между числами 1 и 2 такое же, как и между числами 2 и 3. Но такая интерпретация будет ошибочной. На порядковом уровне измерения числа— это символы, обозначающие место объекта в упорядоченном ряду. Как таковые, они не пригодны для математических действий вроде сложения и вычитания.

Интервальный уровень измерения. Интервальное измерение обладает всеми харак­теристиками порядкового, однако имеет одно дополнительное свойство: расстояния между любыми двумя соседними делениями шкалы (или числами, их представляю­щими) эквивалентны. Следовательно, интервальное измерение позволяет выяснить относительный порядок объектов и расстояние между ними.

Наглядным примером интервальной шкалы служит термометр. Разница темпера­тур между 34°С и 35°С такая же, как и разница температур между 64°С и 65°С. Время также измеряется по интервальной шкале. Временной период между 1901 и 1903 годами равен временному периоду между 1979 и 1981 годами. Следовательно, на уровне интервальных измерений находит отражение формальное свойство равных различий; т.е. позициям объектов на интервальной шкале присваивают числа так, чтобы они имели математическое значение, и ими можно было манипулировать с помощью арифметических операций, таких как сложение и вычитание.

Некоторые интервальные шкалы, например шкала температуры или летоисчис­ление, интуитивно понятны. Здравый смысл подсказывает, что не требуется ника­ких специальных предположений относительно эквивалентности расстояний на та­ких шкалах. Другие шкалы, если они построены верно, обладают эквивалентностью интервалов между точками на шкале, даже если такое равенство нельзя проверить явным образом. Пример.

Вы только что увидели рекламу шампуня. Как бы вы оценили убедительность именно этого рекламного ролика по сравнению с другими рекламными роликами шампуней?

Очень убедительный Скорее убедительный, чем нет Скорее не убедительный Абсолютно не убедительный

.(1).(2).(3).(4)

ГЛАВА 12. Измерение в рекламных исследованиях 341

Этот тип шкалы предполагает, что варианты ответов представляют собой конти­нуум, где расстояния между делениями равны. (Для целей анализа данных каждая точка шкалы нумеруется по порядку.) В приведенной шкале предполагается, что расстояние между "очень убедительный" и "скорее убедительный" такое же, как и расстояние между "скорее убедительный" и "скорее не убедительный". Следова­тельно, расстояние между числом "1", под которым закодирована категория "очень убедительный", и числом "2", которое представляет категорию "скорее убедитель­ный", такое же, как и расстояние между числом "2" и "3".

На интервальном уровне измерения исследователь обладает большими возмож­ностями, чем на предыдущих уровнях. Пользуясь измерением такого типа, можно получить те же выводы, что и в ходе осуществления порядковых и номинальных из­мерений, а также иметь дополнительную информацию о расстоянии между объекта­ми. Существует, однако, одно ограничение интервальных измерений с точки зрения интерпретации. Так как интервальное измерение имеет не абсолютную, а произ­вольно выбранную нулевую точку, на его основе нельзя дать относительную оценку. Мы знаем, например, что мир был на 500 лет старше в 1000 году по сравнению с 500 годом, однако не можем утверждать, что он был в два раза старше в 1000 году, чем в 500 году. В этом примере, как и при проведении интервального измерения, от­сутствует возможность относительной оценки. На основе интервальной шкалы нельзя сделать вывод о том, что один вариант ответа характеризуется вдвое большим количеством измеряемого свойства (такого, как предпочтение), чем другой вариант, даже если этим вариантам присвоены числа "4" и "2" соответственно.

Уровень (шкала) отношений. Как показано в табл. 12.1, измерению на уровне от­ношений присущи все особенности номинального, порядкового и интервального из­мерений. Отличительная черта этого уровня состоит в том, что исследователь полу­чает средство для сравнения величин. Возможность сравнивать величины следует из того, что для шкалы отношений расстояния между делениями шкалы равны (как при интервальном измерении), и нулевая точка выбрана не произвольно.

Распространенной формой шкалы отношений является шкала постоянной сум­мы. Респонденту называют некоторую сумму баллов и предлагают разделить ее меж­ду объектами в соответствии с определенным критерием. Пример.

Рассмотрим причины, по которым вы покупаете определенную детскую кашу. Многие из них перечислены ниже. Нам интересно узнать, насколько эти причины влияют на ваше решение купить ту или иную кашу. Представьте, что у вас есть 100 баллов. Разделите их между указанными ниже пунктами так, чтобы отразить относительную важность каждой причины. Чем больше баллов вы присваиваете какой-либо из причин, тем большее значе­ние для вас она имеет. Вы можете присваивать каждой причине сколько угодно баллов, но их сумма в общем итоге должна составлять 100.

Полностью натуральные ингредиенты

Детям она нравится

Содержит фрукты

Низкая цена

Мало/не содержит жиров

ВСЕГО 100

342 ЧАСТЬ IV. Количественные исследования и анализ их результатов

Как иллюстрирует данный пример, числа на шкале отношений указывают на ко­личество измеряемого свойства. Ноль при относительном измерении означает абсо­лютное отсутствие измеряемой характеристики или свойства. Типичным примером характеристик или свойств, измеряемых на относительном уровне, являются осве­домленность о рекламе, количество увиденных за последние 24 часа рекламных ро­ликов и количество покупателей марки.

Подводя итог: выбор уровня измерения. Как видим, при использовании каждого из четырех уровней измерения можно получить информацию разного типа. Как же оп­ределить уровень измерения, соответствующий конкретному случаю?

Уровень измерения определяют по измеряемой характеристике или свойству и необходимой степени детализации. Однако, поскольку более высокие уровни изме­рения обеспечивают получение той же информации, что и более низкие уровни, об­щепринятое практическое правило гласит: старайся собирать информацию на наивыс­шем возможном уровне измерения. Например, при определении возраста респондента можно воспользоваться как номинальной, так и относительной шкалой.

Номинальный уровень³: К какой из следующих возрастных групп вы относитесь?

До 18 лет	(1)
18-29 лет	(2)
30-39 лет	(3)
40-49 лет	(4)
50-59 лет	(5)
60-69 лет	(6)
70 истарше	(7)
Уровень отношений: Сколько вам лет?

Обратите внимание, что, группируя лиц по возрасту на номинальном уровне, ис­следователь получает лишь частичную информацию о респондентах. Так, нельзя точно установить возраст человека, который отнес себя к возрастной группе от 18 до 29 лет. Шкала отношений обеспечивает более подробную информацию, которую всегда можно сгруппировать (категоризовать) так, чтобы она была эквивалентна но­минальным данным. К тому же данные, полученные на уровне отношений (в отли­чие от данных номинального измерения), можно анализировать с помощью более мощных статистических методов (см. главу 16). Следовательно, относительный уро­вень более пригоден для сбора информации о возрасте, так как обладает большими возможностями наивысшего уровня измерения.

Определение соответствующего формата вопросов. Дав понятиям операциональные определения и установив необходимый уровень измерения, переходят к составлению конкретных вопросов и выбору методов наблюдения, с помощью которых будет соби­раться и фиксироваться необходимая информация. Перед тем как составить конкрет­ный вопрос или выбрать определенный инструмент наблюдения, отражающий опера­циональное определение понятия, необходимо установить, какой тип вопроса лучше использовать, чтобы получить нужную информацию: открытый или закрытый.

³ В этом примере с автором трудно согласиться, поскольку данный вопрос представляет собой порядковое измерение. (Прим. науч. ред.)

ГЛАВА 12. Измерение в рекламных исследованиях 343

Отвечая на открытый вопрос, респондент имеет возможность выразить мысль своими словами, не пользуясь заранее подготовленным набором ответов. Приведем примеры типичных открытых вопросов.

Расскажите своими словами, что говорилось в рекламном ролике о рекламируемом товаре или как рекламируемый товар был показан.

Как вы думаете, в чем заключаются главные преимущества средства по уходу за волосами "два в одном" (шампунь и кондиционер)?

Почему вы прекратили давать своему ребенку детский аспирин?

Открытые вопросы имеют несколько преимуществ перед закрытыми вопросами. Во-первых, и это самое главное, человек имеет возможность ответить на открытый вопрос своими словами, т.е. сказать именно то, что думает. На него никто не оказы­вает влияния, как в ситуации, когда он должен выбирать ответ из заранее составлен­ного списка вариантов. Таким образом, открытые вопросы хорошо использовать в случаях, когда нельзя (или нежелательно) дать список возможных вариантов отве­тов. Во-вторых, с помощью открытых вопросов можно получить информацию для интерпретации ответов на закрытые вопросы.

1. Воспользуйтесь приведенной ниже шкалой, чтобы указать, насколько вам понравился или не понравился рекламный ролик, который вы только что видели.

Очень понравился (1) ПЕРЕХОДИТЕ К ВОПР.2

Скорее понравился (2) ПЕРЕХОДИТЕ К ВОПР.2

Скорее не понравился (3) ПЕРЕХОДИТЕ К ВОПР.4

Очень не понравился (4) ПЕРЕХОДИТЕ К ВОПР.4

2. Что вам особенно понравилось в рекламном ролике?

3. Что, если такое было, вам не понравилось в рекламном ролике?
ПЕРЕХОДИТЕ К ВОПР.6

4. Что вам особенно не понравилось в рекламном ролике?

5. Что, если такое было, вам понравилось в рекламном ролике?

6. ПРОДОЛЖЕНИЕ ИНТЕРВЬЮ

В-третьих, открытые вопросы являются оптимальным способом предварять (вводить) тему. После того как респондент ознакомлен с темой, последующие во­просы анкеты могут сужать и уточнять обсуждение. Наконец, открытые вопросы обычно составлять легче, чем закрытые, поскольку вам не нужно заранее знать пере­чень всех возможных ответов.

Хотя преимущества открытых вопросов очевидны, вопросы такого типа имеют и целый ряд недостатков. Во-первых, ответы респондентов могут оказаться неполны­ми, не соответствовать цели исследования или просто быть непонятными. Во-вторых, исследователю понадобится больше времени на проведение опроса, содер­жащего открытые вопросы, а от респондента потребуются более развитые вербаль­ные способности для письменного выражения своих мыслей. В-третьих, и это самое важное, анализ ответов на открытые вопросы занимает больше времени и проводить его сложнее, чем анализ ответов на закрытые вопросы.

344 ЧАСТЬ IV. Количественные исследования и анализ их результатов

К закрытым вопросам дается перечень всех возможных вариантов ответа. Следо­вательно, по сравнению с открытыми закрытые вопросы обычно:

• не вызывают такого широкого разброса в ответах;

• легче для респондента;

• обеспечивают возможность более быстрой обработки;

• удобнее для проведения анализа.

Относительные преимущества закрытых и открытых вопросов служат основой при определении того, какой из них является наиболее подходящим в конкретной исследовательской ситуации.

Дополнительными соображениями, влияющими на выбор типа вопросов, служат уровень знаний исследователя и готовность респондента. Использовать закрытые вопросы следует только в том случае, если вы уверены, что сможете охватить все ва­рианты ответа. Когда респондентам предоставляют список ответов, они обычно ис­пользуют его; если список неполный, вероятность того, что исследование даст иска­женные результаты, существенно возрастает. Кроме того, ошибки возникают не только из-за невозможности предоставить все варианты ответов: закрытые вопросы могут навести респондента на ответ. Если целью измерения является оценка незави­симого припоминания, мнения или отношения, лучше использовать открытые во­просы. Закрытые вопросы используются, когда целью измерения является стимули­рование припоминания, мнения или отношения. Разница между независимым и стимулированным измерениями, в данном случае — осведомленности о рекламе, иллюстрируется следующим примером.

Осведомленность о рекламе без подсказки:

Припоминание рекламы с подсказкой:

Вспомните рекламу, которую вы видели или слышали на прошлой неделе. Пожалуйста, назовите рекламу любых батареек, представляемых как "экологически безопас­ные" или "менее вредные для окружающей среды".

Вспомните всю рекламу, которую вы видели или слыша­ли на прошлой неделе. Реклама каких перечисленных ниже батареек (если такая вообще была) представляла их как "экологически безопасные" или "менее вредные для окружающей среды".

Energizer	m
Eve ready	(2)
Ray-O-Vac Другие (укажите)	(3)
(4)

ГЛАВА 12. Измерение в рекламных исследованиях 345

Третья стадия: проведите оценку и пересмотр индикаторов

Разработка инструмента измерения. Открытые и закрытые вопросы обеспечивают различные средства сбора необходимой информации. Выбрав формат вопросов, лучше всего соответствующий удовлетворению конкретной потребности в инфор­мации, следует перейти к составлению вопросов. Следующая глава содержит под­робное руководство по разработке открытых и закрытых вопросов.

Оценка и внесение изменений в инструментарий. Тот или иной вопрос инструмента позволит получить полезную и точную информацию только в том случае, если он надежен и валиден. Следовательно, перед началом исследований необходимо осу­ществить пилотажное исследование для оценки надежности и достоверности всех средств измерения. Надежность характеризует степень, в какой вопрос или иная процедура измерения дают те же самые результаты при повторных измерениях. Ва-лидность характеризует степень, в какой вопрос или иная процедура измерения в действительности измеряет то, что предполагалось измерить.

Определение надежности и валидности инструмента — решающий этап процесса измерения. Во врезке 12.1 сказано, что при проведении реальных исследований не­обходимо пользоваться только надежными и валидными измерительными инстру­ментами. Ненадежные или невалидные инструменты следует пересмотреть и затем подвергнуть повторной оценке с точки зрения возможности обеспечить надежность и валидность перед тем, как использовать в исследовании.

Надежность. Надежность — это степень стабильности измерения, где под ста­бильностью подразумевают отсутствие случайных ошибок и согласованность резуль­татов при многократном применении измерительного инструмента. Для определе­ния надежности отдельных вопросов можно воспользоваться методом тест-ретест и методом альтернативных форм.

Метод тест-ретест — один из наиболее популярных способов определения на­дежности отдельного вопроса. Чтобы оценить надежность вопроса, его повторно предъявляют в одних и тех же условиях участникам той же группы. Затем результаты двух предъявлений сравнивают. Чем больше сходство ответов двух предъявлений, тем выше надежность вопроса. Представьте, что анкета, предъявленная респондентам в ходе проведения исследований 1-го и 14-го февраля, содержала задания: упорядочить названия пяти марок замороженных обедов согласно их ценности (порядковое изме­рение); оценить по шкале вкус пяти марок замороженных обедов (интервальное изме­рение). Порядковое измерение будет иметь ретестовую надежность, если относитель­ный порядок в обоих предъявленьях будет совпадать. В то же время, интервальное из­мерение будет иметь ретестовую надежность, если будут совпадать относительный по­рядок и относительное расстояние между марками на шкале.

Метод оценки надежности с помощью альтернативных форм похож на метод тест-ретест тем, что в нескольких предъявленьях участвуют одни и те же лица. Одна­ко первый отличается от второго немаловажным аспектом: при повторном испыта­нии респондентам предлагают альтернативную форму вопроса. Поскольку обе фор­мы вопроса создаются для измерения одного и того же явления, надежность оцени-

346 ЧАСТЬ IV. Количественные исследования и анализ их результатов

вается путем сравнения ответов на две формы. Чем больше соответствие ответов на обе формы, тем выше надежность⁴.

Существуют случаи, когда операциональное определение основывается на не­скольких индикаторах, или когда необходимо обеспечить большую чувствительность шкалы, чем та, которую можно получить с помощью одного вопроса. Ранее в этой гла­ве упоминалось, что при измерении отношения к рекламному объявлению может воз­никнуть необходимость задать несколько сходных, но все же отличающихся вопросов. Набор вопросов считается надежным, если ответам присуща внутренняя согласован­ность. Рассмотрим несколько вопросов, которые использовались для измерения от­ношения потребителей к знаменитости, рекламирующей качество товара⁵.

Перед вами 5 шкал. Выразите с их помощью свое отношение к знаменитости, которую вы только что видели в рекламе. Сделайте пометку в том месте шкалы, которое лучше всего отражает испытываемые вами чувства.

Знаменитость выглядела...

Привлекательно								Непривлекател
Убого	(1)	(2)	(3)	(4)	(5)	(6)	(7)	Роскошно
Прекрасно	(1)	(2)	(3)	(4)	(5)	(6)	(7)	Отвратительно
Элегантно	(1)	(2)	(3)	(4)	(5)	(6)	(7)	Безвкусно
Несексуально	(1)	(2)	(3)	(4)	(5)	(6)	(7)	Сексуально

(1) (2) (3) (4) (5) (6) (7)

Данный набор шкал будет иметь высокую внутреннюю согласованность, а значит и надежность, если лица, настроенные положительно, дадут на все вопросы пози­тивные ответы, а лица, настроенные отрицательно — негативные ответы⁶.

Валидность. Надежный инструмент согласованно измеряет нечто. Но это "нечто" может быть, а может и не быть желаемым объектом измерения. Иными словами, вполне возможно, что инструмент опроса надежен, но невалиден. Только с помощью

⁴ При определении надежности методами тест-ретест и альтернативных форм обычно используют коэффи­циент корреляции, обозначаемой как r_w. В главе 16 приводится подробное описание коэффициента корре­ляции, но для обсуждения в данной главе достаточно знать, что г^ — это число, заключенное между -1,0 и + 1,0 и отражающее силу взаимосвязи между двумя переменными или характеристиками. О высокой надеж­ности инструмента измерения свидетельствует большое положительное значение коэффициента корреля­ции, т.е. r_w приближается к +1,0.

^! Roobina Ohanian, "Construction and Validation of a Scale to Measure Celebrity Endorser's Perceived Expertise, Trustworthiness and Attractiveness", Journal of Advertising, 19, 1990, p. 39—52.

⁶ Для определения надежности шкал, состоящих из нескольких пунктов, чаще всего используется коэффи­циент альфа Кронбаха. Характеристики этого коэффициента, способы его расчета и измерения см. в работе L.J. Cronbach, "Coefficient Alpha and the Internal Structure of Tests", Psychometrika, 16, 1951, p. 297-334; Ed­ward G. Carmines, Richard A. Zeller, Reliability and Validity Assessment (Beverly Hills, CA: SAGE Publications, 1979). Расчет коэффициента альфа см. в главе 15.

ГЛАВА 12. Измерение в рекламных исследованиях 347

валидного инструмента можно измерить действительно то, что желает исследователь, или, говоря более формальным языком, валидность характеризуется высокой степе­нью соответствия между операциональным определением понятия и конкретными на­блюдаемыми индикаторами, используемыми для фиксации измеряемого понятия.

Обычно выделяют три вида валидности: содержательная, критериальная и конст-руктная.

Содержательная валидность — самая простая форма оценки валидности. Счита­ется, что инструмент обладает содержательной валидностью, если субъективные су­ждения профессионалов совпадают в том, что именно с помощью данного показате­ля операциональное определение воплощается в наблюдаемый индикатор. Иными словами, валидность обеспечена, если существует консенсус экспертов относитель­но того, что вопрос как инструмент действительно измеряет то, что призван изме­рять. Считается, что содержательной валидностью (в данном примере для измерения припоминания рекламы) обычно обладают ясные, недвусмысленные вопросы, та­кие как: "Вы помните рекламу машины Ford Taurus?". Вопрос, направленный на из­мерение лояльности к марке: "Какая марка обладает лучшим соотношением цены и качества?", не обладает содержательной валидностью, так как характеристика, из­меряемая этим вопросом (ценность марки), отличается от характеристики, указан­ной в концептуальном и операциональном определениях (лояльность к марке).

Критериальная валидность может воплощаться в одной из двух форм: текущая и прогностическая валидность.

• Текущая валидность оценивается путем сравнения результатов, полученных с
помощью нового инструмента, с результатами, полученными с помощью су­
ществующего инструмента, причем и те, и другие результаты собраны в одно и
то же время. Допустим, что исследователи разработали тест из 96 пунктов,
предсказывающий реакцию конкретных индивидов на различные типы рек­
ламы. Предсказательная способность разработанного теста высока, но для его
проведения требуется много времени. Вследствие этого вы разрабатываете
еще один тест, состоящий уже из 15 пунктов. Этот новый тест будет обладать
текущей валидностью, если полученные в результате его проведения баллы
будут иметь высокую корреляцию с баллами первого теста.

• При измерении прогностической валидности оценивается, насколько измерен­
ное значение одной переменной (измерялась в настоящее время) точно пред­
скажет значение другой переменной (которая будет измеряться в будущем).
Например, вам необходимо выяснить, как влияет восприятие качества товара
на поведение покупателей. Вы разрабатываете ряд вопросов, направленных на
измерение восприятия качества товара, и процедуру отслеживания покупки
товаров. Прогностическая валидность будет отражать степень, в которой пер­
вый показатель точно предсказывает покупаемые марки.

Конструктная (понятийная) валидность — самая сложная и важная форма валид­ности. Она основывается на теории исследуемого явления и "отмечает, в какой мере определенный показатель имеет связь с другими переменными в соответствии с тео-

348 ЧАСТЬ IV. Количественные исследования и анализ их результатов

ретически выдвинутой гипотезой касательно измеряемых понятий (конструктов)"⁷ Чтобы доказать конструктную валидность, измеряемый показатель должен:

• иметь положительное значение коэффициента корреляции с другими показа­
телями того же понятия;

• демонстрировать слабую корреляцию или отсутствие корреляции с понятия­
ми, теоретически не связанными с данным понятием;

• коррелировать теоретически согласованным образом с показателями понятий,
связанных по смыслу с данным понятием'.

Предположим, что рекламисту нужно разработать шкалу для измерения предрас­положенности лиц к определенной реакции на информационные рекламные ролики и покупке рекламируемого товара. Рекламист считает, что предрасположенность к покупке можно объяснить тремя переменными, характеризующими личность: низ­кая самооценка, высокий практицизм и высокая степень потребности в немедлен­ном удовлетворении желаний. Кроме того, рекламист уверен, что предрасположен­ность к определенной реакции на рекламу не связана с доходом семьи или потреб­ностью в статусе. Свидетельства конструктной валидности будут существовать, если шкала для измерения предрасположенности к покупке:

• высоко коррелирует с другими показателями, измеряющими намерение ку­
пить;

• характеризуется низкой корреляцией с теоретически не связанными показа­
телями, такими как доход семьи и потребность в статусе;

• характеризуется низкой корреляцией с самооценкой, и высокой корреляцией
с практицизмом и потребностью в немедленном удовлетворении желаний⁹.

Резюме

В процессе измерения исследователь соотносит понятия, такие как мнения и ус­тановки, с наблюдаемыми событиями (индикаторами), такими как ответы на вопро­сы анкеты. Процесс измерения состоит из семи этапов, объединенных в три основ­ные стадии (см. рис. 12.1).

Первая стадия измерения — идентификация и определение понятия — это стадия уточнения. Она начинается с выработки общего представления об изучаемой облас­ти и заканчивается формированием выраженного в явном виде операционального определения того, что следует измерить.

Вторая стадия — указание наблюдаемых индикаторов — это создание инструмен­тария измерения. На этой стадии процесса измерения устанавливаются конкретные

Edward G. Carmines, Richard A. Zeller, Reliability and Validity Assessment (Beverly Hills, CA: SAGE Publications, 1979), p. 23.

⁸ Donald S. Tull, Del I. Hawkins, Marketing Research: Measurement and Method (New York, NY: Macmillan Pub­lishing Company, 1990), p. 276.

' Donald S. Tull, Del I. Hawkins, Marketing Research: Measurement and Method (New York, NY: Macmillan Pub­lishing Company, 1990), p. 276-277.

ГЛАВА 12. Измерение в рекламных исследованиях 349

наблюдаемые события и разрабатываются инструменты. Исследователь определяет характер требующейся информации и ищет наиболее приемлемые пути ее сбора. В процессе реализации второй стадии принимаются решения о соответствующем уровне измерения (номинальном, порядковом, интервальном или отношений) и выбирается соответствующий формат вопросов (открытые или закрытые).

• На номинальном уровне измерения ответы приписываются взаимоисклю­
чающим и исчерпывающим категориям.

• На порядковом уровне измерения значения или ответы упорядочиваются со­
гласно выраженности вдоль явно заданной оси измерения.

• Интервальный уровень измерения обладает всеми свойствами порядкового
измерения с дополнительным свойством: расстояние между любыми двумя
делениями на шкале одинаково.

• Уровень измерения отношений обладает всеми отличительными особенно­
стями предыдущих уровней и дополнительным свойством — истинной, не
выбранной произвольно нулевой точкой.

Третья стадия — оценка и пересмотр индикаторов (наблюдаемых событий) — это оценка качества инструментария измерения. Инструмент измерения должен быть и надежным, и валидным одновременно. Ненадежные или невалидные инструменты перерабатываются или отбрасываются до проведения исследования.

Вопросы к главе

1. Что означает термин измерение!

2. Назовите три основные стадии процесса измерения. Что характерно для каж­
дой из них?

3. Что такое концептуальное определение?

4. Что такое операциональное определение?

5. Почему важно составить операциональное определение?

6. Опишите процесс движения от понятия к операциональному определению.

7. Что такое номинальное измерение?

8. Чем характеризуется номинальный уровень измерения? Приведите пример
вопроса, составленного на номинальном уровне измерения.

9. Что такое порядковое измерение? Приведите пример вопроса, составленного
на порядковом уровне измерения.

10. Что такое интервальное измерение? Приведите пример вопроса, составленного
на интервальном уровне измерения.

11. Что такое измерение на уровне отношений? Приведите пример вопроса, со­
ставленного на этом уровне измерения.

12. Каковы относительные преимущества открытых вопросов по сравнению с за­
крытыми?

13. Дайте определение надежности измерения.

14. Какими тремя способами оценивают надежность измерения? Дайте краткое
описание каждого.

350 ЧАСТЬ IV. Количественные исследования и анализ их результатов

15. Дайте определение валидности измерения.

16. Какими тремя способами оценивают валидность измерения? Кратко опишите
каждый.

Практикум

1. Три исследователя предложили методы измерения степени лояльности марке.
Они разработали одинаковое концептуальное определение: лояльность мар­
ке — это степень привязанности к определенному товару (товарам) в товарной
категории, оцениваемая на основе данных о продолжительности или регуляр­
ности ее приобретения за период времени. Исследователи составили следую­
щие три вопроса.

Терри: Вспомните все средства для стирки, купленные вами за последний год. Какой процент ваших покупок составляла каждая из указанных марок? Про­тив названия каждой марки укажите ее процент в общем количестве покупок товаров этой категории.

АИ _______

Cheer _______

Tide _______

Wisk ________

Другие _______

Ричард: Поговорим о ваших покупках средств для стирки. Могли бы вы сказать...

Постоянно покупаю одну и ту же марку (1)

Не покупаю постоянно одну и ту же марку ______ (2)

Стейси: Я хотела бы узнать, насколько вы привязаны к какому-либо опреде­ленному средству для стирки. Можно ли сказать, что вы:

очень привязаны _______ (1)

обычно привязаны _______ (2)

обычно привязаны, кроме случаев, когда у вас есть купон _______ (х)

немного привязаны _______ (3)

чуть-чуть привязаны _______ (4)

совсем не привязаны _______ (5)

Основываясь на этом определении, подготовьте операциональное определе­ние, в котором отразите подход, использованный каждым исследователем; оцените, насколько адекватно применяются числа; внесите коррективы в формулировку каждого вопроса на основе операционального определения. Отражают ли скорректированные вами вопросы ваши собственные предполо­жения о сущности операционального определения?

2. Исследования в области рекламы публикуются в научных журналах Journal of
Advertising, Journal of Advertising Research, Journal of Consumer Research, Journal of
Marketing, Journal of Marketing Research, Journalism Quarterly. Среди понятий,
которые чаще всего исследуются в статьях этих научных журналов, — отноше-

ГЛАВА 12. Измерение в рекламных исследованиях 351

ние к рекламе, отношение к марке, изучение намерения купить и отношение к рекламодателю. Выберите одно из этих понятий, или какое-либо другое, имеющее отношение к исследованиям в области рекламы, и приведите, как минимум, три разных примера операционального определения понятия из на­учной литературы. Укажите на относительно сильные и слабые стороны каж­дого подхода.

3. Выберите один из подходов, выявленных во время работы над предыдущим
вопросом. Как исследователь обеспечивал надежность и валидность измере­
ния? Как вы считаете, соответствуют ли процедуры, использованные исследо­
вателем, цели измерения?

4. Рассмотрите каждый из приведенных ниже вопросов. Затем по каждому во­
просу определите уровень измерения и проследите, соблюдался ли принцип
"сбора информации на самом высоком уровне измерения". Если вы считаете,
что с помощью вопроса нельзя собрать информацию на соответствующем
уровне, представьте альтернативный вариант. Обязательно аргументируйте
свои рекомендации.

a) Рассмотрим три товара: Spiffo, Boffo и Waxo. Как вы думаете, какой из этих трех
товаров отмывает грязные полы лучше всего? ОТМЕТЬТЕ ОДИН ИЗ НИХ.

Spiffo

Boffo

Waxo ____________

b) К какой из следующих категорий относится ежегодный доход семьи?
ОТМЕТЬТЕ ОДНУ.

Менее 25 000 долл. ____________

25 000-49 999 долл. ____________

50 000-74 999 долл. ____________

75 000-99 999 долл. ____________

100 000 долл. и более ____________

c) Сколько детей до 18 лет постоянно проживают сейчас в вашей семье?
Укажите количество детей

d) Скажите, пожалуйста, вам понравилась или не понравилась реклама?

Понравилась ____________

Не понравилась

e) По шкале от "1" до "10", где "10" — самая высокая положительная оценка,
укажите свое отношение к ценности:

автомобилей Toyota

автомобилей Ford ____________

грузовых автомобилей Chevrolet ________________

О Что для вас важно в зубной пасте? По шкале от "1" до "10", где "10" озна­чает "очень важно", укажите, насколько важен для вас каждый из следую­щих параметров и насколько он влияет на ваше решение о покупке. Как вы оцените важность следующих параметров?

352 ЧАСТЬ IV. Количественные исследования и анализ их результатов

Вкус

Защита от кариеса

Профилактика заболеваний десен

Подходит и для детей, и для взрослых

Марка

5. Представьте себе, что вас наняли консультантом регионального управления общественного транспорта. Управлением общественного транспорта выделе­ны деньги на разработку рекламной кампании и ее размещение в эфире. Рек­лама направлена на увеличение перевозок в общественном транспорте. В ходе подготовки кампании вас попросили провести исследование, результаты ко­торого помогли бы изучить отношение к проезду в общественном транспорте и отношение к состоянию парка общественного транспорта.

Составьте письмо в Управление транспорта. В письме вы должны конста­тировать проблему, представляющую интерес, дать ей операциональное опре­деление и обеспечить валидность и надежность результатов опроса. Объясните решения, которые вы будете принимать, и приемы, которые будете использо­вать на каждом этапе процесса измерения.

ГЛАВА

СОСТАВЛЕНИЕ ВОПРОСОВ

Типы и качество вопросов, задаваемых вами в ходе интервью, обусловливают глубину и качество результатов исследования. Прочитав эту главу, вы ознакомитесь с методами и основными требованиями к составлению вопросов для получения информации и выво­дов, необходимых для принятия эффективных решений в области рекламы.

Прочитав данную главу, вы узнаете...

■ о возможных вариантах формы и содержания закрытых и открытых вопросов;

■ как и почему некоторые типы вопросов лучше работают в определенных ситуа­
циях по сравнению с другими;

■ каковы критерии хорошо и плохо составленных вопросов.

При проведении количественных рекламных исследований используются два ти­па вопросов — закрытые и открытые. Закрытые вопросы ставят респондента перед выбором одного из нескольких предложенных вариантов ответов. На открытые во­просы респондент отвечает своими словами. Оба типа вопросов дают возможность получить представление о мыслях, убеждениях и установках респондента. В начале этой главы рассматриваются типы и характеристики закрытых вопросов, затем сле­дует обсуждение открытых вопросов. Глава завершается рассмотрением конкретных рекомендаций по их составлению.

Разработка закрытых вопросов

В предыдущей главе рассматривались четыре уровня измерения: номинальный, порядковый, интервальный и отношений. В этом разделе обсуждаются наиболее общие типы закрытых вопросов, используемых рекламными исследователями на каждом из уровней измерения.

354 ЧАСТЬ IV. Количественные исследования и анализ их результатов

Вопросы номинального уровня

Вопросы на номинальном уровне служат для классификации ответов путем их отнесения к взаимоисключающим категориям. Существует три общих типа вопро­сов номинального уровня: альтернативные вопросы, вопросы многовариантного выбора и вопросы-меню (или вопросы множественного выбора).

Альтернативные вопросы. Альтернативные (дихотомические) вопросы — самый про­стой тип измерения на номинальном уровне. Они используются для отнесения от­дельных лиц, объектов, отношений или других ответов к одной из двух исчерпываю­щих, взаимоисключающих групп. Наиболее распространенная форма альтернативных вопросов — вопросы, требующие утвердительного или отрицательного ответа.

Вы видели рекламу жевательной резинки Bubble Yum перед покупкой товара?

Да___________ (1) Нет___________ (2)

Есть ли в вашей семье дети в возрасте до 18 лет, проживающие с вами постоянно?
Да___________ (1) Нет___________ (2)

Однако альтернативные вопросы не ограничиваются получением исключительно утвердительных или отрицательных ответов.

Какой из диетических безалкогольных напитков вы предпочитаете — со вкусом Nutrasweet или Aspartame?

Nutrasweet ___________ (1)

Aspartame (2)

Преимущества альтернативных вопросов над вопросами более сложными заклю­чаются в следующем: респонденту легко давать на них ответы (проще сделать выбор из двух вариантов, нежели из десяти); эти вопросы легко редактировать, кодировать, табулировать и анализировать; с их помощью можно управлять переходом от одной части анкеты к другой.

1. В настоящее время вы женаты (замужем)?

Женат (замужем) ______ (1) ПРОДОЛЖАЕМ БЕСЕДУ С ВОПРОСА 2

Не женат (не замужем) ______ (2) ПЕРЕХОДИМ К ВОПРОСУ 3

2. Как давно вы женаты (замужем)? Укажите, сколько лет, внизу в графе.

Количество лет

3. Были ли вы прежде женаты (замужем)?

Да___________ (1) Нет___________ (2)

4. ПРОДОЛЖЕНИЕ ИНТЕРВЬЮ.

Несмотря на все преимущества альтернативных вопросов, использовать их следу­ет осторожно. Во-первых, варианты ответов, предлагаемых респонденту, должны иметь для него смысл. Рассмотрим следующий пример.

Вспомните рекламу торговых марок пива Budweiser Light и Miller Lite. Какая из них вам нравится больше?

Budweiser Light ___________ (1)

Miller Lite ___________ (2)

ГЛАВА 13. Составление вопросов 355

Не следует задавать такой вопрос, не выяснив прежде, видел ли респондент во­обще рекламу обеих торговых марок пива. Помните о том, что респонденты доволь­но охотно выражают свое мнение по вопросу или теме, о которых они фактически ничего не знают. Исследование, проведенное Говардом Шуманом (Howard Schuman) и Стенли Прессером (Stanley Presser), показало, что около 30% респонден­тов добровольно высказали свое мнение о несуществующем законе, о котором они ничего не могли знать¹. Таким образом, вы обязаны убедиться в том, что вопрос за­дан не наобум, а с учетом уровня осведомленности или точки зрения респондента. Во-вторых, альтернативные вопросы не должны ставиться вместо вопросов, тре­бующих более детального ответа. Например, было бы неверно классифицировать уровни использования торговой марки, задав такой альтернативный вопрос: "За прошедший месяц вы использовали три или больше тюбиков зубной пасты?". Более приемлемой будет форма вопроса: "Сколько тюбиков зубной пасты вы использова­ли за прошедший месяц?".

Вопросы многовариантного выбора. Вопросы многовариантного выбора — это изме­рительные инструменты номинального уровня, предъявляющие респонденту три или большее количество исчерпывающих и взаимоисключающих категорий ответов. Эти вопросы используются для разбивки свойств респондентов или реакций на бо­лее узкие и сфокусированные категории, чем те, которые получаются с помощью альтернативных вопросов. Пример использования такого типа вопросов — сбор де­мографической информации.

К какой из следующих групп относится ваша семья по уровню получаемого общего годо­вого дохода?

До 15 000 долл.	(1)
15 000-24 999 долл.	(2)
25 000-34 999 долл.	(3)
35 000-44 999 долл.	(4)
45 000-54 999 долл.	(5)
55 000 долл. и выше	(6)

При подготовке вопросов многовариантного выбора нужно иметь в виду, что кате­гории вопросов должны быть исчерпывающими и взаимоисключающими. Следующие два примера иллюстрируют проблемы, которые могут возникнуть из-за несоблюдения этих требований. Варианты ответов в первом примере не являются ни исчерпываю­щими (как насчет респондентов, у которых вообще нет детей?), ни взаимоисключаю­щими (респондента, имеющего шестерых детей, можно отнести сразу к двум категори­ям). Во втором примере вопрос также не обеспечивает получения исчерпывающих и взаимоисключающих ответов. В этом случае, отсутствие варианта ответа "Другой" не дает возможности включить в классификацию респондентов, купивших товар не ука­занной в перечне торговой марки (вопрос не исчерпывающий). Исключаются также те респонденты, которые купили две различные торговые марки во время последнего по­сещения магазинов (вопрос не взаимоисключающий).

' Howard Schuman, Stanley Presser, Questions and Answers in Attitude Surveys: Experiments in Question Form, Wording andContext (New York, NY: Academic Press, 1981).

356 ЧАСТЬ IV. Количественные исследования и анализ их результатов

Сколько детей в возрасте до 18 лет проживают в настоящее время вместе с вами?

	(1)
	(2)
	(3)
	(4)
	(5)
	(6)
6 или больше	(7)

Вспомните, какое моющее средство вы приобрели в последний раз? Товар какой торговой марки вы купили?

АН	(1)
Cheer	(2)
Tide	(3)

Вопросы многовариантного выбора не ограничиваются сбором демографической или поведенческой информации. Этот тип вопросов может использоваться для вы­яснения отношений и мотиваций, если ответ должен ограничиваться выбором од­ного из перечисленных вариантов (включая "Другое"). Например.

Какой фактор оказался решающим при покупке вами автомобиля марки Toyota?

Цена	(1)
Гарантия	(2)
Репутация	(3)
Другое	(4)	УК
Планируете ли вы Определенно да Возможно да Возможно нет Определенно нет	купить новый а	ВТО] (1) (2) (3) (4)

УКАЖИТЕ, ЧТО ИМЕННО:

Использование вопросов многовариантного выбора предоставляет ряд преимуществ: их формат очень гибок и приемлем для использования в самых разных ситуациях; они обеспечивают почти такую же гибкость, как и открытые вопросы, не полагаясь на спо­собность респондентов излагать свои мысли и выражать отношение; в отличие от откры­тых вопросов, их легче кодировать, редактировать, табулировать и анализировать.

Приведем несколько важных соображений, связанных с использованием вопро­сов многовариантного выбора. Во-первых, вы должны убедиться в том, что перечень альтернативных ответов является исчерпывающим. Во-вторых, если вопрос предпо­лагает длинный перечень вариантов ответов, не исключено смещение в ответах, обу­словленное позицией варианта в списке. В этом случае среди респондентов наблю­дается общая тенденция — выбирать первый пункт в длинном перечне вариантов

Дата добавления: 2015-07-16