Тема 2. Как провести социологическое исследование 2 страница

Наряду с термином «ошибка репрезентативности» в отечественной литературе можно встретить другой – «ошибка выборки». Иногда они употребляются как синонимы, а иногда понятие «ошибка выборки» используется вместо понятия «ошибка репрезентативности» как количественно более точное.

Ошибка выборки – отклонение средних характеристик выборочной совокупности от средних характеристик генеральной совокупности. На практике она определяется путем сравнения известных характеристик генеральной совокупности с выборочными средними. В социологии при обследованиях взрослого населения чаще всего используют данные переписей населения, текущего статистического учета, результаты предшествующих опросов. В качестве контрольных параметров обычно применяются социально-демографические признаки. Сравнение средних генеральной и выборочной совокупностей, на основе этого определение ошибки выборки и ее уменьшение называется контролированием репрезентативности.

В опросах института Дж. Гэллапа репрезентативность контролируется по имеющимся в национальных переписях данным о распределении населения по полу, возрасту, образованию, доходу, профессии, расовой принадлежности, месту проживания, величине населенного пункта. Всероссийский центр изучения общественного мнения (ВЦИОМ) использует для подобных целей такие показатели, как пол, возраст, образование, тип поселения, семейное положение, сфера занятости, должностной статус респондента, которые заимствуются в Государственном комитете по статистике РФ. В том и другом случае известна генеральная совокупность. Ошибку выборки невозможно установить, если не известны значения переменной в выборочной и генеральной совокупностях.

Ошибки выборки подразделяются на два типа – случайные и систематические. Случайная ошибка – это вероятность того, что выборочная средняя выйдет (или не выйдет) за пределы заданного интервала. К случайным ошибкам относят статистические погрешности, присущие самому выборочному методу. Они уменьшаются при возрастании объема выборочной совокупности

Второй тип ошибок выборки – систематические ошибки. Если социолог решил узнать мнение всех жителей города о проводимой местными органами власти социальной политике, а опросил только тех, у кого есть телефон, то возникает предумышленное смещение выборки в пользу зажиточных слоев, то есть систематическая ошибка. Редко когда социолог допускает намеренные ошибки. Чаше они возникают из-за того, что ему плохо известна структура генеральной совокупности: распределение людей по возрасту, профессии, доходам и т.д. Вот некоторые способы избежать ошибки:

каждая единица генеральной совокупности должна иметь равную вероятность попасть в выборку,

отбор желательно производить из однородных совокупностей,

надо знать характеристики генеральной совокупности,

при составлении выборочной совокупности надо учитывать случайные и систематические ошибки.

Если выборочная совокупность (или просто выборка) составлена правильно, то социолог получает надежные результаты, характеризующие всю генеральную совокупность. Если неправильно, то возникшая на этапе составления выборки ошибка приумножается на каждом следующем этапе проведения социологического исследования и достигает, в конечном счете, такой величины, которая перевешивает ценность проведенного исследования. Говорят, что от такого исследования больше вреда, нежели пользы.

Виды эмпирического исследования

Эмпирическое исследование – система логически последовательных методологических, методических и организационно-технических процедур, связанных между собой единой целью: получить достоверные данные об изучаемом явлении или процессе для их последующего использования в практике.

Специалисты считают, что единой схемы социологического исследования, годящегося на разные случаи жизни, не существует. Выбор вида исследования диктуется характером поставленной цели и выдвинутых задач. Иными словами, глубиной требуемого анализа социальной проблемы, масштабом охвата событий.

В зависимости от того, какой критерий берется за основание классификации, выделяют несколько видов эмпирического исследования.

В зависимости от глубины анализа социальной проблемы и масштаба охвата событий различают разведывательное, описательное и аналитическое исследования.

В зависимости от применяемого метода сбора данных различают опрос, наблюдение, анализ документов, эксперимент.

B. В зависимости от того, изучается ли интересующий исследователя предмет в статике или в динамике, выделяют еще два вида социологического исследования – точечное и повторное.

Точечное исследование (еще его называют разовым) дает информацию о состоянии или количественных характеристиках социального явления на момент изучения. Полученная таким образом информация не дает ответа на вопрос о тенденциях его изменения во времени. Примером служит монографическое исследование.

Монографическое исследование – 1) в узком смысле, обследование одного или нескольких объектов в рамках хорошо разработанной теории. Напоминает case study, в отличие от которого преследует не получение нового знания, а постановку точного социального диагноза, например, организационной структуры конкретного предприятия; 2) в широком смысле, любое исследование одного или нескольких объектов как с познавательной, так и с практической целью. Case study (исследование случая) – глубинное, всестороннее изучение единичного социального феномена с использованием качественной методологии.

Повторные исследования – это совокупность нескольких исследований, проведенных по единой программе и инструментарию последовательно через определенные промежутки времени и призванных получить результаты, характеризующие динамику изменения объекта. Они представляют собой средство сравнительного анализа. К ним относят: лонгитюдное исследование – длительное изучение одной совокупности лиц; когортное – изучение лиц одного возраста (поколение) на протяжении длительного времени. Цель – анализ изменений в образе жизни, ориентация людей одного поколения. Объекты исследования меняются, но люди сохраняются; трендовые – на одной и той же генеральной совокупности с интервалом во времени и с соблюдением относительно одинаковой методики. Цель: установление тенденций (трендов) социальных изменений. Пример: переписи населения; панельное исследование – по единой программе на одной и той же выборке и по единой методике через определенный интервал времени. Цель – анализ динамики событий. Люди могут меняться, но объекты исследования (цех, предприятие) сохраняются. Панель – это совокупность одних и тех же респондентов, опрошенная в базовом и повторном (через 15 лет) исследовании. В повторном это будут уже люди, повзрослевшие на 15 лет. Псевдопанель – совокупность респондентов, подобранная так, что по основным параметрам – возраст, образование, профессия – она напоминает базовую, но это не одни и те же люди (молодые в 1962 году и молодые рабочие в 1976 – псевдопанель).

В зависимости от выдвигаемых целей повторный сбор информации может проходить в два, три и более этапов. Длительность временного интервала между начальной и повторной стадиями может быть самой разной, так как различна скорость протекания самих социальных процессов. Часто именно свойства самого объекта подсказывают временные интервалы для проведения повторного исследования. Типичный пример: получившие известность в 60–80-е годы исследования тенденций реализации жизненных планов выпускников средних школ: первый раз их опросили накануне выпускных экзаменов, а затем в интервалы времени, определяемые окончанием приема в вузы и стадиями трудовой карьеры.

Особой разновидностью исследования, применяемого в этнографии и антропологии, а потому относимого к сфере социальных наук в целом, а не только к социологии, выступает полевое исследование – крупномасштабное изучение социальных явлений методом непосредственного наблюдения за поведением людей в реальных жизненных ситуациях. Впервые они были применены чикагскими социологами в 20-е годы. Его надо отличать от выборочного обследования, или выборочного опроса, в котором ученый просит респондентов вспомнить, что они чувствовали, где были, как вели себя или что делали прежде в какое-то время. Полученные таким способом данные оторваны от реальности. При полевом исследовании ученый находится в точке событий и осуществляет непосредственное наблюдение. Например, при выборочном опросе социолог спрашивает группу людей о применении наркотиков, а в полевом исследовании он находится рядом с наркоманами и наблюдает за их действиями.

Считается, что собранная во втором случае информация точнее и достовернее первой информации. Зато результаты полевого исследования ограничены одной ситуацией, их невозможно или трудно типизировать, если не провести дополнительных исследований. Иными словами, такие данные точны и достоверны, но нерепрезентативны, ограничены одним случаем.

Метод опроса

Студенты-психологи нередко думают, что лабораторный эксперимент, в ходе которого устанавливаются причинно-следственные связи между различными сторонами поведения животных или людей, исчерпывают все возможности социального исследования.

Многие из тех, кто занимается конкретной экономикой, до сих пор убеждены, что только статистический анализ, позволяющий дать объективную картину колебания цен и товарной массы, является самым надежным мерилом экономического поведения.

В отличие от них некоторые антропологи продолжают верить в то, что самым надежным способом познания остается включенное наблюдение, в результате которого мы изучаем повседневное взаимодействие людей, творящих тот социальный мир, в котором мы с вами живем.

В то же время психоаналитики убеждены в непогрешимости вживания или вчувствования во внутренний мир своего пациента как единственно достоверного метода изучения человеческого поведения, его интимных структур и мотивов.

А специалисты по маркетингу не признают иных средств, кроме изучения того, каким образом устремления конкретного индивида связаны с его социальными характеристиками и потребительским поведением.

Так пишет Юлиан Саймон в своей книге «Базисные методы исследования в социальной науке» (Нью-Йорк, 1969).

Действительно, в каждой науке, изучающей поведение людей, сложились свои научные традиции и накоплен соответствующий эмпирический опыт. И каждая из них, будучи одной из ветвей социальной науки, может быть определена в терминах того метода, которым она преимущественно пользуется. Хотя и не только таким образом. Науки различаются также кругом изучаемых проблем.

В социологии при сборе первичных данных используют четыре основных метода, каждый из которых имеет две основные разновидности (они указаны в скобках):

опрос (анкетирование и интервьюирование);

анализ документов (качественный и количественный [контент-анализ]);

наблюдение (невключенное и включенное);

эксперимент (контролируемый и неконтролируемый).

В нашу задачу не входит рассмотрение всех четырех методов сбора данных. Остановимся на особенностях самого популярного среди них – анкетировании (анкетного опроса).

Анкетирование – вопросно-ответная форма организации текста.

Опрос, как вид исследования, разбивается на две большие разновидности – анкетирование и интервью. В свою очередь, в каждом из этих видов опроса используется несколько методов, скажем метод телефонного интервью или метод формулирования прожективных вопросов.

Каждый вид опроса зависит от многих обстоятельств: содержания анкеты или интервью (то есть перечня вопросов, в которых реализован предмет исследования); качества работы анкетера или интервьюера, организующего и непосредственно обеспечивающего заполнение анкет; ситуации опроса, его условий, которые должны быть максимально благоприятными для спокойной и сосредоточенной работы респондента; психологического состояния респондента на момент опроса и других.

Метод опроса, опирающийся на достаточное число обученных анкетеров или интервьюеров, позволяет в максимально короткие сроки опрашивать большие совокупности людей и получать разнообразную информацию. Хотя познавательные возможности опроса безграничны, информация, полученная с его помощью, отражает изучаемую реальность лишь в том виде, как она преломилась в сознании респондента. Поэтому социологи не спешат ставить знак равенства между объективной реальностью, выступающей предметом исследования, и данными, отражающими мнения людей о фактах, событиях и явлениях. Они тщательно учитывают и стараются нивелировать искажение информации.

Выделяют две основные разновидности социологического опроса: анкетирование и интервьюирование. При анкетировании опрашиваемый сам заполняет вопросник в присутствии анкетера или без него. По форме проведения оно может быть индивидуальным или групповым. В последнем случае за короткое время можно опросить значительное число людей. Анкетирование бывает также очным и заочным. Наиболее распространенные формы последнего: почтовый опрос, опрос через газету.

Интервьюирование предполагает личное общение с опрашиваемым, когда интервьюер сам задает вопросы и фиксирует ответы. По форме проведения оно может быть прямым или опосредованным, например, по телефону.

В зависимости от источника информации различают опросы массовые и специализированные. В первом случае источником информации выступают представители больших социальных групп (этнических, религиозных, профессиональных). Участников массовых опросов называют респондентами. В специализированных опросах главный источник информации – компетентные лица (знатоки, эксперты), обладающие необходимыми для исследователя профессиональными и теоретическими знаниями либо жизненным опытом, которые позволяют им давать авторитетные заключения. Называют такие опросы экспертными.

Социологию чаще всего отождествляют с методом опроса, или анкетной процедурой. Действительно, в социологии самым популярным является анкетный опрос. Им пользуются приблизительно в 70–80% случаев. Социальные психологи больше склонны к тестам и социометрическим методам, но и анкетная процедура отнюдь не редкость в психологии, изучающей поведение людей, мотивацию деятельности и ценностные ориентации.

Искусство задавать волосы, пожалуй, самое древнее и до сих пор еще самое сложное. В повседневной жизни мы убеждаемся, как бестактно поставленный вопрос ставит отвечающего в неловкое положение. Про глупые вопросы говорят, что их легче задавать, чем на них отвечать. Есть вопросы риторические, на них вовсе не надо отвечать. Существуют также вопросы короткие и длинные, письменные и устные, закрытые и открытые, вопросы-меню и вопросы-фильтры, вопросы-ловушки, вопросы контактные, отвлекающие, фактологические, буферные, провоцирующие, закрытые, полузакрытые, открытые, вопросы-тупики и т.д.

Все разновидности вопросов трудно даже перечислить. Еще труднее описать то, как они работают. Эту проблему решают профессионалы-методисты, которые отрабатывают технику постановки вопросов, сбора и анализа данных, математической обработки и эмпирической интерпретации ответов в специально для таких целей поставленных экспериментах. Их именуют, в отличие от исследовательских, призванных познавать закономерности поведения реальных людей, методическими экспериментами, которые показывают особенности поведения инструмента. К примеру, не всегда ясно, на какой вопрос – закрытый или открытый – респонденты лучше реагируют и дают более достоверную информацию.

Искусство опроса состоит в правильной формулировке и расположении вопросов. Вопросы задают не только социологи. Первым задумался о научной постановке вопросов древнегреческий философ Сократ, который на улицах Афин ставил прохожих в тупик хитроумными парадоксами. Сегодня опросным методом пользуются кроме социологов также журналисты, врачи, следователи, учителя.

Чем же тогда отличается от них социологический опрос?

Первая отличительная черта – количество опрошенных. Названные выше специалисты имеют дело, как правило, с одним человеком. Социолог же опрашивает сотни и тысячи людей и лишь затем, обобщив полученную информацию, делает выводы. Суть социологического опроса заключается в том, чтобы на основании нескольких сотен мнений людей судить о тысячах и миллионах. Почему он так поступает?

Когда опрашивают одного человека, то получают личное мнение. Для журналиста, интервьюирующего эстрадную звезду, врача, составляющего диагноз на основании слов пациента, следователя, доискивающегося до причин гибели человека, большего и не надо. Им необходимо именно личное мнение опрашиваемого.

Напротив, социолог, опрашивающий множество людей, интересуется общественным мнением. Индивидуальные отклонения, субъективные предубеждения, предрассудки, ошибочные суждения, намеренные искажения, если их обработать статистически, взаимопоглащаются. В результате социолог получает усредненную картину реальности. Он опросил 100 инженеров, но выявил среднетипичного представителя данной профессии. Вот почему в социологической анкете не требуют указывать свою фамилию, имя, отчество, адрес. Она анонимная.

Итак, социолог, получая статистическую информацию, выявляет социальные типы личности.

Вторая отличительная черта – достоверность и объективность. Она тесно связана с первой: опрашивая сотни и тысячи людей, социолог получает возможность обрабатывать данные математически. Он усредняет разнообразные мнения и в результате получает гораздо более достоверную информацию, нежели журналист. Ее можно назвать даже объективной, если строго соблюдены все научно-методические требования. Хотя получена она на основе субъективных мнений.

Никто в мире не изобрел более совершенного способа соединить несоединимое, огонь и воду, лед и пламень. Это маленькое чудо научного познания совершает математическая статистика. Правда, она требует за это дорогую цену – совершенное владение методикой и техникой социологического исследования, все тонкости которых можно познать только за долгие годы непрерывной работы.

Третья отличительная черта – цель опроса. Врач, журналист или следователь вовсе не стремится к обобщенной информации, он выясняет то, что отличает одного человека от другого. Конечно, каждый из них стремится к правде, добиваясь правды от опрашиваемого: следователь в большей степени, журналист, которому заказали сенсационный материал, в меньшей. Но ни один из них не нацелен на расширение научного знания, обогащение науки, выяснение истины.

Полученные социологом данные о закономерностях связи труда инженеров с отношением к работе и формой досуга освободит его коллег от необходимости еще раз проводить обследование. Если подтвердилось, что разнообразный труд (инженер) влечет разнообразный досуг, а однообразный труд (рабочий на конвейере) связан с однообразным, бессодержательным времяпрепровождением (выпивка, сон, просмотр телепередач), и такая связь теоретически доказана, то мы получим научный факт. Он универсален и всеобщ.

Хотя журналиста или врача подобная универсальность мало удовлетворит. Им нужно раскрыть индивидуальные особенности и отклонения.

Как уже говорилось, анкетирование – самый распространенный в социологии метод.

Анкета – размноженный на машинке, компьютере или типографским способом документ, содержащий в среднем от 30 до 40 вопросов, адресованных выбранному множеству респондентов.

Респонденты при этом рассматриваются в качестве объекта исследования.

Анкетой нельзя назвать любой перечень вопросов. Так, вопросы журналиста не считаются анкетой, хотя в них налицо своя логика и последовательность. Анкетой называется лишь то, что обращено к множеству людей, которых опрашивают стандартным образом. Именно потому к ним применим аппарат статистики. Кроме того, опрашиваемый обязан самостоятельно заполнить анкету по правилам, изложенным в инструкции к ней.

Анкетирование, или анкетный опрос бывает групповым и индивидуальным. Групповой опрос широко применяется по месту работы и учебы. Анкеты раздаются для заполнения в аудитории, куда приглашаются включенные в выборку респонденты. Обычно один анкетер работает с группой из 15-20 человек. При этом обеспечивается стопроцентный возврат анкет, респонденты могут проконсультироваться по технике заполнения, выяснить трудные и неясные места, а анкетер, собирая вопросники, может проконтролировать качество заполнения. При индивидуальном опросе вопросники раздаются на рабочих местах или по месту жительства (учебы) респондентов, а время возврата заранее обговаривается. Вторая форма опроса имеет те же преимущества, что и первая.

Структура анкеты и виды вопросов

Анкета или, как ее еще называют, вопросник является основным инструментом исследования социолога.

Чтобы анкета успешно выполнила свои функции – предоставила в распоряжение исследователя достоверную информацию, – надо соблюдать правила научного метода при ее конструировании и знать особенности различных типов вопросов.

В социологии вопрос выполняет функцию исследовательского инструмента, отсюда вытекают требования к его формулировке. В жизни общение врача с пациентом или следователя с подсудимым либо беседа двух прохожих имеют межличностный характер. Их адресат индивидуален. При анкетировании ситуация иная. Автор социологической анкеты обращается к большой совокупности неизвестных людей. Следовательно, вопрос анкеты должен быть одинаково понятен различным социально-демографическим группам респондентов: молодым и пожилым, людям с высшим и средним образованием, горожанам и селянам.

Все вопросы в анкете можно классифицировать по: 1) содержанию (вопросы о фактах сознания, о фактах поведения и о личности респондента), 2) форме (открытые и закрытые, прямые и косвенные) и 3) функции (основные и неосновные).

Вопросы первой группы направлены на выявление мнений, пожеланий, ожиданий, планов на будущее. Они могут касаться любых объектов, как связанных с личностью опрашиваемого или с его окружающей средой, так и не имеющих к нему непосредственного отношения. Любое мнение, высказанное респондентом, представляет собой оценочное суждение, основанное на индивидуальных представлениях, и поэтому носит субъективный характер.

В первой группе есть особый блок – вопросы о личности респондента, которые входят во все социологические анкеты и называются «паспортичкой» (о ней чуть позже).

При конструировании вопросов часто нарушается одно из обязательных условий: соответствие формулировки вопроса исследовательской задаче. При этом происходит не всегда осознаваемая исследователем подмена информации о знаниях людей данными о том, как они сами их оценивают.

Основными видами анкетного вопроса являются вопросы открытые и закрытые. В открытых после текста вопроса социолог оставляет место и просит респондента самого сформулировать свое мнение.

Закрытый вопрос. Так вопрос называется в том случае, если на него в анкете приводится полный набор вариантов ответов. Прочитав их, опрашиваемый только обводит кружком код напротив того варианта, который совпадает с его мнением. Такая форма вопроса в значительной степени сокращает время для заполнения анкеты и ее подготовки для обработки на ЭВМ.

Закрытые вопросы могут быть альтернативные и не альтернативные. Альтернативные предполагают возможность выбора респондентом только одного варианта ответа, в результате чего сумма ответов на все варианты, представленные в альтернативном вопросе, всегда составляет 100%. Пример альтернативного вопроса:

«Имеете ли вы детей?»

Варианты ответа:

да, имею.

нет, не имею.

Еще один пример альтернативного вопроса:

«Каков доход на одного члена в вашей семье?»

Варианты ответа:

До 1000 рублей.

От 1001 до 2000 рублей.

От 2001 до 5000 рублей.

Свыше 5000 рублей.

Не альтернативные вопросы допускают выбор респондентом нескольких вариантов ответов, поэтому их сумма может превышать 100%. Пример: «Какие телепередачи Вы смотрели в прошедший выходной?» Ответы: 1 – художественные фильмы, 2 – политические передачи, 3 – спортивные передачи, 4 – передачи для деловых людей, 5 – какие еще (напишите).

Второй вопрос служит примером одновременно и полузакрытой формы вопроса, которая употребляется в тех ситуациях, где социолог не уверен в полноте известных ему вариантов ответов, предоставляя респонденту возможность самому дополнить их. В конце полузакрытых вопросов оставляют запасные коды для кодирования дополнительных ответов.

Ответы на альтернативные вопросы могут иметь две формы расположения – линейную и табличную. Приведенные примеры иллюстрируют линейную форму. Пример табличной формы (табл. 2.1.).

Таблица 2.1 Хватает ли Вам времени?

	Хватает	Не хватает	Когда как
На учебу
На общественную работу
На отдых и развлечения
На занятия физкультурой

Открытые вопросы. Они не содержат подсказок в виде предлагаемых социологом вариантов ответа, но позволяют респонденту высказать собственное мнение во всей полноте. С их помощью собирают более богатую информацию.

В открытых вопросах после текста вопроса социолог оставляет место и просит респондента самого сформулировать свое мнение. Например:

Под текстом вопроса даны цифры кода. Они нужны не респонденту, а социологу, который после того, как получит весь массив заполненных анкет, приступит к их обработке. И первым шагом на этом пути станет присвоение соответствующего кода вписанному рукой респондента ответу. Число кодов определяется исходя из возможных вариантов ответов на вопрос. Практика показывает, что целесообразно заранее размещать в конце вопроса до 10 кодов. Формализация ответов – основное неудобство, которое затрудняет широкое использование открытых вопросов. Тем не менее, в ряде случаев их применение просто необходимо.

Число строк для записи ответа зависит от характера вопроса и должно быть достаточным для того, чтобы респондент смог свободно выразить свою мысль. Как показывает опыт, среднее число строк для записей в открытом вопросе колеблется от 3 до 7.

Все разнообразие ответов на открытых вопросах придется кодировать самому исследователю, сводя их в конечном счете к некоторому ограниченному числу наиболее часто повторяющихся ответов. Закрытая форма вопроса позволяет избежать этого, поскольку, отмечая один из вариантов ответов, респондент одновременно кодирует его.

Один и тот же вопрос можно сделать открытым и закрытым. Закрытые легче обрабатывать на компьютере, но они требуют от социологов исчерпывающего знания предмета. Открытые используются там, где эти знания ограничены и исследование проводится с разведывательной целью.

Специалисты считают, что психологическая основа ответа на закрытый вопрос существенно иная, чем при ответе на открытый вопрос. Соответственно не совпадает и содержание полученной информации. Формулируя ответ на открытый вопрос, респондент руководствуется только собственными представлениями. Следовательно, такой ответ будет более индивидуализирован и даст более подробную и разнообразную информацию о структуре представлений респондентов. Поэтому открытый вопрос является незаменимым инструментом, если познавательная задача – получение данных о структуре представлений опрашиваемых по изучаемой проблеме, об особенностях словарного запаса их языка, о круге ассоциаций в связи с предметом опроса, о вербальных навыках, связанных со способностью формулировать свое мнение и аргументировать его.

Закрытые варианты вопросов предпочтительнее формулировать для выявления фактов и отношений, предполагающих заранее известный и единообразный перечень возможных вариантов ответов. При этом надо помнить, что заранее предлагаемый набор ответов принадлежит исследователю и это освобождает отвечающих от самостоятельной работы над возможными вариантами ответов.

Респонденты охотно отвечают на открытые вопросы в том случае, когда они имеют развитую систему представлений по теме вопроса и считают себя в ней компетентными. Если же предмет опроса им мало знаком или непривычен, сложен для анализа, то респонденты уклоняются от ответов: либо дают неопределенный ответ, либо отвечают не по существу. В этом случае, применяя открытый вопрос, исследователь рискует совсем не получить содержательной информации и сможет лишь выяснить, что по данному вопросу совокупность опрошенных не имеет сформировавшегося мнения. В то же время, используя закрытую форму вопроса, исследователь помогает респонденту сориентироваться в предмете разговора и выразить свое отношение к проблеме через предложенный набор возможных суждений или оценок.

Дата добавления: 2015-08-17