Основные характеристики опросников, предназначенных для диагностики честности

В большинстве рассматриваемых оп­росников, используемых, как правило, при приеме на работу, обследуемые дол­жны отвечать на прямые вопросы об имеющихся склонностях к хищениям, подлогам и растратам. Общими, за исключением Personal Outlook Inventory, для этих методик являются вопросы, ка­сающиеся:

— частоты и распространенности воров­ства в обществе (напр., «Какой при­мерно процент людей берет ежене­дельно более одного доллара у своего работодателя?»);

— наказания за воровство (напр., «Сле­дует ли увольнять человека, который украл пять долларов?»);

— размышлений о воровстве (напр., «Ду­мали ли Вы когда-нибудь о том, чтобы взять себе какие-то товары, принадле­жащие компании, но на самом деле этого не делали?»);

— ощущения простоты воровства (напр., «Насколько просто было бы нечестно­му человеку украсть что-нибудь у ра­ботодателя?»);

— вероятности обнаружения воровства (напр., «Какой процент служащих, во­рующих у компании, попадается?»);

— рациональных оправданий воровству (напр., «Работодатель, который пла­тит людям слишком мало, заслужива­ет того, чтобы его обворовали?»);

— сведений о воровстве служащих (напр., «Знаете ли Вы наверняка, что некоторые из Ваших знакомых крадут у своих работодателей?»);

— утверждений о собственной честности (напр., «Вы честны по сравнению с другими работниками?»);

Некоторые опросники также содержат вопросы, побуждающие к признанию в во­ровстве (напр., «На какую сумму Вы взя­ли товаров у Вашего работодателя в про­шлом году?»). Наряду со шкалами, вопросы которых касаются воровства, в некото­рых опросниках используются и другие, «сочетающиеся» со «склонностью к хище­ниям». Это прежде всего шкалы, позволя­ющие оценить степень алкогольной и нар­котической зависимости обследуемых. Иногда в опросник включаются вопросы на социальную желательность ответа (см. Установки на ответ).

Как видно из табл. 21, большинство опросников высоко коррелируют с пока­зателями, полученными на детекторе лжи, имеют достаточно значимую валидность прогностическую. Данные опрос­ников устойчиво коррелируют с признаниями в воровстве в прошлом, высоки оценки надежности. Имеются сведения о взаимосвязи London House Personnel Selection Inventory и Reid Report с «Шес­тнадцать личностных факторов» оп­росником. Так, лица с низкими показате­лями честности характеризуются слабос­тью Эго и Супер-эго, подозрительностью и напряженностью.

Тестирование на честность с помощью опросников в США — это индустрия, обо­роты которой оцениваются во многие мил­лионы долларов. По обобщенным данным проводящих тестирование организаций, в 80-е гг. в США по меньшей мере 5000 фирм использовали тестирование на чес­тность персонала и принимаемых на рабо­ту лиц. Как правило, эти опросники ис­пользуются при обследовании тех сотруд­ников, которые связаны с розничной тор­говлей, складскими операциями и работой в финансовых структурах. Как средство первичного отбора опросники применяют­ся для изучения лиц, принимаемых как на должности нижнего звена (кассиры, ин­кассаторы, операторы в банках), так и для претендентов на более высокие посты в учреждениях и даже полиции. Обычно тестирование на честность является зак­лючительным этапом отбора. Следует учитывать, что, хотя назначение всех рассмотренных опросников и определяется как диагностика честности, в действи­тельности речь идет об измерении значи­тельно более узкого конструкта, который может быть обозначен как «склонность к хищениям, воровству».

ПСИХОДИАГНОСТИЧЕСКИЕ СИТУ­АЦИИ — ситуации, в которых осуществ­ляется совместная деятельность экспе­риментатора и обследуемого, целью которой является получение каких-либо данных о личности с помощью психологи­ческих тестов. П. с. описывались и клас­сифицировались многократно.

В русскоязычной психодиагностичес­кой литературе известны классификации, предложенные А. Г. Шмелевым и соавт. (1987). В основе первой классификации лежит критерий использования психодиагностической информации. Выделены че­тыре основных типа П. с.:

1. Диагностические данные используют­ся специалистом-смежником для по­становки психологического диагноза или формулировки административного решения. Психодиагност не несет от­ветственности за диагноз (диагноз в медицине, диагностика по запросу суда идр.).

2. Диагностические данные используют­ся психодиагностом для постановки психологического диагноза, но вмеша­тельство в ситуацию обследуемого осуществляется специалистом другого профиля (напр., диагностика причин низкой успеваемости).

3. Диагностические данные используют­ся психодизгностом для постановки психологического диагноза в условиях психологической консультации.

4. Диагностические данные используют­ся самим обследуемым (в целях само­развития, коррекции и т. п.).

Вторая классификация базируется на условиях, в которых производилась разра­ботка теста и «добровольности—принуди­тельности» участия в обследовании.

1. Добровольное участие обследуемых, бескорыстное сотрудничество.

2. Участие оплачиваемых обследуемых.

3. Использование теста в условиях запро­са обследуемого о помощи.

4. Использование теста в условиях при­нудительного административного об­следования.

Более эвристичной представляется классификация, разработанная В. Н. Дру­жининым (1990) в связи с введением по­нятия валидности экологической.

Он выделяет четыре варианта П. с.:

1. Добровольное участие в обследовании, самостоятельный выбор дальнейшего поведения.

2. Принудительное участие в обследова­нии, самостоятельный выбор дальней­шего поведения.

3. Принудительное участие в обследова­нии, выбор дальнейшего поведения на­вязан.

4. Добровольное участие в обследовании, выбор дальнейшего поведения навязан. В соответствии с этими вариантами

П.с. определена их типология:

Тип 1. Ситуация добровольной психо­логической консультации, напр., по про­блемам семьи и брака. Другой вариант си­туаций этого типа — психологическая профессиональная консультация школь­ников, третий — консультирование руко­водителей по проблемам стиля руковод­ства и общения.

Тип 2. Ситуации профессионального отбора (за исключением тех случаев, ког­да отбор осуществляется без желания об­следуемого).

Тип 3. Ситуации массовых обследова­ний, от участия в которых нельзя укло­ниться.

Тип 4. Множество ситуаций, характе­ризующихся высоким уровнем социально­го контроля за поведением обследуемого, принуждением его к участию в обследо­вании.

Понятно, что в разного типа ситуаци­ях будет по-разному проявляться мотив на социальное одобрение, что, в свою оче­редь, будет оказывать влияние на резуль­таты обследования (см. Установки на ответ). Не следует считать, что учет П. с., который несомненно важен для пси­ходиагноста, решает проблему ситуацион­ной изменчивости—устойчивости свойств личности; для ее решения необходимо развитие такого направления, как психо­логия ситуаций (см. Валидность эколо­гическая).

ПСИХОДИАГНОСТИЧЕСКИЙ МЕ­ТОД — исследовательский метод пси­хологической науки. П. м. имеет опре­деленную специфику по отношению к тра­диционным исследовательским методам психологии, неэкспериментальному (опи­сательному) и экспериментальному. Ос­новной особенностью П. м. является его измерительно-испытательная направлен­ность, за счет которой достигается количественная (и качественная) оценка изу­чаемого явления. Это становится возмож­ным в результате выполнения определен­ных требований.

Одно из важнейших требований — стандартизация инструмента измере­ния, в основе которой лежит понятие нор­мы, поскольку индивидуальная оценка, напр, успешность выполнения того или иного задания, может быть получена толь­ко путем сопоставления с результатами других обследуемых. Не менее суще­ственны для П. м. требования к надежно­сти и валидности инструмента измере­ния, а также жесткая регламентация про­цедуры обследования (точное соблюдение инструкции, строго определенные спосо­бы представления стимульного материа­ла, невмешательство исследователя в де­ятельность обследуемого и др.). Задача, стоящая перед П. м., не ограничивается квалификацией изучаемого явления, обя­зательным является его интерпретация (см. Диагноз психологический).

П. м. конкретизируется в трех основ­ных диагностических подходах, которые практически охватывают все множество имеющихся диагностических методик (тестов).

1. «Объективный» подход — диаг­ностика осуществляется на основе успеш­ности (результативности) и способа(осо­бенностей) выполнения деятельности.

2. «Субъективный» подход — ди­агностика осуществляется на основе све­дений, сообщаемых о себе, самоописания

особенностей личности, поведения в тех или иных ситуациях.

3. «Проективный» подход — ди­агностика осуществляется на основе ана­лиза особенностей взаимодействия с внешне нейтральным, как бы безличным материалом, становящимся в силу его известной неопределенности (слабострук-турированности) объектом проекции.

Объективный подход к диагностике проявлений человеческой индивидуально­сти привел к образованию двух типов ме­тодик (тестов), противопоставление кото­рых стало традиционным. Это тесты личности и тесты интеллекта. Первые направлены на измерение неинтеллекту­альных особенностей индивида, вто­рые — на установление уровня его интел­лектуального развития. Несомненно, что такое «обособление» сфер личностных проявлений и интеллекта имеет ограни­ченный, но тем не менее важный для пси­ходиагностики смысл. Сохранение за лич­ностными проявлениями, с одной сторо­ны, и интеллектом — с другой, относи­тельной самостоятельности позволяет бо­лее глубоко проникнуть в сущность этих психических образований, а известное ак­центирование их функционального свое­образия способствовало разработке пси­ходиагностических методик, ценность которых неоспорима.

Тесты личности, относимые в насто­ящей классификации к объективному подходу, можно подразделить на тесты действия (целевые личностные тесты) и тесты ситуационные. Диагностика уровня интеллектуального развития пред­ставлена многочисленными тестами ин­теллекта. Кроме того, в рамках объек­тивного подхода выделяются еще две значительные группы тестов: тесты, специальных способностей и тесты до­стижений. Субъективный подход пред­ставлен многочисленными опросниками, а проективный — разнообразными проективными методиками исследования личности.

Внутри каждого из подходов могут быть легко выделены группы достаточно однородных, близких друг другу методик (тестов). В то же время некоторые из кон­кретных психодиагностических методик трудно отнести к одному из подходов, они будут занимать как бы промежуточное положение. Между рассматриваемыми диагностическими подходами нет и не мо­жет быть непроходимых границ, которые отсутствуют и в исследовательских мето­дах психологической науки.

ПСИХОДИАГНОСТИЧЕСКОЕ ОБ­СЛЕДОВАНИЕ — деятельность психо­лога, конечным результатом которой яв­ляется диагноз психологический. Выде­ляют три основных этапа П. о.: сбор данных в соответствии с задачей исследова­ния; переработка и интерпретация полу­ченных данных; вынесение решения (ди­агноз или прогноз).

Сбору данных с помощью психодиаг­ностических методик (тестов) должен предшествовать период ознакомления с некоторым комплексом объективной и субъективной информации об обследуе­мом (напр., история болезни, заключения других специалистов и т. д.). С этой целью могут быть использованы и опросники-анкеты. Авторы всех известных тестов обращают особое внимание на предвари­тельное изучение обследуемого. Этим со­здается основной фон П. о., намечаются элементы рабочей картины личности, не­обходимые для диагноза и прогноза.

Поскольку П. о. всегда образует систе­му взаимодействия «экспериментатор— обследуемый», необходимо учитывать влияние различных переменных, вклю­ченных в эту систему (ситуационные переменные, к которым в первую очередь относятся психодиагностические ситу­ации, переменные цели обследования и задания, переменные исследователя и об­следуемого). При выборе психодиагностических методик следует руководствовать­ся сведениями об их надежности и валидности по отношению к диагности­ческой задаче (см. Область применения теста). Этап сбора данных завершается представлением полученных результатов в виде, который задан типом методики (построение «профиля личности», пере­вод «сырых» оценок в стандартные вели­чины, расчет интеллекта коэффициен­та и т. д.).

В процессе переработки и интерпрета­ции диагностических данных традиционно выделяют два пути: клинический и ста­тистический. Клинический подход ориен­тирован прежде всего на опыт исследователя, интуицию; его особенностью яв­ляется доверие к «субъективному сужде­нию» (А. Анастази, 1982). Статисти­ческий подход предусматривает учет объективных (количественных) показате­лей, их статистическую обработку в виде, напр., уравнения регрессии. В зарубеж­ной литературе неоднократно проводи­лось сравнительное изучение клиничес­ких и статистических прогнозов. Во мно­гих исследованиях была продемонстриро­вана более высокая эффективность статистического прогноза. Однако вопрос об эффективности этих подходов не может быть решен альтернативно. В полноцен­ном П. о. необходимо гармоничное сочета­ние клинического и статистического под­ходов, а не их противопоставление.

На определенном этапе П. о. нередко возникает необходимость упорядочения диагностических показателей, сведение их в систему. Эта задача многократно ус­ложняется в случае, когда используемые диагностические методики опираются на различные теоретические положения, а полученные результаты выражаются не в общепринятых терминах. Интеграция раз­нородных данных может осуществляться на эмпирическом и теоретическом уров­нях. В первом случае разрабатывается ка­кая-либо схема сопоставления результа­тов отдельных методик без обращения к их теоретическим концепциям. Это может быть, напр., пятибалльная шкала, край­ние значения которой характеризуют «вы­сокий» и «низкий» показатели каждой ме­тодики. Теоретический уровень обобще­ния диагностических данных значительно сложнее. Здесь требуется систематиза­ция полученных результатов на основе какой-либо теории и выражение их в по­нятиях этой теории.

На этапе принятия решения выделяют три уровня диагностических заключений (см. Диагноз психологический). П. о. за­вершается разработкой программы дей­ствий, которые необходимо осуществить применительно к данному случаю, напр., дополнительные занятия по развитию тех или иных способностей у учащегося, на­правленное терапевтическое воздействие с учетом личностных особенностей паци­ента и т. д., для осуществления связи с по­лученными результатами. Итоги П. о. должны быть представлены в психологичес­ких понятиях, доступных неспециалисту.

В организации и проведении П.о. обя­зательно соблюдение этических норм психодиагностики. Психолог, проводя­щий П. о., должен иметь соответствую­щий цели и задачам обследования уровень тестовой компетенции.

ПСИХОДРАМА (греч. ψυχή — душа и δραμα — действие, представление) про­ективная методика исследования лич­ности. Предложена Дж. Морено в 1946 г. на основе его предшествующих разрабо­ток в области социометрии и социодрамы. П. осуществляется в виде импровизи­рованного театрального представления, в котором обследуемый играет роль самого себя или воображаемого лица. Считается, что в специально созданных драматичес­ких ситуациях, созвучных переживаниям обследуемого, проявляются (проектиру­ются) его личностные особенности, а путем аффективного отреагирования (игровой катарсис) достигается терапевти­ческий эффект.

Стандартной процедуры обследования нет, однако автором разработана общая схема, в которой т. н. «вспомогательные Я» (специально подготовленные актеры) создают в игровой форме необходимые стимульные условия. Для интерпретации (исключительно качественной) конфлик­тов и переживаний, проявляющихся в иг­ровой деятельности, широко привлекают­ся положения психоанализа. Данные о валидности и надежности П. как проек­тивной методики отсутствуют. П. широко­го распространения в психодиагностичес­кой практике не получила прежде всего в силу значительной сложности осуществления. В нашей стране П. в качестве ис­следовательской методики не приме­нялась, но ее определенные элементы ши­роко используются в групповой психоте­рапии (см. Кукол тест).

ПСИХОЛОГИЧЕСКАЯ ДИАГНОСТИ­КА (греч. ψυχή — душа и διαγνωστικος — способный распознавать) — об­ласть психологической науки, разрабаты­вающая принципы, пути и приемы распознания, оценки и измерения ииндивидуально-психологических особенностей лично­сти.

Структура современной П. д.: а) об­щая теория психологического измерения, б) частные теории и методики измерения свойств и поведения личности, в) теории и методики оценивания, или внетестовая диагностика (сравни: Психологическая оценка).

Понятие П. д. появляется в 1921 г. и принадлежит Г. Роршаху (см. Роршаха тест), назвавшему так обследование с помощью созданного им «основанного на перцепции диагностического теста». Содержание этого понятия вскоре суще­ственно расширяется, и под П. д. начи­нают понимать все то, что связано с изме­рением индивидуально-психологических различий. Впоследствии, в 30-40-е гг., в связи с возникновением проективной пси­хологии личности и отнесением теста Роршаха к проективным методикам, за по­нятием П. д. закрепляется достаточно об­ширная, но тем не менее ограниченная об­ласть исследований,связанных с теорией и практикой этих методик, являющихся в известном смысле антиподами традицион­ных психометрических. Тем самым П. д. отделяется от психологического тестиро­вания.

Сегодня в зарубежной литературе по­нятие П. д. используется: 1) как синоним психологического тестирования, 2) как получение данных о личности с помощью проективных методик (а также их разработка), 3) как теория и практика оценки психического состояния больных с помо­щью психологических тестов (в данном случае исходят из предложения ряда ав­торов, напр. С. Розенцвейг (1949), сохра­нить термин «диагноз» исключительно для обозначения каких-либо расстройств, отклонений). В советской психологии по­нятие П. д. для обозначения соответству­ющей области исследований появляется в конце 60-х гг.

Предыстория П. д. исчисляется многи­ми веками. Первые «тесты», предназна­ченные для определения индивидуальных психологических различий, были извест­ны более 4000 лет назад. История древ­нейших цивилизаций дает тому немало свидетельств. Достаточно вспомнить о том, что в Древнем Китае за 2200 лет до Рождества Христова была создана систе­ма отбора чиновников, которая охватывала весьма широкий спектр «проявлений личности» — от умения писать до поведе­ния в быту (подобной нет и по сей день!). Уже Платон хорошо понимал значение природных задатков, делающих людей не только отличающимися друг от друга, но влияющих и на их способности к тому или иному делу.

В конце XIX века в психологию прони­кает и быстро завоевывает популярность идея измерения. Психологическая наука получает возможность количественного выражения индивидуальных различий. Это способствует зарождению П. д., оформление которой в качестве самосто­ятельной области исследований заверша­ется в 20-е гг. нашего столетия. Значи­тельный вклад в становление П. д. внесли труды Ф. Гальтона, Дж. Кэттелла, Г. Эббингауза, Э. Крепелина, А. Бине и его сотр., других пионеров измерения индиви­дуальных различий.

Начавшись с попыток «охватить чис­лом операции ума» (Ф. Гальтон, 1879), с первых тестов интеллекта П. д. под не­посредственным воздействием обще­ственной практики пробует, и небезуспешно, свои силы в измерении других ин­дивидуально-психологических особеннос­тей. Уже в 20-е гг. появляются прообразы тех инструментов исследования личнос­ти, которые позднее будут названы проек­тивными методиками и опросниками. Однако этот период знаменуется и обра­зованием постепенно углубляющегося в П. д. разрыва между практикой и теорией. Заметное отставание теоретического уровня осмысления явлений, на измере­ние которых направлена П. д., от ее методического оснащения сохраняется и сегодня. Развитие П. д. с самого начала теснейшим образом связано с появлением и совершенствованием математико-статистического аппарата, и прежде всего корреляционного анализа и факторного анализа. С помощью психометрии и психометрии дифференциальной П. д. обосновывает требования, предъявляе­мые к измерению индивидуально-психологических различий.

В 40-50-е гг. в мировой П. д. сфор­мировались основные диагностические подходы (см. Психодиагностический ме­тод), была в той или иной степени завер­шена разработка всех наиболее извест­ных тестов (см. Векслера интеллекта измерения шкалы, Роршаха тест, Те­матической апперцепции тест, «Шес­тнадцать личностных факторов» оп­росник). В создаваемых в последующие годы за рубежом тестах, несмотря на не­уклонное возрастание их количества, нет принципиально новых идей и решений. Период временного «затишья» в П. д. пре­кращается в 60-е гг. обращением исследователей к анализу ситуаций, в которых осуществляется поведение.

Стимулом послужили работы, в кото­рых обосновывалось положение о том, что вариативность поведения объясняет­ся не индивидуально психологическими различиями, на которые прежде всего нацелена П. д., а ситуационными (В.Ми­шель, 1968 и др.). Хотя дискуссии продол­жаются и поныне, большинство исследо­вателей считают необходимым учет взаи­модействия индивидуально-психологичес­ких и ситуационных переменных. Это ста­вит перед П. д. задачу разработки новых инструментов исследования, более на­дежных и валидных, нежели имеющиеся сегодня.

В развитии П. д. в СССР можно выде­лить два периода. Первый следует отнес­ти к началу 20-х — до середины 30-х гг. Это годы массового применения тестов в народном образовании, профотборе и профориентации. Для того уровня разви­тия П. д. характерным является широкое заимствование зарубежных тестов. Со­здавались и собственные методики, но им, как правило, не хватало серьезного теоретического и экспериментального обосно­вания. Результаты тестовых обследова­ний нередко рассматривались в качестве решающих, абсолютизировались. В то же время советскими учеными был выдвинут ряд прогрессивных идей, разработка кото­рых могла бы способствовать развитию П. д. в нашей стране.

В эти годы в области П. д. плодотвор­но работали М. Я. Басов, М. С. Бернштейн, П. П. Блонский, С. Г. Геллерштейн, Н. Д. Левитов, А. М. Мандрыка, Г. И. Россолимо, М. Ю. Сыркин, И. П. Шпильрейн, А. М. Шуберт и др. Особо хотелось бы сказать о вкладе в развитие советской П. д. крупнейшего психолога Л. С. Выгот­ского. Его идея о диагнозе психологичес­ком в работе «Диагностика развития и педагогическая клиника трудного детства», вышедшей в свет в 1936 г., сохраняет свое значение и сегодня.

Постановлением ЦК ВКП(б) «О педо­логических извращениях в системе наркомпросов» (1936) был наложен запрет на применение бессмысленных (как там от­мечалось) тестов. По существу, данным постановлением были прекращены все психодиагностические исследования. По­надобилось около 40 лет, чтобы это на­правление исследований было полностью восстановлено в своих правах.

В конце 60-х гг. начинается второй пе­риод развития советской П. д., отмечен­ный бурными дискуссиями о месте ее в си­стеме психологического знания, принци­пах и методах, об отношении к зару­бежному опыту. Постепенно дискуссии уступают место взвешенному научному анализу существующих проблем, поиску их решения (В. М. Блейхери Л. Ф. Бурлачук, 1978; Бурлачук, 1979; Е. Т. Соколова, 1980; Психологическая диагностика: Про­блемы и исследования, 1981; М.М.Ка­банов, А. Е. Личко и В. М. Смирнов, 1983; Б.В.Кулагин, 1984; В.М.Мельников и Л. Т. Ямпольский, 1985; Общая психоди­агностика, 1987 и др).

Задачи, стоящие ныне перед П. д., сложны и многообразны. Нет такой обла­сти практического приложения психоло­гического знания, которая не нуждалась бы в помощи со стороны П. д. В то же время требуют безотлагательного решения методологические проблемы П. д., связан­ные с разработкой как общей теории, так и отдельных направлений исследований.

ПСИХОЛОГИЧЕСКАЯ ОЦЕНКА (psy­chological assessment) — результат ис­следований, целью которых является рас­крытие индивидуально-психологических особенностей личности, необходимых для понимания различных форм ее жизнедея­тельности в норме и патологии.

В последнее десятилетие понятие П. о. получило широкое распространение и ча­сто заменяет повсеместно использовав­шееся ранее психологическое тестиро­вание. Закреплено в названии ряда ведущих периодических изданий, посвящен­ных психологической диагностике (напр., «European Journal of Personality Assessment», «Journal of Personality As­sessment» и др.). П. о. — понятие более широкое, нежели психологическое тести­рование, поскольку оценка может прово­диться не только с помощью тестов. По­явление и распространение на Западе дан­ного понятия, однозначное определение которого отсутствует, вероятно, связано со стремлением исследователей подчерк­нуть существование внетестовых психо­логических оценок личности. Понятие П. о. иногда употребляется как синоним психологического тестирования.

«ПСИХОЛОГИЧЕСКИЕ ЗАТРУДНЕ­НИЯ» — опросник личностный. Пред­ложен Т. Л. Романовой в 1992 г. Предназ­начен для экспресс-диагностики уровня субъективных переживаний индивидом своих жизненных трудностей.

«П. з» состоит из 33 утверждений, ко­торые обследуемый должен оценить как «верные» или «неверные» по отношению к себе, напр.:

— Часто я ссорюсь с людьми из-за того, что у меня трудный характер;

— Я постоянно думаю о том, что мешает нашей семейной жизни;

— Меня очень волнует то, что я посте­пенно теряю контакт с моим ребенком.

При формулировании утверждений опросника автор исходил из содержания жалоб, с которыми обращаются клиенты психологических консультаций. Боль­шинство жалоб затрагивали четыре сфе­ры жизнедеятельности (что и было отра­жено в утверждениях). Это неудовлетво­ренность: 1) собой, своей жизнью в це­лом; 2) общением, межличностными кон­тактами; 3) отношениями с супругом; 4) отношениями с детьми.

Валидность опросника устанавлива­лась на основе сравнения результатов, полученных в контрастных группах (в каждой группе по 30 человек). Различия достоверны с высоким уровнем значимос­ти. Коэффициент корреляции (см. Корре­ляционный анализ) с внешним критери­ем — 0,526. Надежность по внутренней согласованности (по результатам обсле­дования 200 человек) достаточно высока (r = 0,71). Надежность ретестовая (ин­тервал 2 нед) — 0,63. Сообщается о нор­мативных данных, полученных на выбор­ке из 280 обследованных.

ПСИХОЛОГИЧЕСКОЕ ТЕСТИРОВА­НИЕ (psychological testing) — 1) процесс обследования с помощью психологическо­го теста (тестов), 2) направление иссле­дований, связанных с разработкой и ис­пользованием тестов как инструментов измерения индивидуально-психологичес­ких различий.

Понятие П. т. (2) близко понятию пси­хологическая диагностика в том смыс­ле, как оно используется в настоящем словаре-справочнике. Однако объем поня­тия «психологическая диагностика» шире, нежели П. т., поскольку первая включает область внетестовой диагностики. В пос­леднее время за рубежом, наряду с поня­тием П. т., все шире используется поня­тие психологической оценки.

ПСИХОЛОГИЯ ДИФФЕРЕНЦИАЛЬ­НАЯ — направление психологических исследований, которое «занимается изу­чением поведения и свойств личности, имеющих значительный разброс» (П. Хофсттатер, 1971). Понятие П. д. введено В. Штерном в 1900г.

Поскольку предметные области П. д. и психологической диагностики совпада­ют, нет необходимости в выделении соб­ственно дифференциально-психологичес­ких исследований. Предпринимались попытки отделить П.д. от психологи­ческого тестирования. При этом ука­зывалась ориентация П. д. на познание, проникновение в сущность, природу инди­видуальных различий, а за психологичес­ким тестированием оставляли исключи­тельно их измерение. Такая позиция ведет к разрыву между теорией и практикой измерения индивидуально-психологических особенностей личности.

ПСИХОМЕТРИЧЕСКИЙ ПАРА­ДОКС — явление, возникающее при ис­пользовании опросников личностных; его сущность состоит в том, что вопросы (утверждения), имеющие высокий пока­затель дискриминативности (см. Дискриминативность заданий теста), явля­ются неустойчивыми по отношению к повторяемости результата и, наоборот, стабильность ответа часто отмечается у тех вопросов, которые обладают низкой дискриминативностью.

П. Айзенбергом (1941) было показано, что вопросы, которые позволяют отли­чать больных неврозом от других больных или здоровых, являются ненадежными; иначе говоря, мала вероятность получения того же самого ответа при повторном обследовании. В то же время с помощью вопросов, определяемых как надежные, различение изучаемых групп не достига­лось или было неудовлетворительным. Позднее изучению этого явления, полу­чившего название П. п., были посвящены работы Л. Голдберга (1963) и М. Новаковской (1975).

П. п. не может быть объяснен без психологического анализа процесса фор­мирования ответов на вопросы личност­ных опросников. Согласно М. Новаковской, вопросы, оставаясь формально неизменными, подвержены семантическим (психологическим) преобразованиям как в плане интериндивидуальном, так и интраиндивидуальном. Интериндивидуаль­ная изменчивость обусловлена двумя причинами: различия в выраженности измеряемой черты (свойства) у разных обследуемых и различия в понимании значения вопросов. Интраиндивидуальная изменчивость обусловлена вариабельностью значения, трудностью принятия решения об ответе и флуктуацией выраженности черты (последний источ­ник изменчивости можно не учитывать, если интервал между повторными исследованиями невелик).

Для психологической интерпретации П. п. М. Новаковская предлагает разли­чать три детерминанты ответов: выражен­ность черты у обследуемого; значение, придаваемое вопросу; степень легкости принятия решения об ответе. Она подчер­кивает также необходимость отличать вопросы однозначные от многозначных, которые в известном смысле могут быть уподоблены проективным стимулам.

М. Новаковская предлагает различать два вида П. п. — типа А и типа В — и ис­ходить из следующих гипотез их возник­новения. Парадокс типа А возникает при вопросах, поддающихся различному истолкованию (многозначных), а также в том случае, когда трудно принять реше­ние об ответе. Такие вопросы имеют вы­сокий показатель дискриминативности при значительной вариабельности ответа. Парадокс типа В возникает при однознач­ных вопросах, для которых легко подо­брать ответ. Сюда же должны быть отне­сены т. н. односторонние диагностичес­кие вопросы, или те вопросы, для которых только один тип ответа является диагнос­тически значимым. Подобные вопросы характеризуются слабой дискриминатив­ностью и незначительно выраженной ва­риабельностью.

Необходимо учитывать П. п. при кон­струировании (адаптации) личностных опросников.

ПСИХОМЕТРИЯ (психометрика) (греч. ψυχη' — душа и μετρον — мера) — об­ласть психологии, связанная с теорией и практикой измерения психических явле­ний.

Понятие П. введено в 1734 г. Христиа­ном Вольфом, впервые указавшим на воз­можность измерения в психологии. Од­ним из первых измерений в психологии было измерение времени реакции. Поэто­му первоначально под П. понималось из­мерение временных характеристик психи­ческих процессов. Впоследствии, по мере развития психологического эксперимен­та, строящегося по образцу и подобию ес­тественных наук, к П. начинают относить все то, что связано с количественным оп­ределением психических явлений. При таком понимании, весьма распространен­ном и сегодня, П. включает в себя весь спектр психологических измерений — от психофизических до личностных.

Создание любого психологического инструмента измерения требует соблюде­ния определенных требований. Эти требо­вания касаются точности, достоверности и адекватности методики измерения, со поставимости получаемых с ее помощью результатов. Соответствие этим требова­ниям устанавливается путем применения специальных математико-статистических процедур (см. Валидность, Надеж­ность). Совершенствование математико-статистического аппарата, его разработ­ка, в свою очередь, прежде всего связаны с конструированием психологических те­стов. Подтверждением сказанного явля­ется то, что ряд современных статисти­ческих методов созданы в ходе решения психологических задач (см., напр., Фак­торный анализ). П., таким образом, по­лучает преимущественное развитие в пси­хологическом тестировании, поэтому не­удивительно, что в некоторых работах они отождествляются. Т. о., во многом благодаря развитию тестирования, в 20-30-е гг. формируется особая область психометрии, которая имеет дело с ин­дивидуальными психологическими разли­чиями, — психометрия дифференци­альная.

ПСИХОМЕТРИЯ ДИФФЕРЕНЦИ­АЛЬНАЯ (психометрика дифференци­альная) — область психометрии, опреде­ляющая и обосновывающая требования к измерению индивидуально-психологических различий в психологической ди­агностике.

П. д., как особое направление психо­метрии, возникла в связи с появлением и развитием психологических тестов и окончательно оформилась в конце 20-х — начале 30-х гг. нашего века. Основными направлениями П. д. являются: общая те­ория измерения психологических феноме­нов, конструирование на ее основе средств измерения, их психометрическая адаптация к новым условиям пользова­ния, а в связи с этим анализ задач тес­товых, обеспечение их валидности, на­дежности и стандартизации.

-Р-

РАВЕНА ПРОГРЕССИВНЫЕ МАТ­РИЦЫ (Raven Progressive Matrices) тест интеллекта. Предназначен для из­мерения уровня интеллектуального раз­вития. Предложен Л. Пенроузом и Дж. Равеном в 1936 г. Р. п. м. разрабаты­вались в соответствии с традициями анг­лийской школы изучения интеллекта, со­гласно которым наилучший способ измерения фактора G — задача по выяв­лению отношений между абстрактными фигурами. Наиболее известны два основ­ных варианта Р. п. м.: черно-белые и цвет­ные матрицы.

Черно-белые Р. п. м. предназначены для обследования детей и подростков в возрасте от 8 до 14 лет и взрослых в воз­расте от 20 до 65 лет (рис. 53).

Цветной вариант (более простой, чем черно-белый) Р. п. м. предназначен для обследования детей в возрасте от 5 до 11 лет, иногда рекомендуется для лиц стар­ше 65 лет. Материал черно-белого вари­анта теста состоит из 60 матриц или ком­позиций с пропущенным элементом. Зада­ния разделены на пять серий (А, В, С, D, Е) по 12 однотипных, но возрастающей сложности матриц в каждой серии. Труд­ность заданий возрастает и при переходе от серии к серии. Обследуемый должен выбрать недостающий элемент матрицы среди 6-8 предложенных вариантов. При необходимости первые 5 заданий серии А обследуемый выполняет с помощью экс­периментатора. Образцы заданий-матриц из черно-белого варианта Р. п. м. приведе­ны на рис. 53.

Рис. 53. Образцы заданий Равена прогрессивных матриц

При разработке теста была сделана попытка реализовать принцип «прогрес­сивности», заключающийся в том, что вы­полнение предшествующих заданий и их серий является как бы подготовкой обсле­дуемого к выполнению последующих. Происходит обучение выполнению более трудных заданий (Дж. Равен, 1963; Б. Зи­мин, 1962).

Каждая серия заданий составлена по определенным принципам.

Серия А. От обследуемого требуется дополнение недостающей части изобра­жения. Считается, что при работе с мат­рицами этой серии реализуются следую­щие основные мыслительные процессы: а) дифференциация основных элементов структуры и раскрытие связей между ни­ми; б) идентификация недостающей части структуры и сличение ее с представлен­ными образцами.

Серия В. Сводится к нахождению ана­логии между двумя парами фигур. Обследуемый раскрывает этот принцип путем постепенной дифференциации элементов.

Серия С. Задания этой серии содер­жат сложные изменения фигур в соответ­ствии с принципом их непрерывного раз­вития, обогащения по вертикали и гори­зонтали.

Серия D. Составлена по принципу пе­рестановки фигур в матрице по горизон­тальному и вертикальному направлениям.

Серия Е. Наиболее сложная. Процесс решения заданий этой серии заключается в анализе фигур основного изображения и последующей «сборке» недостающей фигуры по частям (аналитико-синтетическая мыслительная деятельность).

Обработка полученных результатов проста. Каждое верное решение оценивается в 1 балл. Подсчитываются общая сумма полученных баллов, а также число правильных решений в каждой из пяти се­рий. Первичные оценки по таблицам пере­водятся в соответствии с возрастными нормами в процентили или станайны (см. Оценки шкальные). Предусмотрена воз­можность перевода полученных результа­тов в IQ-показатель стандартный.

Существенным этапом количествен­ной обработки результатов обследования с помощью Р. п. м. является вычисление «индекса вариабельности». Индекс опре­деляют исходя из таблиц распределения числа правильных решений в каждой из пяти серий. Варианты распределений ре­шений в сериях были получены эмпири­ческим путем при анализе выполнения теста испытуемыми из выборки стандартизации. Варианты распределения по таб­лице определяются в соответствии с об­щей суммой баллов во всех сериях. Напр., при общей оценке в 26 «сырых» баллов оценки по отдельным сериям распределя­ются следующим образом: А — 10; В —7; С — 5; D — 3; Е — 1. Табличное распре­деление сравнивают с полученным в кон­кретном случае, разности ожидаемых и наличных оценок в каждой серии (без уче­та знака) суммируются. Полученная вели­чина и является «индексом вариабельно­сти». Нормальные значения индекса в пределах 0-4 свидетельствуют о досто­верности результата исследования. При увеличении индекса до критического зна­чения (7 и более) данные теста считают­ся недостоверными.

Сопоставление реального и ожидаемо­го распределения количества правильных решений в сериях направлено на выявле­ние испытуемых, выполнявших задание путем угадывания. Значение индекса вариабельности может оказаться значитель­но выше критического в случае установ­ки испытуемого симулировать низкий ре­зультат по тесту (демонстрация несосто­ятельности в решении самых простых за­дач).

Цветной вариант Р. п. м. состоит из трех серий — А, А_B, В по 12 матриц в каж­дой серии. Обработка полученных резуль­татов такая же, как в черно-белом вари­анте Р. п. м. Оба варианта могут быть использованы как в качестве теста скоро­сти (с ограничением времени выполне­ния заданий), так и теста результа­тивности (без ограничения времени) (Дж. Равен, 1963).

Р. п. м. основываются на двух теориях: разработанной гештальт-психологией те­ории перцепции форм и т. н. теории неогенеза Ч. Спирмена. В соответствии с те­орией перцепции форм каждое задание может быть рассмотрено как определенное целое, состоящее из ряда взаимосвя­занных друг с другом элементов. Предпо­лагается, что первоначально происходит глобальное оценивание задания-матрицы, а затем осуществление аналитической перцепции с выделением испытуемым принципа, принятого при разработке се­рии. На заключительном этапе выделен­ные элементы включаются в целостный образ, что и способствует обнаружению недостающей детали изображения. Тео­рия Ч. Спирмена развивает рассмотрен­ные положения теории перцепции форм.

Данные, полученные с помощью Р.п.м., хорошо согласуются с показателя­ми других распространенных тестов об­щих способностей. Так, коэффициенты корреляции между результатами теста (форма ABCDE) и WISC-R (см. Векслера интеллекта измерения шкалы) со­ставляют 0,70-0,74; для испытуемых в возрасте 9-10 лет — 0,91; Станфорд— Бине умственного развития шкалы — 0,66; Выготского—Сахарова теста — 0,54. Наиболее высока корреляция оце­нок Р. п. м. с группой арифметических те­стов (0,74-0,87).

Коэффициент надежности теста, по данным различных исследований, варьи­рует от 0,70 до 0,89. Средняя трудность заданий теста — 32,12%, показатель валидности прогностической теста (по связи с критериями успеваемости)— 0,72.

Существуют модификации Р. п. м. Одна из таких модификаций предложена автором (Дж. Равен в сотрудничестве с Д. Кортом, 1977, 1982). Оригинальный материал теста претерпел значительные изменения (усложнение заданий, введе­ние новых серий). Существенной особен­ностью является дополнение теста вер­бальной шкалой (Mill-Hill Vocabulary Sca­les), что, по мнению разработчиков, в немалой мере способствует расширению об­ласти применения теста. Интересная модификация Р. п. м., а также процедуры обследования предложена югославскими психологами (3. Буяс, 1961). В этом слу­чае предусмотрена дифференцированная форма оценки ответов обследуемых. От них требуется указать на три фрагмента из тех, которые предложены для воспол­нения матрицы: точно подходящий, под­ходящий более-менее и совершенно не­подходящий. Это дает возможность каче­ственной оценки результатов, отпадает также необходимость в использовании индекса вариабельности. Р. п. м. благода­ря простоте применения, валидности и на­дежности результатов, возможности группового обследования получили широ­кое распространение в психодиагностике.

В отечественных исследованиях тест успешно используется при обследовании детей и взрослых (С. М. Морозов, 1979, 1980 и др.).

«РАННИЕ ВОСПОМИНАНИЯ» ПРО­ЦЕДУРА (The Early Memories Procedure, EMP) — проективная методика иссле­дования личности. Предназначена для вы­явления т. н. проблемных зон личности на основе воспоминаний. Опубликована А. Брюном в 1992 г.

Первый этап работы с «Р. в.» п. связан с актуализацией у пациента 5 спонтанных ранних детских воспоминаний (early child­hood memories — ECMs), среди кото­рых — одно особенно ясное или важное воспоминание. Второй этап — 15 направ­ленных воспоминаний, в их числе как ECMs, так и более поздние воспомина­ния.

Автор предлагает когнитивно-перцептуальную модель для интерпретации по­лученных результатов.

Предлагается использовать «Р. в.» п. при поступлении пациентов в клинику. Методика предоставляет психологу воз­можность исследования проблемных об­ластей за минимальное время общения с пациентом, на основе чего составляется схема лечения. С помощью теста возмож­на помощь неопытным клиентам психоте­рапевта в адаптации к терапевтической ситуации.

Сведений об использовании в СНГ не имеется.

РАША МОДЕЛЬ — теоретическая мо­дель конструирования психологических тестов, предложенная Г. Рашем и лежа­щая в основе Раша шкал.

Разработка Р. м. связана с попыткой создания стандартизированных шкал, нормативные показатели которых были бы независимы от конкретной выборки стандартизации. При этом Г. Раш (1960) ориентировался на обоснование принци­пиально нового, отличного от норматив­ного оценивания и ипсативного оцени­вания подхода к построению психометри­ческой шкалы. Г. Раш в своей модели ис­ходит из того, что каждый человек реша­ет или не решает ту или иную тестовую за­дачу с определенной степенью вероятно­сти (см. Трудность заданий теста, «За­дание-ответ» зависимость). Исследуе­мой характеристике личности (X) в этой модели соответствует т. н. «способность индивида», вероятности решения тесто­вой задачи (D) — «трудность задания». Цель шкалирования по Рашу состоит в из­мерении характеристики личности с ис­пользованием соотношения X и D. По­скольку Г. Раш стремился к созданию про­порциональных шкал (см. Шкалы изме­рительные) с наличием абсолютной ну­левой точки измерения психологического качества, то для установления отношения X и D может быть выбрана любая популя­ция. Существует возможность перейти от некоторой эмпирически полученной час­тоты решения серии задач (отношение X_r /D., где r — измеряемая способность, а i — верное решение) к оценке вероятнос­ти решения любой из них. Другими словами, посредством соотнесения двух поряд­ковых шкал: рангового ряда серии зада­ний (r) и рангового ряда вероятностей ре­шения (р) образуется пропорциональная шкала. Логарифмированием коэффициен­тов

можно получить линейное аддитивное отношение разности (x_r – α_i), которое в терминологии Г. Раша обозначается «Logit». В результате получается про­стое линейное уравнение для определе­ния вероятностей (e_ri) решения задачи определенной степени трудности. При этом число неизвестных х _ги d_i в системе уравнений (каждое уравнение соответ­ствует конкретному индивиду) соответ­ствует числу заданий теста. Тем самым создается такой инструмент измерений, который позволяет, исходя из ряда эмпи­рически установленных отношений, оп­ределять психологическое качество, а иногда и оценивать степень его выражен­ности по отношению к «абсолютному нулю» («полная неспособность X» или «бесконечная простота D»). Таким обра­зом, структурная модель Раша, хотя и ис­ходит из объективной структуры требо­ваний, однако независима от популяции в том смысле, что для своего построения не нуждается в последней. Шкалирова­ние по трудности задач (в определенном смысле) всегда предполагает популяцию, которая, однако, непосредственно не оп­ределяет шкалу. Так, вероятность реше­ния, выраженная отношением X_r/D_i, не зависит от того, какая популяция исполь­зуется (Г. Витцлак, 1986).

РАША ШКАЛЫ — разновидность пси­ходиагностических методик, в которых реализован принцип конструирования шкалы и комплектации набора заданий с учетом «задание—ответ» зависимос­тей. При построении Р. ш. используется аналитико-статистический аппарат, сфор­мулированный в рамках Раша модели. Если задания в тесте различимы в терми­нах трудности (см. Трудность задач те­ста, «Задание—ответ» зависимость), то Р. ш. становится идентичной Гутмена шкалам.

Основным содержанием Р. ш. являет­ся построение последовательности зада­ний в тесте по возрастающей трудности. Показатели трудности при этом опреде­ляются независимо от случайных особенностей комплектации эмпирической выборки испытуемых. Трудность устанав­ливается дифференцированно в зависимо­сти от выраженности исследуемого каче­ства и способности к решению задач у ис­пытуемых. Метод шкалирования по Рашу позволяет разрабатывать однородные, вы­соко дискриминативные тесты (см. Внут­ренняя согласованность, Надежность по внутренней согласованности, Дискриминативность заданий теста), эф­фективно комплектовать эквивалентные наборы заданий (см. Параллельные фор­мы теста).

В практической психодиагностике Р. ш. пока не находят широкого распрост­ранения. Это связано с тем, что теорети­ческие основы и аналитический аппарат, опирающиеся на модель Раша, находятся еще в стадии разработки. Сложность практической реализации связана и с не­которыми теоретическими допущениями и требованиями модели, практическое вы­полнение которых затруднено (пренебре­жение угадыванием решений, требование принадлежности выборочной совокупно­сти заданий теста только одной гене­ральной совокупности заданий теста, тре­бование идентичной дискриминативности каждого из заданий). Конструирование Р. ш. технически невозможно без при­менения специальных компьютерных средств. Существенным недостатком Р. ш. является необходимость использо­вания многочисленных выборок для гра­дуирования заданий.

Шкалирование по Рашу может поро­дить бессмысленные шкалы. Так, шкали­рование опросника EPQ (см. Айзенка личностные опросники) привело к неко­ей смеси личностных шкал N, Е, Р и L (П. Клайн, 1988).

Несмотря на сказанное выше, постро­ение Р. ш. целесообразно в тех случаях, когда тестирование связано с хорошо описываемой выборочной совокупностью заданий, а также в тех случаях, когда желательна разработка коротких форм тестов и эквивалентных наборов заданий для повторного тестирования и определе­ния надежности. Особенно перспектив­ным представляется реализация принци­па построения Р. ш. при конструировании тестов индивидуально ориентирован­ных.

РЕВЕРСИВНЫЙ ТЕСТ —тест ин­теллекта, относящийся к группе невер­бальных, разработан А. В. Этфельдтом.

Тест применяется для проверки го­товности к обучению, чтению. Методика основана на определении степени ревер­сивной тенденции, то есть степени затруд­нений в различении зеркальных образов, которые являются естественной стадией развития зрительного восприятия у детей.

Задания заключаются в сопоставле­нии двух изображений, находящихся в прямоугольнике, и обнаружении среди них тех, которые не являются одинаковы­ми. Образы различаются отдельными деталями. Пример заданий приводится на рис. 54.

Рис. 54. Пример заданий реверсивного теста

Время выполнения не ограничено, за каждый правильный ответ начисляется 1 балл. Первичные данные переводятся в оценки 4-балльной шкалы, которые ин­терпретируются следующим образом: отсутствие готовности к обучению, чтению (1 балл), недостаточная готовность, тре­бующая более подробного изучения (2 балла), средний уровень готовности (3 балла), уровень готовности выше среднего (4 балла).

Возможно индивидуальное и группо­вое применение теста.

Сведения о надежности и валидности теста отсутствуют.

Данных об использовании в СНГ нет.

РЕГРЕССИОННЫЙ АНАЛИЗ (лат. regressio — движение назад), область ста­тистического анализа, изучающая зависи­мость изменений значений переменных от одной или нескольких независимых переменных (факторов).

Р. а. применим только по отношению к количественно выраженным переменным, измеряемым в интервальных шкалах (см. Шкалы измерительные). Основными процедурами Р. а. являются построение линий и нахождение уравнений регрес­сии. Под линией регрессии понимается линия, соединяющая точки средних зна­чений сгруппированных признаков-факто­ров (т. е. тех признаков, влияние которых на переменную изучается). Построенные таким образом линии в общем виде опре­деляют взаимодействие изучаемого показателя и одного (или группы) из объясня­ющих факторов, позволяют дать предварительную наглядную оценку воздей­ствия фактора на результирующий при­знак (рис. 55).

Рис. 55. Эмпирическая и выровненная линии рег­рессии средних оценок по тесту при лонгитюдном обследовании группы испытуемых

Уравнение регрессии (упрощенно уравнение парной регрессии, описываю­щее воздействие одного фактора на ре­зультирующий признак) строится следую­щим образом. Линейная зависимость при­знака описывается уравнением

у = а + bх,

где а — свободный член уравнения, b — коэффициент регрессии. С т. з. аналити­ческой геометрии b — угловой коэффици­ент, определяющий наклон линии ре­грессии по отношению к осям X, Y. В ас­пекте Р. а. этот параметр показывает, на­сколько в среднем величина признака Y изменяется при соответствующем изме­нении на единицу меры признака X. На­глядное представление об этом парамет­ре и о положении линий регрессии Y по X и X по Y в системе прямоугольных коор­динат дает рис. 56. Показано, что линии регрессии пересекаются в точке 0 (), соответствующей средним арифметическим корреляционно связанных друг с дру­гом признаков Y и X. Линия АВ, проходя­щая через эту точку, изображает полную функциональную зависимость между пе­ременными Y и X (коэффициент корреля­ции r = 1). Чем сильней связь между Y и X, тем ближе линии регрессии к АВ, и на оборот, чем слабее эта связь, тем более удаленными оказываются линии регрес­сии от АВ. При отсутствии связи между признаками (r = 0) линии регрессии ока­зываются под прямым углом по отноше­нию друг к другу.

Рис. 56. Линии регрессии X по Y и Y по X в системе прямоугольных координат

Для нахождения рассмотренных выше параметров (а, b) решается система урав­нений:

отсюда

или

или

К примеру, даны два ряда оценок ус­пешности выполнения теста. Пусть X — скорость выполнения; Y — количество ошибок. Расчет уравнения регрессии в данном случае приведен в табл. 22.

Таблица 22

Дата добавления: 2015-07-10