Студопедия
Случайная страница | ТОМ-1 | ТОМ-2 | ТОМ-3
АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатика
ИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханика
ОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторика
СоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансы
ХимияЧерчениеЭкологияЭкономикаЭлектроника

Психологическое тестирование

Читайте также:
  1. Неисправности и тестирование параллельных портов
  2. ОБЩЕПСИХОЛОГИЧЕСКОЕ ПОНЯТИЕ МЫШЛЕНИЯ
  3. ПОЛИГРАФНОЕ ТЕСТИРОВАНИЕ КАК ОДНО ИЗ ДЕЙСТВЕННЫХ СРЕДСТВ БОРЬБЫ С ОРГАНИЗОВАННОЙ ПРЕСТУПНОСТЬЮ
  4. Пробное тестирование 12-22.12.09 (лечебный, педиатрический, стоматологический)
  5. Психологическое использование ОН-карт
  6. Психологическое сопровождение
  7. Психологическое состояние новорожденного

На практике при отборе персонала применяются два основных тина психологических тестов: тесты когнитивных способностей и лич­ностные опросники. Если говорить несколько обобщенно, когнитив­ные тесты позволяют дать оценку таких интеллектуальных способно­стей, о которых говорилось в главе 2 при рассмотрении индивидуаль­ных отличий умственных способностей человека. В настоящее время выпущены многие когнитивные тесты, которые можно приобрести,


142 ■ Глава 8. Методы отбора: психометрия

предназначенные для оценки фактора £'(общего интеллекта) и его раз­личных субкомпонентов, таких как пространственное мышление, вы­числительные и вербальные способности. Личностные опросники в основном предназначены для выявления склонности людей вести себя в определенных ситуациях определенным образом.

Когнитивные тесты

В отношении когнитивных тестов мы располагаем более обшир­ными и убедительными сведениями, чем для любых других существу­ющих методов отбора персонала. В Великобритании, США и еще не­скольких странах было проведено большое число исследований, на­правленных на выявление критериальной валндпости когнитивных тестов, в которых участвовали сотни тысяч человек. До конца 1970-х го­дов психологи считали, что когнитивные тесты могут иметь опреде­ленную ценность в некоторых ситуациях, но при этом не было едино­го мнения по поводу того, могут ли они эффективно использоваться при любых обстоятельствах. Большинство специалистов придержи­валось мнения, что для того, чтобы когнитивный тест или любой дру­гой метод отбора мог принести пользу, необходимо провести исследо­вание критериальной валпдности, ориентированное па условия кон­кретной организации. Эта точка зрения была основана на том, что в проведенных исследованиях когнитивных тестов были получены раз­ные коэффициенты валндпости; отличия часто оказывались весьма значительными. В то время многие специалисты просто не понимали, что большие расхождения результатов разных исследований во мно­гом объяснялись небольшими размерами выборки, что часто имело место в работах того времени. В конце 1970-х — начале 80-х годов ра­боты двух американских исследователей, Джека Хантера и Фрэнка Шмидта, позволили психологам получить совершенно новое представ­ление по поводу доказательств валндпости большинства методов от­бора, в частности когнитивных тестов. Шмидт и Хантер посвятили этому вопросу несколько очень убедительных статей (обзор можно найти в работе Murphy, 1988), в которых показали, что после коррек­тировки данных с учетом различных факторов, таких как размер вы­борки и ограничение используемого диапазона оценки, оказалось, что исследования тестов когнитивных способностей показывают чрезвы­чайно согласованные между собой результаты. Этим достаточно ясно была подтверждена валидность когнитивных тестов в самых разнооб­разных ситуациях. Другими словами, такие тесты можно использовать


 

Психологическое тестирование ■ 143

для прогнозирования работы человека в большинстве сфер профес­сиональной деятельности.

Но очевидным причинам это открытие имело самые значительные последствия в сфере отбора персонала. Можно сделать вывод, что при выборе возможных методов отбора персонала всегда следует рассмот­реть возможность использования теста общего интеллекта (g). Тем, кто не является профессиональным психологом, возможно, будет не­сколько сложно интерпретировать данные, приводимые в качестве показателя критериальной валидпости фактора g. Причина этого в том, что в большинстве значительных аналитических исследований применяются сложные статистические методы (см. мета-анализ Hun­ter and Schmidt, 1990) и представление результатов в разных исследо­ваниях не унифицировано. 11апример, все авторы мета-аналитнческнх исследованnii осуществляют определенную корректировку исходных данных, по при этом некоторые из них и коэффициенты дают с неко­торыми поправками, тогда как другие этого не делают. По этой при­чине перед тем, как тем или иным образом интерпретировать приво­димые исследователями коэффициенты, важно точно понимать, ка­кие поправки были осуществлены. Часто коэффициенты для тестовg без учета поправок оказываются нисколько не выше, чем у широко признаваемых процедур отбора. Тем не менее наиболее интересным свойством результатов Tecrag является то, что они относительно мало варьируют в зависимости от условии проведения теста, и, как уже от­мечалось, почти в любой ситуации имеет смысл рассмотреть воз­можность применения теста общего интеллекта. Проводятся такие тесты достаточно быстро и просто, а интерпретация их результатов осуществляется относительно несложными методами, но при этом для нее требуются специально подготовленные кадры. Иногда имеются достаточно основательные причины для того, чтобы отказаться от применения теста на общие умственные способности. Примером си­туации, где такой тест оказался бы не особенно полезен, являются слу­чаи, когда весьма вероятно, что уровень способностей всех кандида­тов окажется примерно одинаковым (например, когда производится отбор выпускников вузов).

Кроме того, следует более внимательно отнестись к принятию ре­шения об использовании теста общих умственных способностей в слу­чаях, когда возможности представителей различных национальных и других подгрупп при прохождении теста оказываются неравными. Ре­зультаты различных исследований непротиворечиво свидетельству­ют о том, что представители некоторых этнических групп (например,


144 ■ Глава 8. Методы отбора: психометрия

чернокожие американцы) часто получают более слабые результаты по тестам когнитивных способностей. То же мерно и для представиге­лей определенных социально-экономических групп. Интересно, чго тесты могут оказываться более или менее благоприятными для лю­бых подгрупп кандидатов: например, при выполнении теста интелле­кта с учетом культурном гомогенности представителей черной расы (Black Intelligence Test of Cultural Homogeneity, BITCH) более высокие баллы получаютафроамериканиы. Очевидно, что и случае, когда про­цедура отбора персонала включает когнитивные тесты, кандидаты, получившие па этих гестах более низкие баллы, и в целом отчитают­ся ниже и, соотиетствеппо имеют меньше шансов быть принятыми па работу. По причинам социального, этического и практического харак­тера те, кто принимает кадровые решения, должны крайне вниматель­но отнестись к этому вопросу. Данная проблема остается.малоразре­шимой, поскольку еще до сих пор никому не удалось разработать тест для проверки умственных способностей, результаты выполнения ко­торого не зависели бы от принадлежности к определенным подгруп­пам. Проблемы такого характера, связанные с применением когнитив­ных тестов, вызвали у некоторых людей весьма негативное отноше­ние к их применению в сфере отбора персонала. Другие же считают, что поскольку эти тесты позволяют обобщенно и адекватно прогно­зировать успешность профессиональной деятельности, было бы нера­зумно прекратить их использование.

Важно четко различать критериальную валидность теста и возмож­ность неблагоприятного влияния па определенную подгруппу, боль­шинство психологов считают, что тест является справедливым по от­ношению к различным подгруппам в том случае, если число ошибок при прогнозировании будущей деятельности для какой-либо одной подгруппы не выше, чем для других подгрупп (Clcary, 1968). Другими словами, тест справедлив, если он одинаково адекватно прогнозиру­ет профессиональную успешность представителей любых подгрупп. Представляется, что это совершенно оправданный взгляд на справед­ливость тестов. Имеющиеся на сегодняшни/! день данные с достаточ­ной определенностью показывают, что при прогнозировании с помо­щью когнитивных тестов число ошибок в отношении разных подгрупп отличается только в небольшой степени (см. Schmitt. and Noe, 1986). К сожалению, и справедливый тест не исключает того, что определен­ные группы испытуемых получат более низкие баллы. Например, при проведении теста, оценивающего пространственное мышление, жен­щины могут получить несколько менее высокий балл, чем мужчины,


 

Психологическое тестирование ■ 145

тогда как при тестировании вербальных способностей преимущество почти всегда принадлежит женщинам. Каждый из этих двух тестов мог бы обеспечить достаточно точное прогнозирование выполнения определенных задач как женщинами, так и мужчинами. Отбор мень­шего числа кандидатов из какой-либо определенной подгруппы часто будет считаться социально неприемлемым, поэтому в каждом кон­кретном случае следует уделить особое внимание тому, какую роль могут играть в процессе отбора персонала тесты когнитивных способ­ностей. Нее же, несмотря па некоторые проблемы, есть много ситуа­ций, когда использование когнитивных тестов окажется выгодным и для кандидатов и для организаций. В этих случаях полезно будет об­ратиться к регулярно обновляемому комплексному обзору большин­ства используемых в Великобритании когнитивных тестов (Bartram et al., 1990). '

Личностные опросники

Л ич носги ые он роен и ки самоотчета дают возможность легко полу­чить представление о характере и направленности кандидата. Основ­ные характеристики личности были рассмотрены нами в главе2. При рассмотрении пригодности личностных тестов для отбора персонала важнее всего ответить на вопрос: «Дают ли зги тесты такую информа­цию, с помощью которой можно более точно прогнозировать профес­сиональное поведение человека?» Убедительные подтверждения бы­ли получены относительно недавно, и представляется, что ответил» па этот вопрос можно утвердительно. Возможно, это кажется неуди­вительным. Факторы характера, такие как эмоциональная устойчи­вость и зкетравертнрованиость, играют значительную роль в повсе­дневной жизни, и было бы странно предположить, что они не оказы­вают какого-либо влияния па профессиональную деятельность.

В 1980-е годы проводились исследования, в которых валидноеть личностных опросников оценивалась с помощью приемов мета-анали­за: использовались методы, во многом напоминающие способы оцеп ки критериальной валидпости тестов умственных способностей. Ре­зультаты первых исследований были далеко не такими положитель­ными, как при анализе тестов умственных способностей (см. Schmitt et al., 1984). Сведения, полученные в последующих исследованиях (обзор которых можно найти в работе Robertson, 1993, 1994), были значительно более позитивными, но при этом были также получены и данные, указывающие на то, что личностные методы должны раз­рабатываться намного тщательнее, чем это представлялось ранее.


146 ■ Глава 8. Методы отбора: психометрия

По сути было выявлено, что исследуемые личностные конструкты должны быть связаны с конкретными аспектами профессиональном компетентности, которые, в свою очередь, связаны с выполнением профессиональной деятельности (рис. 8.1). Например, добросовест­ность (черта характера) имеет отношение к склонности ставни, цели (профессиональная компетентность), связанной с большей произво­дительностью труда (профессиональная деятельность) в тех сферах, где сотруднику предоставляется некоторая свобода выбора в вопро­сах собственной деятельности.

Наиболее важные данные о личностных опросниках были получе­ны в результате проведения серии метааналитических исследований, опубликованных в начале 1990-х годов (Tell et. al., 1991; Barrick and Mount, 1991; Robertson and Kinder, 1993). Одним из важных результа­тов, полученных в ходе исследований, было то, что личностные опрос­ники, внимание которых сосредоточено на определенных аспектах, могут иметь достаточно высокие коэффициенты валидности, что вид­но и на примере треста «Юникэр».

В своей работе, имеющей важное методологическое значение, Тетт и др. (Tett et al., 1991) показали, что, когда личностные характеристи­ки определялись па основе априорных гипотез и анализа профессио­нальной деятелыюстп, выявлялся.чначрггельпо более высокий коэффи­циент валидности, чем в случаях, когда такая подготовка не проводи­лась. Исследователи опирались иа систему характеристик «Большой пятерки»; наиболее высокий уровень общей валидности был обнару­жен в отношении благожелательности (0,22). Эти данные несовсем со­гласуются с результатами, полученными Барриком и Мауптом, не вы­явившими достаточных подтверждений критериальной валидности для благожелательности, по обнаружившими достаточно хорошие показатели в отношении добросовестности и открытости для опыта. Робертсон и Киндер (Robertson and Kinder, 1993) при исследовании критериальной валидности различных личностных конструктов, вы­бранных на основе «Личностного опросника для применения в про­фессиональной сфере» {OccupationalPersonality Questionnaire), теста, специально разработанного для использования на промышленных предприятиях (см. главу 2), воспользовались заранее определенными гипотезами. Показатели валидности от 0,09 до более 0,30 были выяв­лены для таких характеристик, как приспособляемость (0,09), гиб­кость (0,20) и аналитические способности (0,32).

 


 



148 ■ Глава 8. Методы отбора: психометрия

I fa данный момент, несомненно, еще недостаточно убедительных доказательств, на основе которых можно было бы прийти к однознач­ным заключениям по поводу валидпости оценки личностных конст­руктов, специфических для определенных сфер профессиональной деятельности;:-)То достаточно ясно можно понять из того, насколько отличаются результаты, полученные разными исследователями, упо­минавшимися выше. Нее же имеются достаточные основания предпо­лагать, что is сфере отбора персонала вполне возможно применение личностных гестов при условии, что они хорошо продуманы и имеют заданные характеристики. Так, исследования показали, что откры­тость для опыта (т. е. интеллект, любопытство и широта кругозора) и зкстравертировапность (т. е. разговорчивость, активность, уверен­ность в себе) связаны с успешным прохождением профессиональной подготовки в самых различных профессиональных сферах. Известно также, что торговые агенты, имеющие высокие показатели добросо­вестности (т. е. трудолюбивые, настойчивые, ориентированные па до­стижения) более, чем остальные, склонны ставить перед собой цели, с чем, в свою очередь, связывается больший объем продаж и более вы­сокая оценка работы этих сотрудников их непосредственными руко­водителями. Ьолее того, как добросовестность, так и экстравертиро-ванность тесно связаны с уровнем выполнения управленческих задач, особенно в тех случаях, когда сотруднику предоставлена значитель­ная степень самостоятельности. Напротив, сотрудники, обладающие высоким уровнем благожелательности (т. е. вежливые, снисходитель­ные, склонные доверять людям), показывают более низкие результа­ты в тех случаях, когда должны действовать в значительной степени самостоятельно; на этом примере видно, как сочетание ситуативных требований и фактора направленности влияет на профессиональную деятельность. Все эти исследования в целом позволили сделать вы­вод о том, что конкретные черты личности связаны с определенными аспектами выполнения работы, что достаточно убедительно говорит о неприемлемости бездумного подхода к личностному тестированию.

Эта точка зрения проявляется и в том, насколько резкую критиче­скую оценку некоторые психологи дают формам измерения личност­ных характеристик, широко распространенным в сфере отбора пер­сонала. И (.«которые из критических замечаний затрагивали проблему того, что исследователям при определении валидности инструментов для определения личностных характеристик следует обратить особое внимание на используемую методологию. Эти замечания полезны тем, что позволяют противостоять склонности некоторых людей к приме-

 

Психологическое тестирование ■ 149

нению любых способов измерения личности без разбора, так как они убеждены в том, что в результате обязательно будет получена какая-либо полезная информация о кандидатах. Вполне вероятно, что об­щие методики оценки личностных качеств могут выявить необходи­мые сведения о кандидатах; все же в том случае, если у специалиста по персоналу не будет ясного представления, основанного на тщатель­ном анализе профессиональной деятельности и других источников информации, весьма вероятно, что необходимые сведения будут не­доступны из-за «шума в канале связи».

Наконец, стоит отметить п еще один вывод, полученный на основе проведенных исследований. Нобертсоп и Кпндер (Robertson and Kin­der, 1993) рассматривали вопрос о том, позволяют ли личностные те­сты получить дополнительную полезную информацию о профессио­нальном поведении кандидата. Очевидно, что если существует воз­можность получить сведения, выявляемые на основе личностных опросников, с помощью каких-либо других, более простых способов, то совершенно неразумно будет тратить время и прилагать усилия, включая в процесс отбора кадров личностные опросники. Робертсоп и Киндер поставили цель выявить, могут ли личностные тесты внести важный вклад в критериальную валидиость, достигаемую при исполь­зовании одних только когнитивных тестов. Были получены достаточ­но убедительные результаты, показывающие, что полученная па ос­нове личностных опросников важная информация, касающаяся про­фессионального поведения кандидатов, не дублировала результатов когнитивных тестов.

Специализированные личностные тесты

Существует множество личностных тестов, но лишь немногие из них были специально разработаны для использования на предприя­тиях. Для отбора кадров наиболее часто применяется разработанный в США тест 16PF, которому посвящены многочисленные исследова­ния, в том числе и в отношении его валидности. Существуют четыре несколько отличные формы 16PF: формы А и В — длинные, в каждой по 187 вопросов, а формы С и D представляют собой короткий вари­ант теста (каждая состоит из 105 вопросов). Следует отметить, что короткие варианты теста были разработаны для других целей и не должны применяться при отборе персонала. При использовании форм АиВ возможно применить «детализирующие уравнения», позволяю­щие подсчитать баллы в отношении других факторов, таких как ли­дерский потенциал, готовность органично вписаться в условия новой


150 ■ Глава 8. Методы отбора: психометрия

работы, творческие способности и т. п. Широкое распространение те­ста 16PF связано, возможно, с тем фактом, что в руководстве по про­ведению теста приводятся детализирующие уравнения для почти сот­ни различных профессий.

В Великобритании также был разработан личностный опросник, специально предназначенный для использования в организациях; это «Личностный опросник по профессиональной деятельности» (Occu­pational Personality Questionnaire, OPQ), созданный компанией «Савил и Холдсворт» (Saville and Ihldsworth Ltd) в 1985 году. Это не один опросник, а комплекс из девяти взаимосвязанных опросников, имею­щих различную длину и формат, и у пользователя есть возможность выбрать уровень детализации, подходящий для той или иной должно­сти. В наиболее длинных вариантах представлены тридцать понятий. В более коротких версиях измеряется несколько факторов, определен­ных на основе этих тридцати понятий. Оценивание проводится с по­мощью трех различных форматов, а именно оценки ответов на вопро­сы типа «да-пст», шкалы рейтинга и вопросов с выбором ответа из нескольких вариантов. Рекомендуется применять две нары оценоч­ных форматов. Следует отметить, что сотрудники, проводящие тест, должны пройти специальную подготовку, и даже опытному пользова­телю для интерпретации результатов может потребоваться от одного до двух часов.

В настоящее время предлагаются и другие личностные опросни­ки, и не все они одинаково полезны. Иногда приобретение организа­цией того или иного тес га определяется влиянием энергичного аген­та, занимающегося распространением тестов, без учета практических характеристик. Кажется, что вполне реалистично мыслящие в других ситуациях менеджеры часто весьма некритично подходят к рассмот­рению личностных опросников. Это было достаточно наглядно про­демонстрировано в исследовании, специально посвященном этому во­просу. Нескольким руководителям отделов персонала, принимавшим участие в одной конференции, предложили заполнить один из опуб­ликованных личностных тестов. После этого все кандидаты, ни о чем не подозревая, вместо настоящих результатов получили одну и ту же подборку описаний характера, сделанную на основе книг по астроло­гии. Приведем в качестве примера одно из этих утверждений: «Ино­гда вы экстравертированны, приветливы и общительны, но в некото­рых случаях бываете интровертировапны, подозрительны и замкну­ты». Затем каждого руководителя попросили оценить точность этих утверждений, и 80% участников эксперимента нашли характеристик


Психологическое тестирование ■ 151

ку своей личности либо просто хорошей, либо потрясающе точной. Этот эксперимент ясно показывает, что приоритетом должна являться практическая пригодность теста, хотя сам выбор между различными видами тестов сделать чрезвычайно сложно. Британским психологи­ческим обществом выпущен подробный обзор личностных тестов, подходящих для тестирования в профессиональной сфере (Bartram, 1995), кроме того, опубликованы требования к компетентности про­водящих тестирование сотрудников.

При выборе личностного он росника организации должны руковод­ствоваться тем, насколько он имеет отношение к выявленным при анализе профессиональной деятельности квалификационным харак­теристикам, а также психометрическими возможностями; при этом особенно важно учесть надежность и валидность теста. Смит и Роберт-сон (Smith and Robertson, 1993) считают, что после тога, как эти фа­кторы будут учтены, весьма полезно будет уделить внимание и неко­торым другим аспектам, например:

• затраты: подготовка сотрудников, которым предстоит проводить тест, печать брошюр с тестами и бланков для ответов; выпуск ру­ководств по проведению теста и ключей для выставления баллов, ежегодные лицензионные выплаты;

• время: доставка, на что может потребоваться несколько месяцев; время, необходимое для проведения теста; время, требующееся для подсчета результатов; затраты в случае, если оценивание выпол­няет разработчик или поставщик теста;

• адекватность прилагаемого к тесту руководства пользователя, под которой может подразумеваться:

а) легкость понимания;

б) четкая формулировка назначения теста;

в) понятные инструкции по использованию теста;

г) попятные инструкции по начислению баллов за тест;

д) данные о валидности и надежности, необходимые для правиль­
ной интерпретации результатов теста;

е) нормы результатов для поступления на должности, для отбора
на которые приобретается тест.

Кроме этого, будет полезно получить информацию о том, как был разработан и создан конкретный тест, а также ознакомиться с мнени­ями рецензентов.


152 ■ Глава 8. Методы отбора: психометрия

Фальсификация данных

Одним из вопросов, который учитывают специалисты по подбору персонала, является то, в какой степени ответы на личностные тесты могут быть подделаны. Фальсификацию обычно называют «социаль­ной желательностью»; принято считать, что она может определяться двумя элементами, а именно самообманом п умением производить впечатление (Paulhaus, 1989). Под самообманом подразумевается чрезмерный оптимизм кандидата в отношении положительных черт собственной личности, одновременно с чем наблюдается стремление преуменьшать значение тех аспектов, которые считаются отрицатель­ными. Умением производить впечатление называется попытка канди­датов показаться «подходящими», за которой стоит боязнь социаль­ного неодобрения. Сочетание этих двух аспектов может приводить к тому, что при ответе на опросники самоотчета люди пытаются пока­зать себя выгодным образом.

Имеется большое число сведений о том, что результаты многих личностных тестов могут быть фальсифицированы, но значительная часть исследований на эту тему проводилась па материале студентов университетов, получивших задание фальсифицировать содержание своих ответов. Исследования, проводившиеся с участием настоящих кандидатов на должности, показали, что подавляющее большинство не фальсифицировало ответы. Например, Хог и др. (Hough el al., 1990), проводя исследование критериальной валидпости, сравнили ответы 245 «лжецов» (уже работающих на предприятии сотрудников) и 125 кандидатов на должности. «Лжецам», получившим задание со­здать искаженное описание своей личности, вполне удалось это сде­лать, тогда как в ответах кандидатов на должности не наблюдалось каких-либо искажений. Важно, что, невзирая на фальсификацию, кри­териальная валидностьдля различных личностных конструктов оста­валась стабильной. Мнение о том, что в большинстве случаев ответы под влиянием социальной желательности имеют крайне незначитель­ное влияние на результаты исследований поведения в организаци­онном контексте, в значительной степени подтверждается недавним мета- аналитическим исследованием, в котором рассматривался ши­рокий спектр переменных, связанных с работой организаций (Moor­man and Podsakoff, 1992).

Все же тем кадровым специалистам, которых серьезно беспокоит возможность фальсификации при проведении отбора, можно посове­товать следующие пути решения этой проблемы:


Биографические данные ■ 153

• предупредить людей о возможных последствиях фальсификации (таких, как отказ в приеме на работу);

• разработка шкалы, выполняющей функцию «детектора лжи» (их подготовку желательно поручить специалистам, например, лицен­зированному психологу, специализирующемуся в области профес­сиональной деятельности);

• использование других, дополнительных сведений, например при­менение «тестов на честность» (об этом речь пойдет дальше в этой главе) для принятия решений в отношении тех, чьи ответы при­знаны фальсифицированными.


Дата добавления: 2015-08-09; просмотров: 79 | Нарушение авторских прав


Читайте в этой же книге: Факторы, влияющие на принятие решений по результатам собеседования. | Подготовка сотрудников для проведения собеседований | Выполнение образца работы | Тесты на выполнение образца работы | Тесты профессиональных знаний | Преимущества и недостатки тестов на выполнение образца работы. | Ассессмент-центр | Упражнения на анализ документов | Обсуждения в группах | Оценочные стандарты |
<== предыдущая страница | следующая страница ==>
Методы отбора: психометрия| Биографические данные

mybiblioteka.su - 2015-2024 год. (0.015 сек.)