Результаты тестирования

После прохождения комплексного тестирования по методике «Профориентатор» клиент получает распечатку результатов, куда входит индивидуальный профиль с результатами по каждой шкале, списки сходных профессий по различным критериям, интерпретации результатов по всем шкалам теста, а также информация по рекомендуемым развивающим (тренинговым) программам.

Показатели по отдельным шкалам образуют так называемый факторный профиль, являющийся, по сути, индивидуальным психологическим портретом испытуемого. Факторный профиль сравнивается с «идеальными» профилями различных профессий, созданными экспертами на основе профессиограмм.

Результаты сравнения представляются в виде списка наиболее близких по профилю профессий с соответствующими коэффициентами сходства (полное совпадение – 1) – сначала по каждому блоку, затем программа формирует интегральный список профессий, комплексно оценивая результаты по всем трем тестовым блокам.

Рис. 1 и 2 представляют собой образцы факторных профилей реальных испытуемых. Балл по каждому фактору отображается в стандартной шкале стенов (от 1 до 10), где средним значением является 5,5, а средней зоной – от 3,5 до 7,5 стенов (среднее плюс-минус стандартное отклонение). Данная форма предоставления результатов позволяет каждому испытуемому сравнивать себя со своими сверстниками, так как нормы значений рассчитываются для каждой возрастной группы отдельно, опираясь на данные реальных испытуемых, прошедших тестирование по методике «Профориентатор».

Рис. 1. Образец диагностического профиля. Испытуемый X. Пол – мужской, 9 класс.

Рис. 2. Образец диагностического профиля. Испытуемая Y. Пол – женский, 10 класс.

Рассмотрев подробно полученный профиль, психолог может ответить на многие вопросы:

● какие профессии и почему подходят на основе анализа интересов, способностей и особенностей характера;

● в каком направлении продолжить обучение;

● в каких ВУЗах можно получить соответствующее образование;

● как выбрать школу или колледж;

● как можно скорректировать выявленные тестом слабые стороны характера;

● как развить «запущенные» сферы интеллекта;

● в каких развивающих тренингах рекомендуется принять участие.

II. Содержание психометрической работы

с методикой «Профориентатор»

1. Тестовая оболочка «Maintest»

Разработанная лабораторией «Гуманитарные Технологии» тестовая оболочка «Maintest» позволяет сохранять в едином формате все протоколы испытуемых, прошедших тестирование, а также производить дальнейшую статистическую обработку протоколов с целью психометрического анализа работы тестовой методики.

Постоянный поток клиентов нашего Центра в Москве, а также постоянное взаимодействие с партнерскими центрами из регионов[1] позволяет довольно быстро набирать необходимое для статистической обработки количество протоколов, поэтому как минимум раз в полгода тест проходит проверку на «качество», регулярно ведется активная работа по обновлению и коррекции банка вопросов и списка профессий.

2. Психометрические свойства методики «Профориентатор»

а) Надежность. Надежность теста отражает степень внутренней согласованности включенных в него шкал (операционально – это взаимная скоррелированность ответов на разные задания, входящие в одну шкалу). Надежность-согласованность определяется вычислением коэффициента Альфа-Кронбаха. Такой анализ проводился неоднократно – на всех этапах совершенствования методики. Последний анализ надежности-согласованности методики «Профориентатор» показал довольно высокий уровень – 0,79 для теста в целом.

Отдельно по шкалам наблюдается разброс значений. При этом обнаружение невысоких показателей коэффициента Альфа по отдельной шкале служит причиной более глубокого анализа шкалы и пересмотра отдельных пунктов либо концепции шкалы в целом. Пример – шкала «Общение»: при обнаружении невысокой надежности был проанализирован качественный состав вопросов, после чего они были заменены на более профессионально ориентированные, в отличие от общения в обыденной жизни.

б) Валидность. Под валидностью методики понимается степень соответствия получаемой информации диагностируемому психическому свойству. В практическом смысле валидность можно интерпретировать как «пригодность» методики для решения поставленной практической задачи – в данном случае, для задачи адекватной профессиональной ориентации подростка.

Рассмотрим на примере «Профориентатора» два типа валидности: валидность прогностическую и конструктную. Прогностическая валидность – важнейший вид валидности диагностической методики, который подтверждает её пригодность для выдвижения прогноза. Очевидно, что в случае профориентации задача прогнозирования особо актуальна. Исследование прогностической валидности методики производилось 3 года назад, когда был произведен обзвон клиентов с вопросом о выборе вуза и специальности. Другой вариант анализа валидности методики (корреляция профилей по тесту с фактом принадлежности к той или иной профессиональной группе) был произведен в рамках дипломной работы М. Енгалычевой под руководством А.Г. Шмелева. Выявленный уровень прогностической валидности – около 0,4 – 0,6 для разных экспериментальных ситуаций (для разных источников информации). Важно подчеркнуть, что само значение коэффициента корреляции не следует путать с вероятностью точного прогноза. Скромный уровень корреляции 0,4 означает вероятностную точность прогноза на уровне примерно 0,7 (уровень 0,5 случайного угадывания плюс примерно 40 процентов прироста).

Конструктная валидность – один из основных теоретических видов валидности, показывающий степень отражения исследуемого психологического конструкта в результатах теста. Конструктная валидность методики «Профориентатор» обеспечивается теоретической базой, заложенной в шкалы-факторы, а также проверяется на практике психологами-консультантами в рамках психодиагностической беседы.

Шкалы, обнаруживающие недостаточный уровень валидности, подробно анализируются и корректируются. Пример: результаты по шкалам «Лексика» и «Зрительная логика» не всегда совпадали в практике с данными самоотчета испытуемых. Более глубокий анализ показал, что данные шкалы недостаточно многогранно отражают исследуемое качество (например, явно доминировали задания на анаграммы для «Лексики» и задания с нахождением закономерностей в двух блоках рисунков для «Зрительной логики»). В результате были предложены принципиально новые идеи заданий на диагностику данных шкал, которые позволили преодолеть неоправданное сужение области валидности тестов.

Конечно, авторы статьи понимают, что наиболее убедительные данные о валидности теста «Профориентатор» можно было бы получить в случае мониторинга прогностичности теста, или иными словами – в случае возможности лонгитюдного исследования успешности рекомендованной профессиональной карьеры (хотя бы успешности профессиональной адаптации в рекомендованных вузах). Но в настоящее время решение этого вопроса вне выделения особого фонда (финансовых средств) для оплаты испытуемых (и их родителей), сотрудничающих с учеными, не представляется возможным. Однако, на этом фоне важным источником дополнительной информации о валидности теста для нас служила прослеженная в ряде случаев практика психологического тренинга «Внимания» и «Личностного роста» (см. соответствующую статью в данном сборника): после тренинга были зафиксированы повышения диагностического профиля именно по тем шкалам, на которые был направлен тренинг.

в) Достоверность. Достоверность – психометрическое свойство теста, обеспечивающее защиту его результатов от сознательных фальсификаций (лжи, неискренности испытуемых) или непреднамеренных мотивационных искажений.

Достоверность результатов методики «Профориентатор» обеспечивается самой процедурой проведения тестирования: в данном случае мы сталкиваемся с ситуацией клиента, самопознания, а не с ситуацией экспертизы. Опираясь на такую посылку, тест «Профориентатор», в отличие от теста «Профконсультант» для взрослых, решено было не перегружать шкалой социальной желательности. Кроме того, возможная недостоверность результатов (в случае неадекватной мотивации испытуемого) может быть скорректирована в процессе постдиагностической беседы между клиентом (и его родителями) и психологом, которая в обязательном порядке дополняет результаты компьютерного тестирования.

г) Репрезентативность. Репрезентативность – представленность свойств более широкого множества объектов в свойствах подмножества.

Репрезентативность методики «Профориентатор» обеспечивается на высоком уровне, поскольку выборка стандартизации насчитывает тысячи человек и по времени сбора данных и по характеру формирования фактически совпадает с выборкой испытуемых, на которых в дальнейшем этот тест используется.

Дата добавления: 2015-07-11