Психометрические критерии научности психодиагностических методик

Любое психологическое исследование или психодиагностика могут производиться качественно или некачественно по разным причинам. Для оценки качества диагностических (или исследовательских) процедур используется ряд показателей: валидность, достоверность, надежность, репрезентативность [1]. Каждый из этих показателей характеризует определенные размерности качества диагностики.

Валидность – это характеристика степени, в которой тест измеряет то, для измерения чего он предназначен. Например, если тест ориентирован на измерение психической устойчивости учащегося, то он должен измерять только эту переменную и никакую другую. На 100% это требование реализовать не всегда удается, но необходимо стремиться к этому.

Существуют различные виды и способы определения (доказательства) валидности [4; 28].

Очевидная валидность – описывает представление о тесте, сложившееся у испытуемого. Тест должен восприниматься обследуемым как серьезный инструмент познания его личности, чем-то схожий с вызывающим уважение и в какой-то мере трепет медицинским диагностическим инструментарием. Очевидная валидность приобретает особое значение в современных условиях, когда представление о тестах в общественном сознании формируется многочисленными публикациями в популярных газетах и журналах того, что можно назвать квазитестами, с помощью которых читателю предлагается определить все, что угодно: от интеллекта до совместимости с будущим супругом.

Конкурентная валидность оценивается по корреляции разработанного теста с другими, валидность которых относительно измеряемого параметра установлена. П. Клайн отмечает, что данные о конкурентной валидности полезны тогда, когда есть неудовлетворительно работающие тесты для измерения некоторых переменных, а новые создаются для того, чтобы улучшить качество измерения. В самом деле, если уже существует эффективный тест, то для чего нужен такой же новый?

Прогностическая валидность устанавливается с помощью корреляции между показателями теста и некоторым критерием, характеризующим измеряемое свойство, но в более позднее время. Например, прогностическая валидность какого-либо теста интеллекта может быть показана корреляцией его показателей, полученных у испытуемого в возрасте 10 лет, с академической успеваемостью в период окончания средней школы. Л. Кронбах считает прогностическую валидность наиболее убедительным доказательством того, что тест измеряет именно то, для чего он был предназначен. Основная проблема, с которой сталкивается исследователь, пытающийся установить прогностическую валидность своего теста, состоит в выборе внешнего критерия. В особенной степени чаще всего это касается измерения личностных переменных, где подбор внешнего критерия – чрезвычайно сложная задача, решение которой требует немалой изобретательности. Несколько проще обстоит дело при определении внешнего критерия для когнитивных тестов, однако и в этом случае исследователю приходится «закрывать глаза» на многие проблемы. Так, академическая успеваемость традиционно используется в качестве внешнего критерия при валидизации тестов интеллекта, но в то же время хорошо известно, что успехи в обучении – далеко не единственное свидетельство высокого интеллекта.

Инкрементная валидность имеет ограниченное значение и относится к случаю, когда один тест из батареи тестов может иметь низкую корреляцию с критерием, но не перекрываться другими тестами из этой батареи. В этом случае данный тест обладает инкрементной валидностью. Это может быть полезно при проведении профотбора с помощью психологических тестов.

Дифференциальная валидность может быть проиллюстрирована на примере тестов интересов. Тесты интересов обычно коррелируют с академической успеваемостью, но по-разному для разных дисциплин. Значение дифференциальной валидности, так же как и инкрементной, ограничено.

Содержательная валидность определяется через подтверждение того, что задания теста отражают все аспекты изучаемой области поведения. Обычно она определяется у тестов достижений (смысл измеряемого параметра полностью ясен!), которые, как уже указывалось, тестами собственно психологическими не являются. На практике для определения содержательной валидности подбираются эксперты, которые указывают, какая область (области) поведения наиболее важна, например, для музыкальных способностей, а затем, исходя из этого, генерируются задания теста, которые вновь оценивают эксперты.

Конструктная валидность теста демонстрируется полным, насколько это возможно, описанием переменной, для измерения которой предназначается тест. По сути дела, конструктная валидность включает в себя все подходы к определению валидности, которые были перечислены выше. Л. Кронбахи П.. Мил (L. Cronbach & P. Meehl, 1955), которые ввели в психодиагностику понятие конструктной валидности, пытались решить проблему отбора критериев при валидизации теста. Они подчеркивали, что во многих случаях ни один отдельно взятый критерий не может служить для валидизации отдельного теста. Можно считать, что решение вопроса о конструктной валидности теста представляет собой поиск ответа на два вопроса: 1) существует ли реально некоторое свойство; 2) надежно ли измеряет данный тест индивидуальные различия по этому свойству? Вполне понятно, что с конструктной валидностью связана проблема объективности в интерпретации результатов по изучению конструктной валидности, однако эта проблема общепсихологическая и выходит за рамки валидности.

Из вышесказанного следует, что не существует какого-либо единичного показателя, с помощью которого устанавливается валидность психологического теста. Тем не менее разработчик должен представить весомые доказательства в пользу валидности теста, что потребует от него психологических знаний и интуиции.

Другим показателем качества обследования (или диагностической процедуры), связанным с валидностыо, является достоверность.

Достоверность характеризует устойчивость измерительной процедуры к фальсификации и линейной зависимости сопутствующих переменных. Она отличается от валидности в ситуациях, когда испытуемый пытается намеренно исказить ответ или измеряемая характеристика линейно связана с какой-либо иной характеристикой. Для повышения достоверности используются различные приемы типа: введение дополнительных шкал (лжи, коррекции); построение опросников из супервопросов (сочетание обычных вопросов о поведении или предпочтениях); использование признаков, независимых от диагноза и др.

Еще одна размерность качества диагностики − это надежность. Надежность оценивает согласованность показателей, полученных на тех же самых испытуемых при повторном тестировании тем же самым тестом или эквивалентной его формой. Другими словами, тест должен воспроизводить через определенное время один и тот же результат на фиксированной выборке испытуемых при условии, что за это время, согласно теоретическим представлениям, данная характеристика значимо не изменяется.

Существует три основных метода оценки надежности:

− повторное тестирование (ретестовая надежность);

− параллельное тестирование (эквивалентная надежность);

− расщепление (согласованность).

В первом случае проводится повторное тестирование тем же тестом одних и тех же испытуемых. Во втором − используются две эквивалентные формы теста. Для оценки согласованности тест расщепляется на две части и проводится обследование одной группы испытуемых двумя частями теста.

Валидность и надежность соотносятся между собой как предмет и объект измерения. Если надежность − это показатель устойчивости процедуры относительно объектов измерения, то валидность − характеристика устойчивости результатов измерения свойств объектов, т.е. устойчивость относительно предмета измерения. Измерительная процедура надежна, если она отличает что-то от чего-то, но неизвестно, что именно различается. Достоверность − это устойчивость измерительной процедуры, в частности, к фальсификации, т.е. намеренному искажению.

Репрезентативность характеризует способность выборки испытуемых быть представительной, т.е. достаточно точно (адекватно) отражать характеристики контингента испытуемых. Репрезентативность (соответствие нормам тестирования) − это свойство выборочной совокупности людей, т.е. группы или ряда групп, на основе анализа качеств которых разработан тест (например, студентов, выпускников СГСЭУ, общий уровень социальной компетентности которых определяется), представлять генеральную совокупность всех лиц, обладающих подобными типологическими характеристиками (в данном случае − всех студентов страны или даже мира − в зависимости от конкретного содержания теста).

Тест репрезентативен тогда, когда использованная при его разработке выборка обоснована и присущие ей характеристики достаточно равномерно распределены в генеральной совокупности. Репрезентативность позволяет классифицировать результаты тестирования (например, выделять высокий, средний и низкий уровни социальной компетентности). Если тест нерепрезентативен, то предлагаемые им оценки выраженности свойств будут неприменимы за пределами выборки (в данном случае − студентов СГСЭУ, т.е. применительно к учащимся других вузов).

Репрезентативность отражается внорме теста, представляющей собой средний уровень развития большой совокупности людей, похожих на данного испытуемого по ряду социально-демографических характеристик. То есть норма теста − это средний уровень распределения выявляемых с его помощью характеристик в большой группе людей (генеральной совокупности), на применимость в которой претендует тест. В большинстве случаев тестовые нормы определяются с помощью усреднения результатов тестирования большой выборки людей одного пола и примерно одинакового возраста и дифференциации полученных результатов по важнейшим показателям. Нормы тестов могут изменяться в результате динамики развития самого человека и смены условий его жизнедеятельности. Так, например, нормы интеллектуального развития людей в начале прошлого века были значительно ниже, чем в его конце.

С репрезентативностью теста связана его адаптированность. Если репрезентативность характеризует равномерность распределения исследуемых качеств и усредненность оценок тестирования, учитывающих показатели во всей «большой», генеральной совокупности, то адаптированность теста означает учет национальных (в там числе социальных) и региональных особенностей при использовании тестов, их критическое переосмысление в свете этих особенностей. При использовании тестов, разработанных в иной социально-культурной среде, в проверке и переоценке нуждаются нормы, валидность и надежность тестов и даже их применимость в целом.

Проблема адаптированности тестов особенно остро встала в последние годы в связи с широким заимствованием западных тестовых методик и попытками их прямого (без внесения необходимых корректив) использования.

Дискриминативность − это дифференцирующая, различающая способность теста в целом или отдельного тестового задания отделять испытуемых с высоким общим баллом по тесту от тех, кто получил низкий балл. Дискриминативность означает различительную способность тестового задания. Если все испытуемые дают на тестовое задание один и тот же ответ, то это означает, что данное задание не обладает дискриминативностью. Коэффициент дискриминативности рассчитывается с применением крайних групп (например, отличники и двоечники). Существует два подхода для выбора крайних групп: 1) количество испытуемых в крайних группах одинаково (берут по 27% от общего количества); 2) берут группы с высоким и низким показателем испытуемых, после чего вычисляется количество учеников, попавших в группы. Дискриминативность задания определяется обычно как разность между относительной численностью испытуемых, справившихся с заданием, из высокопродуктивной и низкопродуктивной группы. Для личностных тестов «высокопродуктивной» (или просто «высокой») называется группа испытуемых, примыкающих к высокому полюсу измеряемого фактора; нередко их называют также «экстремальными», или «контрастными» группами. Если высокопродуктивная группа определяется по внешнему критерию (успеваемость, производительность труда и т.п.), то дискриминативность совпадает с внешней валидностью пункта [1; 4; 8; 18 и др.].

Дата добавления: 2015-07-11