Тема 7. Процедура и алгоритм адаптации зарубежных тестов

План лекции

1.Понятие адаптации зарубежных тестов.

2. Этапы адаптации, требования к процедуре адаптации.

3. Актуальность психометрической проверки адаптируемых тестов.

1.Понятие адаптации зарубежных тестов.

Адаптация психодиагностической методики – это комплекс мероприя­тий, обеспечивающих адекватность теста в новых условиях его применения.

В отечественной психодиагностике осо­бую актуальность приобретает адаптация зарубежных тестов. Создание оригинальной методики или адаптация зарубежной ме­тодики не могут сводиться только к проверке (или перепроверке) от­дельных психометрических свойств - репрезентативности, надежно­сти, валидности, достоверности - в произвольной последовательнос­ти. В одних случаях целесообразно начинать с одного этапа работы, в других - с другого.

В действительности любая реальная ситуация использования те­ста не является ситуацией только «конструирования» или только «применения». Можно без преувеличения сказать, что существует конти­нуум между крайними полюсами:

«конструирование» __________________ «применение»

и каждая ситуация до определенной ступени удалена от обоих полю­сов. Трудно назвать такой случай, когда бы конструирование совер­шенно нового теста начиналось с нуля, «на пустом месте». Также труд­но найти и такие случаи, когда все аспекты тестирования были бы полностью неизменными и воспроизводили бы уже совершенно ис­следованную нормативную ситуацию применения готового теста.

Но все это многообразие ситуаций, всю комбинаторику независи­мых параметров психологи-практики, как правило, пытаются свести к двум-трем типовым ситуациям.

1. Ситуация применения. Тест кем-то разработан (возможно, В: других социокультурных условиях), известны тестовые нормы, полу­ченные на представителях данной языковой культуры (несоответствие выборки стандартизации и выборки применения по половозрастной структуре и профессионально-культурным признакам признается не­существенным).

2. Ситуация адаптации. Тест кем-то разработан – проверены на­дежность и валидность, но отсутствуют тестовые нормы (как правило, отсутствуют вообще для любых представителей данной языковой культуры). Задача адаптации сводится, таким образом, к построению тестовых норм.

3. Ситуация конструирования. Есть концепция психического свой­ства, но нет процедуры его измерения, удовлетворяющей требованиям места, времени, возможностям количественного анализа и ограничениям прочих ресурсов. Надо придумать измерительную процедуру, проверить ее надежности валидность, построить тестовые нормы.

Остановимся на вопросах адаптации переводных тестов. Путь быстрого пополнения репертуара ме­тодик за счет множества готовых зарубежных методик кажется мно­гим психологам наиболее экономичным, кратчайшим путем к надеж­ной и валидной психодиагностике. Но ведь если при этом адаптация сводится только к построению нормативного распределения тесто­вых баллов, то это означает, что валидность и надежность адаптированной методики в новых условиях принимаются на веру, а теорети­ческая концепция автора теста и содержание использованных им критериев валидности просто переносятся в наши условия без измене­ний (ведь для любой, в том числе и для невалидной и ненадежной методики, можно получить распределение).

Подобный перенос дает пренебрежимые погрешности только для тестирования относительно элементарных психических свойств (та­ких, как свойства нервной системы, функциональные состояния, сенсомоторные параметры, элементарные когнитивные функции, при­чем с использованием объективных процедур (психофизиологичес­кая регистрация, тесты с «физическими» критериями успеха и т. п.). При тестировании интегральных психических свойств личности и индивидуального сознания (черты, мотивы, установки, самооценка, общие способности, стиль общения, ценностные ориентации, инте­ресы и т. п.), а также при употреблении любых лингвистических средств в самой процедуре тестирования (включая не только форму­лировки задач, вопросов; но и исходную формулировку инструкции к тесту) и использовании культурно-специфических критериев оценки правильности результата (определения шкального ключа) ограничи­ваться только сбором тестовых норм при адаптации - недопустимо!

Требуется серьезная эмпирическая работа по проверке надежно­сти и валидности в новых социокультурных условиях, работа, факти­чески соответствующая по своему объему созданию оригинальной методики. С этой точки зрения, заимствование зарубежных общедиагностических тестов способностей, черт характера, интересов и т. п. вовсе не оказывается кратчайшим путем к психодиагностике. Этот путь кажется короче только тем, кто сознательно или по неведению пренебрегает принципами психометрики.

2. Этапы адаптации методики.

Можно выделить следующие основ­ные этапы адаптации теста:

—анализ исходных теоретических положений автора теста;

—перевод теста и инструкций к нему на язык пользователя, завершаемый экспертной оценкой соответствия оригиналу;

—проверка валидности и надежности теста, осуществляемая в соответствии с психометрическими требованиями;

— стандартизация теста на соответствующих выборках.

Перечислим необходимые этапы эмпирико-статистической рабо­ты при адаптации многомерного переводного тест-опросника.

1. Анализ внутренней валидности, внутренней согласованности пунктов, из которых состоит тест-опросник. Этот анализ совершенно необходим, если в зарубежной методике он применялся в качестве средства самого конструирования методики. Этот-анализ призван по­казать, что существует некое (еще неясно, какое именно) общее диаг­ностическое свойство, лежащее на пересечении всех эмпирических индикаторов (в центре «пучка» скоррелированных пунктов-векторов). Такой анализ обязателен по отношению ко всем тестовым шкалам, полученным с помощью факторного анализа, например к тест-опросникам EPI Айзенка и 16PF Кеттелла. А вот к опроснику «локус конт­роля» или ко многим основным клиническим шкалам MMPI требова­ние внутренней согласованности применять не обязательно, так как пункты в эти шкалы подбирались по внешнему критерию и не связа­ны в один «пучок». Анализ внутренней согласованности может быть применен и к одномерным, и к многомерным тестам. В первом слу­чае достаточно иметь настольный калькулятор. Для многомерных те­стов необходимо использование специальной компьютерной програм­мы «Анализ пунктов».

По отношению к негомогенным шкалам анализ внутренней со­гласованности позволяет осуществить в снятом виде необходимую проверку информативности пунктов (процент правильных или под­тверждающих ответов должен соответствовать оригинальной автор­ской версии).

2. Проверка устойчивости к перетестированию. Эта проверка со­вершенно необходима при диагностике свойств, по отношению к ко­торым теоретически ожидается инвариантность во времени. Анализ ретестовой надежности может быть (так же как анализ надежности -согласованности) совмещен с исследованием информативности от­дельных пунктов теста, а также, возможно, и устойчивости отдель­ных пунктов. Без сведений о ретестовой надежности психолог не имеет права использовать тест для построения любого элементарного ста­тического экстраполирующего прогноза (см. раздел 3.5).

3. Анализ корреляций с релевантным внешним критерием. Этот этап адаптации совершенно необходим, если тест разрабатывался из­начально как критериально-ориентированный, т. е. отбор пунктов производился на основании их корреляций с каким-то критерием валидности. Например, подобная работа проделана коллективом Ф. Б. Березина для сокращенной модифицированной версии MMPI (Березин Ф. Б. и др., 1976).

4. Проверка или рестандартизация тестовых норм. Об этом этапе уже говорилось выше. К сожалению, только этот этап работы по адап­тации тестов до недавнего времени признавался всеми психолога­ми как необходимый. Но и в этом случае далеко не всегда воспроиз­водилась необходимая статистическая работа по проверке устойчи­вости полученного распределения тестовых баллов к расщеплению выборки (см. раздел 3.1).

5. Специфичный этап для многомерных тестов - проверка вос­производимости структуры отношений между шкалами. Например, для теста Айзенка принципиальна ортогональность, статистическая независимость факторов «экстраверсия - интроверсия» и «нейротизм - стабильность». На воспроизводимости структуры связей шкал между факторами 16PF основывается корректность подсчета вторич­ных факторов (Ямпольский Л. Г., 1981; Мельников В. М., Ямпольский Л. Г., 1985).

Даже беглый взгляд на пять перечисленных этапов позволяет убе­диться в том, что адаптация зарубежных тестов мало чем уступает по объему эмпирико-статистической работы созданию оригинальных ме­тодик. Здесь было бы даже более адекватным использование не тер­мина «адаптация», а выражения «исследование зарубежной методики на отечественной выборке».

Особые проблемы возникают в связи с адаптацией разных видов опросников, а также вербальных субтестов, входящих в состав тестов интеллекта. Основные препятствия для исследователя связа­ны с языковыми и социокультурными различиями между народами разных стран.

Лингвистический аспект адаптации теста озна­чает приспособление его лексики и грам­матики к возрастной и образовательной структуре контингентов населения, пла­нируемых для обследования, учет коннотативного значения языковых единиц и категорий. Не меньшие сложности свя­заны с социокультурными различиями. Отражающимся в языке особенностям культуры того общества, в котором созда­вался тест, трудно, а порой и невозможно найти эквиваленты в другой культуре. Полная эмпирическая адаптация теста во многих случаях не уступает по сложности разра­ботке оригинальной методики.

3. Актуальность психометрической проверки адаптируемых тестов.

В 60-70-х гг. адаптация теста в нашей стране по­нималась упрощенно, ее нередко сводили к переводу той или иной зарубежной ме­тодики, в лучшем случае ограничиваясь построением нормативного распределе­ния тестовых показателей. Теоретические концепции авторов тестов не анализиро­вали, данные об их надежности и валидности принимали за истинные.

Затем, в 80-е гг., вопросы адаптации различных за­рубежных тестов все чаще становятся предметом обсуждения советских пси­хологов, а позднее — психологов СНГ. Разрабатываются соответствующие реко­мендации (Ю. Л. Ханин, 1985; А. Г.Шме­лев и В. И. Похилько, 1985; Ю. М. Забро­дин с соавт., 1987, Л. Ф. Бурлачук, 1993 и др.). Требования, предъявляемые к адаптации тестов, предполагают высокую профессиональ­ную культуру психолога, широкое исполь­зование специальных технических прие­мов, в том числе на основе современной вычислительной техники.

Работа с зарубежными методиками должна проводится интенсивно и планомерно. Особен­но по отношению к тем методикам, которые уже получили между­народное распространение, доказали свою кросскультурную универ­сальность, адаптированы и успешно применяются во многих стра­нах. Создание отечественных эквивалентов международных тестов позволяет использовать международный опыт валидизации, теоре­тического осмысления и практического использования этих тестов. Сравнение результатов, структурно-функциональных характеристик адаптированных зарубежных и отечественных тестов позволит рос­сийским психологам глубже понять, установить на конкретно-эмпи­рическом уровне специфику влияния образа жизни на психологи­ческий склад личности россиян, раскрыть разнообразие историчес­ких и актуальных детерминант, обусловливающих социально полез­ные и социально вредные тенденции в психологической диф­ференциации индивидов в современных условиях, что совершенно необходимо для научного управления процессами воспитания и фор­мирования человека.

Особые задачи ставит перед психологом ситуация «внутрикуль-турного переноса» теста на новую популяцию, отличающуюся от вы­борки стандартизации половозрастными или профессионально-куль­турными особенностями. В этом случае необходимо:

1. Проверить валидность методики в том случае, если методи­ка чувствительна по своему содержанию к профессиональной или региональной специфике (могут ли отвечать пенсионеры, или школьники, или жители отдаленных регионов на вопросы, подра­зумевающие типичные ситуации из жизни студента, обучающего­ся в крупном городе европейской части России?). Для этого надо выбрать по возможности максимально экономичную процедуру проверки валидности. Размеры выборки в эксперименте по про­верке валидности должны быть такими, чтобы можно было наде­яться на получение статистических значимых связей между тестовым показателем и критерием валидности (это, как правило, не менее 30 испытуемых).

Если результаты проверки валидности оказываются неудовлетво­рительными (коэффициент корреляции явно ниже 0,5, и дальнейшее наращивание выборки все равно не оправдает применение теста со столь низким показателем валидности), то по собранным результатам следует произвести простейший анализ пунктов: посмотреть, не ока­зались ли некоторые пункты явно неинформативными (все испытуе­мые отвечают одинаково), не оказались ли некоторые вопросы явно бессмысленными или слишком «прямыми», социально значимыми в данной ситуации. Не исключено, что при исключении неудачных пун­ктов из подсчета тестового балла (после приравнивания С=0).,искомая валидность будет обнаружена.

В отсутствие доступного внешнего критерия необходимо прибегнуть к проверке внутренней валидности, консистентности методики.

2. Проверить соответствия тестовых норм. Только после получения позитивного результата при проверке валидности целесооб­разно расширять выборку и реконструировать эмпирическое распределение тестовых баллов (см. раздел 3.1). Квантили этого распреде­ления необходимо сравнить с квантилями нормативного распреде­ления; если расхождения оказываются пренебрежимыми (не превышают ошибку измерения), то, можно принять вывод о приложимости к данной популяции универсальных тестовых норм. Но на к практике чаще возникают значимые отличия (оценка близости двух распределений производится по формуле (3.1.15) на с. 9.6). В этом случае психолог должен построить так называемые частные тесто­вые нормы, причем не только для использования в собственной диагностической практике, но и для пополнения информационно-ме­тодического банка данных отечественной психодиагностики (копию таблицы распределения тестовых баллов психолог должен послать в тот диагностический методический центр, с которым он поддер­живает методические связи - получает методические материалы, проходит переподготовку и т. п.).

Подчеркнем, что абсолютное большинство ситуаций, которые обычно расцениваются как ситуации «применения», на самом деле являются ситуациями более или менее серьезного «внутрикультурного переноса». Именно эти обстоятельства предопределяют высокий уровень требований к психометрической подготовке психологов-психодиагностов.

Психодиагностика как специфический институт, реализованный в форме управляющего кольца «наука - практика - наука - практи­ка...», достигнет оптимальных режимов в своем функционировании, если любые попытки конструирования и применения любых тестов будут тщательно документироваться, будут доступны для повторения в любом звене (исследовательском или практическом) психологичес­кой службы. При обеспечении эффективной информационной базы, оперативных форм информационной связи между звеньями этой сис­темы (как методологическими, так и практическими) всякое практи­ческое применение тестов станет одновременно и работой по созда­нию новых методик.

[1] Если на основе диагноза известное психологу административное решение производится автоматически, то это все равно не означает, что юридическая (и административная) ответственность за это решение лежит на психологе, хотя подобная ситуация, безусловно, налагает на психолога повышенную моральную ответственность.

[2] Существует мнение, что подобная практика в Китае сложилась значительно позже (Воскресенский Д. М. Человек в системе государственных экзаменов // Исто­рия и культура Китая. М., 1974).

[3] Значение z_j определяется после стандартизации шкалы в единицах стандартно­го отклонения:

Дата добавления: 2015-07-10