Психосемантика черт личности 8 страница

Компьютерная тестовая система ТЕСТАН (Shmelyov, 1996) позволяет Для одного и того же протокола по желанию экспериментатора в любой

момент построить и профиль 16РФ, и профиль I6PF, и профиль MMPI (хотя и с приближенной точностью, корреляция с оригинальными шкалами — в районе 0,5), и профиль из астрологических конструктов.

В 1997 году был начат сбор нормативных данных и коррекция ключей для параллельной формы 16РФ-Б, включающей 280 «личностных» вопросов и 20 заданий на интеллект. В форму Б было заложено определенное отличие — при формулировании самих пунктов автор отошел от попытки как можно точнее выразить смысл соответствующих лексических единиц (кластеров) ТЛЧ, что создавало определенную тяжеловесность в формулировках вопросов. Пункты формы Б изначально формулировались под концепцию факторов 16РФ; а также факторов 16PF. От этого формулировки пунктов носят более облегченный, традиционный характер — они просто короче, содержат меньше слов. Вопросник 16РФ-Б оказался более легкой формой для выполнения людьми с более низким образовательным уровнем: он доступен лицам с неполным средним образованием.. Ключи и нормы к тесту 16РФ-Б отрабатывались уже на выборке в 656 человек. На этой же представительной выборке производился эксплораторный факторный анализ пунктов.

В приложении к данной книге приводится полный текст 16РФ-Б. Любой читатель может выполнить этот вопросник и послать свои ответы по электронной почте [e-mail] (заголовок Protocol 16RF-B) или ввести свои ответы для обработки в специальном он-лайн бланке на нашем сервере в МГУ: http://www.ht.ru.

Большая Пятерка на материале 16РФ

Воспроизводимость факторной структуры Большая Пятерка на материале вопросника, созданного на основании таксономической факторной модели (табл. 4), вряд ли может кого-то особенно удивить. Тем более не удивительна возможность показать эти факторы на основе ключей, составленных по этим факторам (табл. 3), ведь в таком случае производился конфирматорный, а не эксплораторный факторный анализ.

В этой ситуации нам важно было проверить, в какой степени методом эксплораторного факторного анализа можно получить первые пять факторов, хотя бы напоминающих факторы Большой Пятерки. Результаты такого анализа проиллюстрированы в табл. 5. Легко видеть, что содержание пунктов со значимыми нагрузками позволяет интерпретировать эти факторы в соответствии с концепцией Большой Пятерки.

Таблица 5

Пункты из формы Б 16РФ, имеющие значимые нагрузки по первым пяти варимакс-факторам.

Фактор 1. Вес 3,2% ДРУЖЕЛЮБИЕ (МОРАЛЬНОСТЬ). В5.2 (-48)

129. Когда меня кто-то обманывает или оскорбляет, я всегда стремлюсь проучить подлеца.

(-46)

135. Каждый думает исключительно о своих собственных интересах.

(-45).

238: Самое опасное — это недобитый враг.

(-41)

72. В отношениях с людьми лучше следовать принципу: «Доверяй, но проверяй».

(29)

123. Если на улице поблизости нет урны:

1 — я скорее положу обертку или окурок в карман или сумку;

2 — не знаю, как ответить;

3 — брошу ее на мостовую.

Фактор 2. Вес 3,2%. АКТИВНОСТЬ (ЭКСТРАВЕРСИЯ). В5.1

(52)

133. Я могу увлечь людей, выдвинув новый и неожиданный план.

(51)

233. Люди считают меня веселым и компанейским человеком.

(48)

67. Когда мне поручают руководить группой, я спокойно начинаю давать

распоряжения.

(44)

34. Если сегодня что-то не вышло, я верю в то, что завтра получится обязательно.

(-32)

149. Я стараюсь всегда одеваться скромно, чтобы не вызывать лишних

разговоров вокруг себя.

1 — верно; 2 — не знаю; 3 — неверно.

(-31)

38. На работе лучше не высовываться, пока тебя не спросят.

(-30)

70. Моему способу действий подходит девиз «Тише едешь — дальше будешь»: 1 — верно; 2 — не знаю; 3 — неверно.

Фактор 3. Вес 2,9%. ЭМОЦИОНАЛЬНАЯ СТАБИЛЬНОСТЬ. BS.4

(46)

58. Если про меня кто-то скажет, что я делаю много ошибок, то скорее

всего, я буду ошибаться еще больше.

(46)

263. После ссоры мне настолько трудно настроиться на дела, что может пропасть целый день. (43)

138. Когда мне делают замечания, это сильно задевает меня. (42)

183. Мне приходят в голову страшные мысли, если близкий человек задерживается где-то по непонятным причинам.

(-37)

21. Я никогда не расстраиваюсь из-за пустяковых размолвок с окружающими.

(-29)

51. Я предпочитаю решать свои личные вопросы, не прибегая к помощи

других людей.

Фактор 4. Вес 2,4%. СОЗНАТЕЛЬНОСТЬ (САМОКОНТРОЛЬ). В5.3.

(45)

100. Когда у меня есть задание, я приступаю к его выполнению сразу, так как предпочитаю отдыхать и развлекаться только после того, как все сделаю.

(45)

256. В своих делах я стараюсь не принимать поспешных решений и следую

принципу «Семь раз отмерь, один —отрежь».

(37)

116. Я считаю, что нельзя вступать в интимные отношения с человеком,

которого знаешь всего несколько дней.

(-35)

156. Нередко я принимаю такую дозу спиртного, что испытываю состояние

опьянения.

(34)

46. Вид неубранной комнаты вызывает у меня раздражение.

(-34)

148. Бывало так, что я тайком съедал(а) чужую долю чего-то вкусного.

(32)

105. Перед покупкой я всегда точно рассчитываю, сколько у меня после

этого останется денег.

Фактор 5. Вес 2,3%. ИНТЕЛЛЕКТ. В5.5

(56)

4. Укажите, какое слово позволяет закончить слово «ПРОТО...»

и одновременно начать слово «...ЕНО»

1 — ПОП;

2 — ПОЛ;

3 — КОЛ.

(46)

13. Продолжить ряд: 4+/+++/++++/+++++/...

1 — ++++; 2 — +++++; 3 — ++++++.

(43)

17. Указать закономерный вариант:

хох хоо ооо

0X0 ОХХ?

1 — хоо; 2 — ххх; 3 — оох. (42)

18. Указать закономерный вариант:

abc cab bca

123 312?

1 — 213; 2 — 312; 3 — 231.

(40)

10. Сколько сейчас времени, если известно, что до конца суток осталось

вдвое меньше того времени, которое прошло от их начала?

1 — 4 часа утра; 2 — 4 часа дня; 3 — 8 часов вечера.

Для тех исследователей, которые, возможно, захотят перепроверить наш результат, поясним важное требование к объему и характеру выборки, которое мы выяснили в ходе собственных исследований. Наличие у нас оперативной возможности (в рамках компьютерной системы ТЕСТАН) производить факторный анализ пунктов фактически в любой момент позволило изучить эффект выборки — проверить, какое влияние оказывает объем выборки на воспроизводимость главных факторов. Оказалось, что, пока выборка насчитывает менее 200—300 человек (и особенно в тех случаях, когда она однородна — составлена, например, только из студентов психологического факультета), факторы из Большой Пятерки чаще всего не выделяются в «чистом виде»: происходят различные трансформации факторного пространства, выражающиеся прежде всего в определенных сцеплениях¹. И только когда выборка по своей численности «переваливает» за 500, мы можем рассчитывать получить достаточно определенные и независимые (не сцепленные между собой) факторы Большой Пятерки. И то это оказывает-

¹ Происхождение этих сцеплений легко пояснить. Предположим, что в нашей выборке преобладают меланхолики, то есть лица, у которых наблюдаются одновременно низкие баллы по Экстраверсии (В5.1) и Эмоциональной стабильности (В5.4), что, кстати, типично для выборки студентов-психолого в. В этом случае полюса соответствующих факторов оказываются сцепленными, и в пространстве появляется самый мощный фак-тор, который можно назвать «Сангвиничность-меланхоличность», а элипсоид, описывающий изображающие точки, оказывается вытянутым из левого верхнего в правый нижний квадрант (см. рис. 5).

ся возможным только в том случае, если выборка достаточно уравновешена хотя бы по полу и возрасту (в ней должны встречаться примерно поровну мужчины и женщины, лица старше и младше 30 лет).

Значение полученного нами результата на материале пунктов 16РФ-Б будет подробнее обсуждаться в следующей главе.

РАЗРАБОТКА ПРОГРАММНО-МЕТОДИЧЕСКИХ СРЕДСТВ

Данная исследовательская программа, как уже говорилось во введении, не могла быть реализована вне интенсивного использования современных компьютерных средств. Можно определенно выделить три периода, в рамках которых стратегия и масштаб использования компьютерных средств в нашей работе существенно различались:

• до 1988 года — использование компьютеров для обработки данных;

• 1988—1996 — программные комплексы для персональных компьютеров;

• начиная с 1997 года — тестирование в Интернете.

■

1976—1987— использование компьютеров дня обработки данных

Хотя в этот период (особенно в 80-е годы) в нашей стране уже стала складываться практика использования стандартных пакетов статистических программ (вначале BMDP на ЕС-ЭВМ, а затем Systat, Statgraphics, SPSS на персональных компьютерах), тем не менее, возможности этих стандартных пакетов нас постоянно не удовлетворяли.

Во-первых, долгое время эти пакеты лимитировали размерность обрабатываемых массивов так, что с их помощью можно было производить факторный анализ лишь нескольких десятков переменных. А нам надо было анализировать корреляции (коэффициенты близости) для сотен и тысяч переменных. Именно это позволяли написанные нами (совместно с В. И. Похилько, Г. П. Бутенко) авторские программы (на алгоритмических языках Бейсик, Фортран, PL-l, Паскаль).

Во-вторых, эти пакеты не включали ряд необходимых нам алгоритмов анализа. Например, такой вид анализа, который мы назвали «клайк-анализ»¹ {Шмелев, 1981; Шмелев, Похилько, 1985) и который позволял выявлять

¹ Конечно, с точки зрения корректности перевода с английского, надо было бы использовать выражение «клик-анализ», но уж очень тогда казался неблагозвучным по-русски термин «клика»: таким словом советская пропаганда обзывала тогда коррумпированную верхушку антинародного правительства в недружественных странах.

пересекающиеся кластеры личностных черт. Первая подобного рода программа была написана нами в 70-е годы еще на самом простом языке-интерпретаторе Бейсик. Да и в применении стандартных алгоритмов нам явно не хватало гибкости. Например, стандартные процедуры факторного анализа долгое время не позволяли производить вращение произвольного количества главных компонент (а не только всех значимых), производить ортогональное вращение пары осей к заданному вектору (так, чтобы главная ось прошла через точку, изображающую положение какого-то термина) и т. п.

В-третьих, эти пакеты (особенно первое время) не обладали гибким сервисом по импортированию (загрузке) данных в разнообразных пользовательских форматах. Так что в случае больших массивов все равно приходилось дописывать вспомогательные программы, которые приспосабливали бы данные для их ввода в стандартные пакеты программ.

Начиная с 1982 года, когда на факультете психологии МГУ появились первые дисплейные, или, как тогда говорили, многотерминальные классы (под управлением мини-ЭВМ СМ-4 и «Электроника-100»), начались работы над созданием программных средств, которые автоматизировали бы не только обработку, но и проведение психодиагностических (тесты и вопросники) и психосемантических (шкалирование) экспериментов. Но созданные в то время программные комплексы (HanpHMep_s КСИДО, Соколов и др., 1987) не были ориентированы на «отчуждение» — на передачу другим пользователям. Настоящая работа над созданием программного инструментария, обладающего необходимой гибкостью и необходимым пользовательским сервисом, началась с появлением массовых персональных компьютеров.

1988—1996— программы

для персональных компьютеров

С появлением в МГУ первых персональных компьютеров в стандарте IBM стало реальностью создание достаточно мощных, универсальных и гибких программных систем, позволяющих автоматизировать практически все этапы исследования по созданию психометрических тестов:

• разработка первоначальной версии теста (избыточной по набору пунктов);

• проведение пилотажного тестирования в режиме диалога;

• анализ результатов, включая анализ пунктов, отсев «неработающих» пунктов;

• коррекция ключей и набора вопросов, создание новой (как правило, сокращенной) версии;

• построение системы интерпретационных правил и сообщении (на основе тестовых норм и профилей);

• сдача теста в эксплуатацию с использованием дополнительных возможностей диалогового режима для контроля за достоверностью (контроль по шкале социальной желательности и т. п.).

Почему нам представляется важным посвятить несколько слов особенностям тестовых программных систем? Дело в том, что академические

работы по изучению таксономии личностных черт и трансформаций ЛСП в индивидуальном сознании получили ясный и вполне насущный прикладной выход и во многом стали ориентироваться на этот прикладной результат. Речь идет о создании систем автоматизированной интерпретации тестовых результатов.

Выше мы уже упоминали о разработке такой специализированной программной системы, как ТЕЗАЛ — «автоматизированный тезаурус личностных черт». Здесь же необходимо хотя бы кратко упомянуть две другие инструментальные программные системы, во многом определившие ход событий в лаборатории автора в 90-е годы. Это ТЕСТАН — автоматизированная система ТЕСТирования и АНализа тестовых данных. А также ЭКС-ПАН — система сбора ЭКСПертных оценок и их АНализа¹.

Комплекс ТЕСТАН + ЭКСПАН

Основная идея каждой из этих систем вовсе не уникальна. Уже в конце 80-х годов отдельные психолога и программисты (в нашей стране — А. ф. Ве-селков, А. К. Ерофеев, К. В. Камышников, К. В. Осетров и другие) пытались разработать такую максимально универсальную инструментальную программу-оболочку (testing-shell), которая позволяла бы пользователям, не владеющим программированием, вводить в нее тестовый материал, инструкции, ключи, нормы, другие параметры, описывающие тест, и получать готовую программу тестирования на компьютере. В табл. 6 приводится главное меню основного блока системы ТЕСТАН, направленного на автоматизированное создание и проведение теста (блок MAINTEST).

Аналогично этому были разработаны и системы автоматизации субъективного шкалирования, или экспертных оценок (Г. А. Сатаров, А. Ю. Те-рехина и другие), среди которых до сих пор вряд ли какая-либо система превзошла по обилию возможностей программу «Келли», созданную В. И. Похилько и Н. Н. Страховым (здесь были автоматизированы едва ли не все варианты заполнения и анализа репертуарных решеток, описанные в книге Франселла, Баннистер, 1987).

Уступая в каких-то отдельных параметрах специализированным системам тестирования и шкалирования, наш комплекс ТЕСТАН + ЭКСПАН отличался тем, что изначально был нацелен на интеграцию тестовых (объективных) и экспертных (субъективных) данных о человеке. Для того чтобы добиться этой интеграции, надо было, по нашему замыслу, создать средства, которые позволили бы «переводить» шкалы личностных вопросников

' В этой книге возможности этих систем рассматриваются в более узком аспекте — в аспекте данного исследовательского проекта. Более полный перечень их возможностей интересующиеся могут получить в виде подробных аннотаций на сайте Центра «Гуманитарные технологии» в МГУ: http://www.ht.ru.

Возможности системы ТЕСТАН-3 (версия 1996 года). Главное меню субсистемы MAINTEST

Таблица 6

НАСТРОЙ	БАЗА	ТЕСТ	АНАЛИЗ	РЕЗУЛЬТАТ	ВЫ ХОД+
Имя теста	Выбор	Режим тестирования	Индивидуальный	Индивидуальный отчет	Выход в TESTAN+
Параметры	Просмотр	Вводе бланка	Групповой	Индивидуальный профиль	Выход в TEST-GRAPH
Пункты-	Сортировка	Выбор протокола	Сортировка по факторам	Групповые отчеты	Выход-1 в Ехрап
Инструкция	Удаление записи		Кластерный анализ	Групповые профили	Быход-2 в Ехрап
Факторы	Выделение суббазы	Установка теста	'Расчет норм	Кластеризация	Завершение
Нормы	Слияние	Аннотация		Стандартные баллы
Ключи		Установка батареи		Сводный отчет
Интерпретация				Экспорт в EXCEL
Показательные профили
Генератор бланка

на язык личностных черт, понятный экспертам (включая людей, не искушенных в психологии, но хорошо знающих оцениваемых людей и владеющих системой житейских понятий — лексиконом личностных черт).

Основной этап работы по сопряжению комплекса ТЕСТАН + ЭКСПАН были выполнены автором ио гранту от британского Королевского общества в период стажировки в 1993 году в лаборатории компьютеризации психологических исследований Ника Хаммонда, в университете г. Йорк. Так уж случилось, что единственная развернутая публикация с описанием системы ТЕСТАН была выпущена на английском языке и опубликована в американском журнале «Behavior research methods, instruments and computers» (Shmetyav, 1996).

Опираясь на данные Льюиса Голдберга из Исследовательского Института штата Орегон (США), с которым к тому времени у автора сложился тесный оперативный контакт по электронной почте, мы'разработали (с помощью пакета Borland-Pascal-6.0) особый режим в сателлитной версии системы ЭКСПАН¹ — автоматизированный режим шкалирования названий полюсов шкал произвольного личностного теста (введенного в систему ТЕСТАН) с помощью маркеров Большой Пятерки.

В результате такого шкалирования, выполняемого несколькими экспертами (в частности, разработчиками теста), происходит надежносотоб-ражение каждого тестового фактора в определенный квадрант (фасетку) Большой Пятерки, то есть появляется конвертор (математически — матричный оператор линейного преобразования, подобный матрице регрессионных коэффициентов), осуществляющий автоматическое преобразование профиля по новому тесту (с неизвестным правилом отображения в таксономическую карту В5) в профиль Big Five. После этого «блок интерпретатор» системы ТЕСТАН уже может сравнивать индивидуальный профиль данного испытуемого с профилем В5 для всех прилагательных, включенных в стандартный «семантический банк» личностных черт. Англоязычная версия системы TESTAN включала 440 англоязычных черт с их профилями В5, полученными в работах Л. Голдберга. В русскоязычной версии системы ТЕСТАН нами был реализован более тонкий «семантический анализ» индивидуального профиля — на основе системы 16РФ. Образцы того, как работает эта система интерпретации (основанная на таксономии личностных черт), обсуждение того, насколько она удобна для пользователей, читатель найдет на нашем сайте HT.Ru в интернете.

Приходится признать, что, несмотря на то, что с 1993 по 2000 год в России и за рубежом (Англия, Голландия, Австралия) появилось несколько десятков активных пользователей системы ТЕСТАН, мы пока не знаем ни одного случая, когда пользователи применили бы разработанную нами возможность создания интерпретирующей системы с помощью банка личностных черт. Одно из двух: либо наши идеи пока опережают свое время, либо разработка интерпретирующих (экспертных) систем в компьютерной психодиагностике развивается по другим направлением. Скорее всего, действуют обе причины: те специалисты, которые имеют достаточный уровень подготовки, для того чтобы детально изучить документацию к нашему программному средству и воспользоваться возможностями ТЕСТАНа, чаще всего замотивированы на то, чтобы создать свой собственный оригиначьный программный продукт в этом разделе софт-инженерии.

¹ Сателлитная версия системы ЭКСПАН вызывается из системы ТЕСТАН по нажатию одной из клавиш системы главного меню.

Более реализованной и практичной на сегодняшний день является другая предусмотренная нами возможность сопряжения систем ТЕСТАН и ЭКСПАН (в табл. 6 она представлена пунктом «Выход2» в субменю «ВЫ-ХОД+»). В этом режиме наш комплекс позволяет:

• принять многокритериальное (многофакторное) решение с помощью автоматизированного взвешивания значимости различных, факторов независимыми экспертами или непосредственно заказчиком (ЛПР — лицом, принимающим решение);

• проверить экспертную валидность созданного теста с помощью независимых судей, оценивающих ту же выборку испытуемых.

В данном режиме, в ЭКСПАН-Т (так названа сателлитная версия системы ЭКСПАН) формируется структура данных, изображенная на рис. 32.

Как видим, тестовые результаты (баллы) выступают в ЭКСПАНе в качестве одного из возможных «слоев» полного куба данных. Другие «слои куба» образуются с помощью экспертных оценок. Для этого каждый эксперт должен оценить каждого испытуемого по всем факторам, что и обеспечивает сателлитная система ЭКСПАН-Т.

Именно в такой форме мы пытались в разработанных нами программных средствах практически реализовать идеи совмещения объектной и субъектной парадигм анализа данных.'

Рис.32. Трехсторонняя структура (куб) данных в системе ТЕСТАН + ЭКСПАН. В качестве первого «слоя» выступает (в отличие от всех остальных слоев) не матрица экспертных оценок «испытуемый * фактор», а объективные баллы испытуемых, полученные по данным факторам в ходе тестирования. Таким образом, возникает возможность не только учета тестовых и экспертных данных, но и расчета согласованности между тестовыми и экспертными данными (экспертная валидизацмя теста).

Психометрический пакет ТЕСТАН+

В контексте данного исследовательского проекта необходимо также хотя бы кратко описать те процедуры психометрического анализа тестовых данных, которые были реализованы в рамках системы ТЕСТАН. В табл. 7 показано, как выглядит главное меню «психометрической субсистемы» ТЕСТАНа под названием «TESTAN+».

Использующий современные ресурсы расширенной памяти персональных компьютеров (скомпилированный в защищенном режиме на Borland-Pacal-7.0) пакет ТЕСТАН+ позволяет анализировать матрицы практически неограниченной размерности/С помощью этого пакета мы анализировали, в частности, не только интеркорреляции между 300 пунктами 16РФ, но и для 377 пунктов ММИЛ (известная модификация MMPI, созданная Ф. Б. Березиным и соавторами), подсчитанные по выборкам, включаю-

Возможности системыТЕСТЛН. Меню психометрической субснстемы «Тестан+»

Таблица 7

НОРМЫ	ВАЛ ИД НОСТ1.	НАДЕЖНОСТЬ	ДОСТОВЕРНОСТЬ	ПУНКТЫ
Анализ распределения	Вввод и редактирование критерия	Расщепление теста	Редактор баллов по СЖ-шкале	Надежность пунктов
Проверка нормальности	Внешняя {по критерию)	Альфа-надежность	Расчет социальной Желательности	Валидность пун ктов
Проверка устойчивости	Внутренняя вал и дн ость	Ввод и редактирование	Дублирующие пункты	Достоверность пунктов
Табличные нормы	Факторн ый анализ шкал	Ре-тестовая надежность	Консистент-ность протокола	Ре-тестовая надежность
Критериальные нормы	Конфирма-торный факторный анализ	-		Эксплораторный факторный анализ
Настройка стандартной шкалы				Кластерный анализ
				Анализ конгруэнтности
	*			Сокращение пунктов

щим свыше 1000 испытуемых. Сравнение факторных решений, полученных с помощью ТЕСТАН+ и самым, по-видимому, ныне популярным западным пакетом SPSS-10, показало, что главные компоненты и варимакс-факторы совпадают с точностью до сотых долей (по величинам факторных нагрузок).

Оставим в стороне такие чисто практические удобства, как скорость и простота сбора и анализа результатов¹. Наиболее значимым и полезным для нашего исследования свойством субсистемы ТЕСТАН+ следует считать удобную возможность анализа конгруэнтности — автоматического сравнения различных эмпирически найденных факторных решений и ключей (теоретических факторных систем), а также конфирматорный факторный анализ (КФА) (см. таблицу 7).

Алгоритм КфА в системе ТЕСТАН

Идеи, реализованные нами в оригинальном алгоритме конфирматорно-го анализа, сводятся к следующему. Этот простой алгоритм основан на сравнении эмпирических корреляций между пунктами с корреляциями, репродуцированными на основе заданных факторов. КФА призван проверить, в какой степени заданные вами факторы (заданные в шкальных ключах) позволяют объяснить существующие интеркорреляции между пунктами, Основная формула для расчета матрицы репродуцированных корреляций между пунктами является традиционной для косоугольного многофакторного решения (Сотгеу, 1973):

[Ri] = [W] * [Rs] * [W]\

где [Ri] — матрица репродуцированных корреляций между пунктами;

[W] — матрица ключей «шкалы * пункты» в формате факторных псевдонагрузок (~l<=Wij<= +1);

[V/]' —транспонированный вариант матрицы [W];

[Rs] — матрица интеркорреляций между шкалами (поправка на косо-

угольность)..

Для матрицы [Rs] можно использовать как эмпирическую, так и теоретическую модель. Первую TESTAN+ рассчитывает автоматически — в ходе выполнения процедуры «Внутренняя валидность» (см. табл. 7). Во втором случае пользователь просто редактирует матрицу [Rs], полученную после расчетов, в соответствии со своими собственными представлениями.

¹ Хотя именно это и приводит к повышению темпа исследовательских работ — делает возможным в считанные дни разработать мощный тест, собрать по нему в компьютерном классе (в локальной сети) представительный массив в несколько сот протоколов, тут же проанализировать, построить обоснованную факторную структуру, отбросить неудачные пункты (не дающие вклад ни в один из интерпретируемых факторов).

Алгоритм КФА в TESTAN+ рассчитывает остаточную корреляцию (разность эмпирической и репродуцированной) и сходство (между эмпирической и теоретической корреляцией) для каждой пары пунктов. Пользователь может ввести собственные критические уровни для остаточной корреляции и сходства. По умолчанию установлены следующие значения:

Критическая остаточная корреляция (КОР) 1,0

Критическое сходство (КС) -0,2

Все пары пунктов с остаточной корреляций выше КОР (или со сходством ниже КС) указываются в файле с результатами КФА. Чем меньше пар пунктов указано в файле с результатами КФА, тем успешнее следует считать принятую модель заданных факторов. Те нары пунктов, корреляцию между которыми пользователь (разработчик теста) fie смог предсказать, возможно, нуждаются в переформулировании. Или в пересмотре нуждается общая концепция тестовых шкал.

О результатах, полученных нами с использованием данного алгоритма, см. следующую главу 4.

Тестирование

в Интернете (Тепетестинг)

В 1997 году под нашим руководством в России состоялась первая олимпиада для выпускников школ с использованием Интернет-технологии «Телетестинг» {Шмелев, Ларионов, Серебряков, 1998). В этом случае пользователь получает на свой локальный компьютер только тестовые задания, а обработка данных производится на сервере у разработчика. Существует ряд модификаций этой общей схемы — от меньшей до большей нагрузки на процессы сетевого обмена информацией. Самый «нагруженный» для сети вариант — это так называемое «он-лайн-тестирование». В этом случае по сети передается либо гипертекстовая страничка с тестовыми заданиями, либо фактически каждое отдельное задание теста. Для тестов, где существенно время ответа, этот вариант имеет смысл применять при наличии высокоскоростных оптических линий и нет смысла — при наличии медленных теле-фонно-модемных линий связи. Кроме того, существенным недостатком этого варианта является фактическая незащищенность тестовых заданий от несанкционированного распространения.

В «Телетестинге» нами был применен комбинированный подход: проведение теста в режиме off-line (без подключения к Интернету), а получение теста и обработка результатов — в режиме on-line. При этом применены многае достижения предыдущего периода. Это и использование алгоритмов со случайным предъявлением тестовых заданий из большого банка (random selection), н адаптивное тестирование (CAT — computer adaptive testing, Шмелев, 1999).

Дата добавления: 2015-07-12