Компьютерное адаптивное тестирование

В отличие от предметно ориентированных тестов умственного развития (ТУР), описанных УВ предыдущей главе, в настоящей главе излагаются принципы создания Теста Общеобразовательных Знаний (ТОЗ). Если в различных вариантах ТУРа шкалы отражают прежде всего уровень сформированности определенных логических операций мышления, реализованных на материале понятий из школьных учебников (аналогии, обобщение и т. п.), то любые версии ТОЗ отражают в показателях по субшкалам достижения ученика по самим предметам школьной программы (математика, физика и т. п.). Если ТУР — междисциплинарный психолого-педагогический инструмент, то ТОЗ — чисто педагогический инструмент, то есть педагогический тест достижений. Примеры-образцы отдельных заданий ТОЗ даются в параграфе 3.7.

Разработка ТОЗ для российской школы означает создание российского аналога SAT (Стэнфордский тест достижений или, как позднее его стали называть, — Школьный тест достижений), который, как известно, является в США определенным стандартом федерального масштаба. Только наличие общефедерального стандарта позволит обеспечить в России реальную эквивалентность аттестатов зрелости, выяснить, в частности, объективную цену невиданному количеству «медалистов», которые вдруг начинают появляться в какой-нибудь рядовой и мало чем знаменитой школе где-нибудь в городе N-ске.

Программа создания и распространения российского ТОЗ должна, безусловно, учитывать как мировой опыт, так и специфику современной ситуации в России. Критики справедливо возражают: организационные решения, что стандартны для Запада в России могут не сработать из-за невиданного уровня «групповой сплоченности» (а попросту коррупции), имеющей место во всех слоях общества, в том числе среди чиновников и учителей, занятых в системе образования.

Но и технологические возможности разработчиков тестовых методик не стоят на месте. Новые возможности, и прежде всего в плане обеспечения информационной безопасности, дает компьютеризация.

Опишем здесь опыт решения проблемы создания ТОЗ, который накоплен в центре компьютерной психодиагностики «Гуманитарные технологии» при факультете психологии МГУ (руководитель центра — А. Г. Шмелев). Данный материал поможет читателям не только сориентироваться в самой проблеме создания ТОЗ, но и получить опыт знакомства с кратким и типичным научным отчетом о проведении экспериментальной апробации некоторого теста в процессе его разработки, а также с перспективами использования компьютеров в процессе тестирования.

В отличие от Стэнфордского теста ТОЗ в своих субшкалах буквально повторяет названия учебных предметов и в этом смысле является формализованным компьютеризированным аналогом школьных выпускных и вузовских вступительных экзаменов.

С самого начала ТОЗ разрабатывается как принципиально компьютерный тест. Важнейшие его особенности таковы: наличие очень широкого компьютерного БАНКА ЗАДАНИЙ (длинного перечня) по каждому предмету и наличие особой программы ТЕСТОВОГО ДИАЛОГА, которая позволяет предъявлять каждому испытуемому по сути дела уникальную выборку заданий (вариант) из этого банка заданий. Даже сами авторы ТОЗ не знают, какие именно задания предъявит компьютер данному конкретному испытуемому. Если же кто-то получит доступ к тексту заданий ТОЗ, и расшифрует их кодировку, то для того, чтобы «обмануть» ТОЗ необходимо выучить не только правильные ответы к сотням заданий, но и научиться их отличать от ложных формулировок. Легче выучить стройно и логично написанный учебник, чем заниматься этой работой.

В первую версию ТОЗ, прошедшую апробацию на абитуриентах МГУ в 1995 году, вошло 360 заданий — по 45 заданий на каждый из 8 основных предметов школьной программы. Это математика, русский и литература, физика, химия, биология, история, география и иностранный язык (английский). В каждом задании испытуемому предлагалось 4 варианта ответов, из которых 1 — правильный. В разработке заданий приняли участие независимые (не знавшие друг друга) учителя-предметники из московских школ и преподаватели МГУ, много лет участвовавшие в составлении и проверке заданий на вступительных экзаменах. Задания проходили анонимную перекрестную предварительную экспертизу, и затем лучшие из заданий были разбиты на однородные блоки по тематике и уровню сложности. По содержанию задания охватывают всю программу среднего образования и ориентированы на выпускников школ, абитуриентов вузов.

Испытуемый выполняет ТОЗ непосредственно за компьютером. Программа тестирования (ТЕСТАН-2, «Гуманитарные технологии», 1995) последовательно предъявляет вначале 15 заданий по математике, затем 15 — по русскому и литературе и т. д. — всего 120 заданий за 80 минут. Компьютер автоматически контролирует расход времени на каждый предмет и при исчерпании лимита времени по одному предмету программа начинает предъявлять задания по следующему предмету, засчитывая «пропуск» испытуемому по всем заданиям, на которые он не успел ответить (из предусмотренных 15).

По каждому предмету 15 заданий представляют пять тематических блоков и 3 уровня, сложности. Применяется алгоритм БЛОЧНОЙ РАНДОМИЗАЦИИ, т. е. частично случайного выбора заданий, ограниченного рамками блоков — определенных подмножеств заданий, среди которых каждый раз производится случайный выбор. Вначале предъявляются 5 самых легких заданий, затем 5 заданий среднего уровня трудности, затем — 5 самых трудных заданий. В результате даже плохо подготовленные и испытывающие волнение испытуемые получают возможность с самого начала «зацепиться», справиться по крайней мере с первыми простыми заданиями. Сильные испытуемые получают серьезное испытание на последней пятерке заданий. Здесь-то и проявляется различие между настоящими отличниками и «хорошистами». Самые слабые, как правило, просто не успевают приступить к пятерке самых трудных заданий, так как им не хватает времени.

Реальная трудность задания проверялась в пилотажном эксперименте и после этого корректировалась. В число легких попадали задания, с которыми справлялись более 70 процентов испытуемых, в числе трудных — с которыми справлялись менее 30 процентов испытуемых, остальные причислялись к средним по уровню трудности.

Схема начисления очков в ТОЗ-1 при расчете суммарного балла такова:

за правильный ответ — 4 очка,

за пропуск задания — 1 очко,

за ошибочный ответ — 0 очков.

Такая схема вносит необходимую поправку на вероятность случайных правильных ответов, которые по теории вероятности возможны с вероятностью 0,25.

После завершения такого нелегкого испытания испытуемые могли вспомнить только 10, максимум 25 процентов из предъявленных им заданий, но, конечно, не могли пересказать своим друзьям точные формулировки фальш-альтернатив (ложных ответов, или так называемых «дистракторов»). И если теоретическая вероятность повторения одного и того же задания у двух испытуемых равнялась 0,33·15 ~ 5 заданиям, то практически крайне редко два испытуемых могли вспомнить больше одного одинакового задания. Даже после интенсивного обсуждения впечатлений от теста между собой у испытуемых оставалось полное впечатление, что тест включает сотни заданий по одному предмету. Естественно, что при дальнейшем наращивании банка заданий в ТОЗ-2 такое впечатление будет еще более усиливаться.

ТОЗ-1 имеет ряд модификаций для специальных групп абитуриентов. Например, версия ТОЗ-ПСИ (для абитуриентов психологического факультета) включала по 90 заданий всего по 3 предметам, входящим в состав вступительных экзаменов на факультет психологии МГУ: математика, русский и литература, биология. Каждый абитуриент отвечал за 50 минут на 90 заданий (по 30 на каждый предмет).

На этих абитуриентах факультета психологии проверялась, в частности, прогностическая валидность ТОЗ в отношении успешности сдачи вступительных экзаменов. Общая корреляция суммарного балла ТОЗ с суммарным баллом по вступительным экзаменам оказалась равной 0,61. При этом почти такое же значение достигла эта корреляция для субтеста «математика» (0,57). А вот с оценкой по сочинению балл по субтесту «словесность» коррелировал просто плохо. Сказалось, видимо, два обстоятельства: слабые представления абитуриентов о том, что такое «раскрыть тему», и высокая степень лотерейности в вариантах формулировок этих тем (вполне грамотным и в целом начитанным абитуриентам приходилось писать сочинения по авторам и произведениям, которых они либо никогда не читали, либо забывали и не успели повторить). Таким образом, невысокую суммарную корреляцию можно интерпретировать, в частности, как следствие низкой надежности не столько ТОЗ, сколько самого критерия — ведь элемент случайности на вступительных экзаменах выражен даже сильнее, чем в ТОЗ. За это говорит и факт резкого возрастания корреляции с результатами экзаменов для крайних групп по ТОЗ (самых успешных и самых неуспешных). Так, например, НИ ОДИН испытуемый с баллом ниже 50 процентов правильных ответов по ТОЗ не смог пройти на факультет психологии МГУ по конкурсу (конкурс был, как всегда, высоким — выше 7 человек на место). А самые лучшие абитуриенты по ТОЗ практически все успешно прошли конкурс.

Таким образом, на шкале ТОЗ можно найти граничные точки для «высшей» и «низшей» группы, позволяющие прогнозировать успешность при сдаче экзаменов с высокой степенью надежности — близкой к 0,95. Можно сказать, что для заведомо сильных и заведомо слабых учащихся будущие экзамены не оказываются «лотереей»: одни надежно их сдают, другие — надежно «проваливают». «Лотереей» с элементом везения-невезения экзамен становится для «середнячков», которые освоили учебную программу выборочно, частично.

Вопрос о «конкурентной валидности» ТОЗ по сравнению с вступительными экзаменами (т. е. позволяет ли ТОЗ лучше или хуже прогнозировать успешность обучения в вузе) может быть разрешен только после многолетнего, так называемого «лонгитюдного» наблюдения за тем, как будут учиться в вузе студенты, прошедшие ТОЗ в 1995 году.

Конечно, версия ТОЗ-1 есть только первый шаг к созданию эталонной методики такого типа. Она нуждается в существенной модернизации, масштабной апробации и накоплению репрезентативных норм, чтобы занять место федерального стандарта в данной области.

Дата добавления: 2015-07-11