Надежность как критерии оценки качества тестов. Приемы обеспечения точности и устойчивости.

Надежность целого теста имеет две разновидности.

1. Надежность-устойчивость (ретестовая надежность). Измеряется с помощью повторного проведения теста на той же выборке испыту­емых, через две недели после 1 тестирования.

2. Надежность- согласованность (одномоментная надежность).

Надежность согласованность определяется путем расщепления теста на 2 ситуации и вычислением коэффициента корреляции м-ду оценками, полученными по каждой из этих частей - надежность частей теста, «расщепления». Отнесения к одной половине всех четных, а к другой всех нечетных пунктов.

При нормальном распределении оценок по полному тесту высокий коэффициент корреляции м-ду частями теста говорит о его однородности. Это является выражением надежности теста, внутренней согласованности тестовых задач.

Последовательность действий при проверке надежности:

1. Узнать, существуют ли данные о надежности теста,.

2. Произвести повторное тестирование на всей выборке стан­дартизации и подсчитать все коэффициенты.

3. Если возможности обследования испытуемых ограниченны, произвести повторное тестирование только на части выборки.

ОШИБКА ИЗМЕРЕНИЯ — статисти­ческий показатель, характеризующий сте­пень точности отдельных измерений.

Надежность – критерий качества теста, выражающий точность психологических измерений и устойчивость результатов к действию посторонних случайных факторов.

· Точностьопределяется через корреляционные методы статистики (Пирсен, Спирмен, Кендалл и др.)

Спирмен: ,

где d_i — разность рангов /-го испытуемого в первом и втором ранго­вом ряду.

Обычно в психологической практике диагностирования трудно достичь показателей p = 0,7 или 0,8. Часто эти коэффициенты называют коэффициентом надежности, если он отличается от 1, то в измерении может появиться ошибка.

Для выяснения истинного балла клиента используется

где - истинный балл;

х_i — эмпирический балл i -го испытуемого;

r - эмпирически измеренная надежность теста;

- среднее для теста.

· Устойчивость.Надо учитывать, что результат подвержен влиянию случайных факторов.

Точность и устойчивость рассматриваются во взаимосвязи, вот почему в понятии «надежность» принято выделять 3 аспекта:

1. надежность-устойчивость

2. надежность-эквивалентность

3. надежность-согласованность

Надежность-устойчивость (ретестовая надежность). Измеряется с помощью повторного проведения теста на той же выборке испыту­емых, обычно через две недели после первого тестирования. С увеличением временного разрыва показатели снижаются, это связано с тем, что измеряемое свойство нестабильно, развивается, происходят кризисные события и т.д.

Недостатки тест-ретеста: 1. при непродолжительном временном разрыве у человека формируется навык при работе с тестом, следовательно, улучшаются результаты, запоминание решения. 2. при анализе эмоциональных состояний ретест несостоятелен.

56 Виды надёжности. Последовательность действий при проверке действий при проверке надёжности.

В традиционной тестологии термин "надежность" обозначает относительное постоянство, устойчивость, согласованность результатов теста при первичном и повторном его применении на одних и тех же испытуемых.Так как надежность отражает степень согласованности двух неза­висимо полученных рядов показателей, то математико-статистический прием, с помощью которого устанавливается надежность мето­дики — это корреляции (по Пирсону или Спирмену). Надежность тем выше, чем ближе полученный коэффициент корреляции подходит к единице, и наоборот.

При описании видов надежности основной упор де­лается на работы К. М. Гуревича, который, проведя тщатель­ный анализ зарубежной литературы по этой проблеме, предложил тол­ковать надежность как комплексную характеристику, включающую:

♦ надежность самого измерительного инструмента;

♦ стабильность изучаемого признака;

♦ константность, т. е. относительную независимость результатов от личности экспериментатора.

Основные показатели он предложил обозначить следующим образом:

♦ показатель, характеризующий измерительный инструмент, пред­лагается называть коэффициентом надежности;

♦ показатель, характеризующий стабильность измеряемого свой­ства — коэффициентом стабильности;

♦ показатель оценки влияния личности экспериментатора — коэф­фициентом константности.

Именно в таком порядке рекомендуется осуществлять проверку ме­тодики на надежность: целесообразно сначала проверить инструмент измерения. Если полученные данные удовлетворительны, то можно переходить к установлению меры стабильности измеряемого свойства, а уже после этого, при необходимости, заняться критерием констант­ности.

57. Надежность-устойчивость (ретестовый метод). В традиционной тестологии термин "надежность" обозначает относительное постоянство, устойчивость, согласованность результатов теста при первичном и повторном его применении на одних и тех же испытуемых. Как пишет А.Анастази (1982), вряд ли можно с доверием относиться к тесту интеллекта, если по нему в начале недели ребенок имел показатель, равный НО, а к концу 80. Повторное применение надежных методик дает сходные оценки. При этом в определенной мере могут совпадать как сами результаты, так и порядковое место (ранг), занимаемое испытуемым в группе. И в том, и в другом случае при повторении опыта возможны некоторые расхождения, но важно, чтобы они были незначительными, в пределах одной группы. Таким образом, можно сказать, что надежность методики — это такой критерий, который говорит о точности психологических измерений, т.е. позволяет судить о том, насколько внушают доверие полученные результаты.

Ретестовый метод – повторное тестирование выборки испытуемых одним и тем же тестом через определенный интервал времени при одних и тех же условиях. Временной интервал зависит от возраста (например, у маленьких детей изменения могут произойти в течение одного месяца), а также событий, происходящих с испытуемым в жизни.

ТЕСТ ИНТЕРВАЛ РЕТЕСТ (повторный тест)

За индекс надежности принимается коэффициент корреляции между результатами двух тестирований. Полученная высокая корреляция может быть результатом тренированности испытуемого на заданиях подобного типа; низкая корреляция может быть результатом происшедших изменений с испытуемым, а также может свидетельствовать о ненадежности теста. Показатель вычисляется по соответствию результатов первого и второго обследований или по сохранению ранговых мест испытуемых в выборке при ре тесте, т.е. выявляет характер корреляции между результатами двух проверок. Коэффициент надёжности соответствует коэффициенту корреляции между полученными результатами. На практике ретестовая надежность определяется следующим образом. Результаты первичного тестирования в порядке возрастания распределяют на шкале тестирования. Эти данные принимают за истинный показатель. Теоретически это место для каждого участника должно быть постоянным, т.е.

повторное тестирование должно дать такое же распределение мест на шкале, как и в первый раз. В этом случае тест считается абсолютно надежным. Полученные отклонения являются основой для расчета коэффициента надежности.

Величина коэффициента надежности определяется величиной изменения оценок испытуемых на шкале в результате вторичного тестирования по сравнению с первичным. Следовательно, чем выше точность измерения первичного и вторичного тестирования, тем выше надежность теста как измерительного инструмента. Метод повторного тестирования обладает как достоинствами, так и недостатками. К числу достоинств относятся естественность и простота определения коэффициента надежности. Основным недостатком метода является неопределенность в выборе интервала между двумя тестированиями. Разные исследователи рекомендуют проводить повторное тестирование в интервале от двух недель до шести месяцев. Кроме того, при повторном тестировании зачастую очень сложно, порой и вовсе невозможно создать идентичные с первым обследованием условия. Это связано с тем, что при всех, казалось бы, равных условиях, повторное испытание всегда отличается от первого.

58. Надежность-эквивалентность (надёжность параллельных форм).

Надежность – критерий кач-ва теста, отраж.точность псих-х измерений и устойчивость рез-в к действию посторонних и случайных факторов. Точность измерения опред. с помощью корреляционных методов статистики, при этом обычно используются Формулы кор-ции Спирмена, Кэнделла и др. Коэф-нт корреляции Спирмена (коэф.надёжностисти):

Надежность-эквивалентность (надёжность параллельных форм). – повторное тестирование выборки испытуемых параллельной формой теста через минимальный интервал времени при одних и тех же условиях. Данный показатель определяется с помощью взаимозаменяемых форм теста. При этом одни и те же испытуемые обследуются вначале с использованием основного набора заданий, а затем с

применением аналогичного варианта. Коэффициент корреляции между результатами первичного и повторного тестирования является основным показателем данной характеристики надёжности. Параллельными считаются такие тесты, которые измеряют одно и то же свойство с одинаковыми

ошибками.

ТЕСТ А ИНТЕРВАЛ ТЕСТ А'

За индекс надежности принимается коэффициент корреляции между результатами тестирования двумя параллельными формами теста. Высокий коэффициент корреляции и большой интервал между двумя испытаниями свидетельствуют о высокой надежности теста.

Возможный обман со стороны испытуемого, его искушенность, события, происшедшие в интервале между тестированиями, не оказывают особого влияния (как в ретестовом методе) на степень надежности теста. Если фактор тренировки снижен при тестировании параллельными формами, то эффект переноса принципа заданий часто имеет место. Эффект переноса следует учитывать при построении параллельных форм.

Требования к построению параллельных форм:

· параллельные формы должны быть независимо построенными тестами, но отвечать одним и тем же требованиям;

· должны содержать одинаковое количество заданий со сходной степенью трудности;

· эквивалентность параллельных форм необходимо проверять ретестовым методом.

59.Надёжность-согласованность (надёжность частей теста).

Надёжность- критерий кач-ва теста, отраж.точность псих-х измерений и устойчивость рез-в к действию посторонних и случайных факторов. Точность измерения опред. с помощью корреляционных методов статистики, при этом обычно используются Формулы кор-ции Спирмена, Кэнделла и др. Коэф-нт корреляции Спирмена (коэф.надёжностисти):

Надёжность-согласованность (надёжность частей теста). состоит в том, что тест разбивают на две сопоставимые части. Респондент выполняет задания этих двух частей в течение одного сеанса с получением двух результатов (например, тест Равена содержит две части: четные и нечетные задания).

За индекс надежности принимается коэффициент корреляции между результатами тестирования двумя этими частями. Он называется коэффициентом внутренней согласованности теста.

Он возник как результат развития метода параллельного тестирования и основывается на предположении о параллельности не только форм теста, но и отдельных заданий внутри теста. Метод расщепления применяется, как правило, в тех случаях, когда повторное тестирование нежелательно, невозможно или существует только одна форма теста. Этот показатель выявляют путём анализа устойчивости результатов отдельных совокупностей тестовых задач или единичных заданий теста. При этом распределение оценок за выполнение всего теста в целом должно быть

близко распределению оценок при выполнении отдельных частей теста. Важнейшим условием объективности этого метода является деление теста на равноценные части (по числу, по сложности задач, по времени решения). В целом при определении показателей качества теста следует помнить, что существует ряд объективных и субъективных факторов, влияющих на надежность теста.

Дата добавления: 2015-07-11