Согласованность экспертных оценок

Как обеспечиваются надежность и валидность наблюдения? Как установить, что данные наблюдения лишены случайных ошибок (надежность), отражают заданное психическое свойство (валидность)? Для этого привлекают к стандартизированному наблюдению за одними и теми же объектами и событиями не менее двух независимых наблюдателей -кодировщиков. При этом все наблюдатели либо наблюдают и записывают, либо имеют дело с видеозаписью. После того, когда от каждого наблюдателя будут получены независимые протоколы, между протоколами рассчитывается коэффициент сопряженности для качественных признаков, аналог коэффициента корреляции. Значение вычисленного коэффициента указывает на сводный показатель надежности и валидности. Чем ближе к единице этот коэффициент, тем более надежной и валидной считается методика наблюдения в исполнении данного коллектива наблюдателей. Степень отличия коэффициента от единицы указывает на одновременное наличие случайных (ненадежность) и систематических (невалидность) ошибок наблюдения. Относительная доля правильных кодировок в отношении к общему числу кодировок и есть мера "надежности - валидности" наблюдения.

Таким образом, в любом методе экспертной оценки в качестве меры "надежности - валидности" выступает согласованность оценок независимых экспертов. Вначале первичный материал для оценки и инструкция по оценке считаются нестандартизированными, а в качестве эталона выступают те первые эксперты, которые знакомятся с первичным материалом. Они обрабатывают его, добиваясь согласованности, после этого данный материал протоколируется, интерпретируется и считается эталонным, а новые эксперты проходят стандартизацию по отношению к этому материалу. Чем больше независимых экспертов участвует в практическом наблюдении, тем надежнее оказываются результаты этого наблюдения. Это происходит из-за того, что и случайные ошибки, вследствие колебания внимания и систематические ошибки, в силу неправильного тол­кования инструкции по какому-то признаку, допу­щенные одним экспертом, погашаются при сумми­ровании с результатами других экспертов. Коллектив работает гораздо надежнее, чем одиночка. При ощутимой вероятности ошибки одиночного эксперта вероятность ошибки коллектива оказывается уже близкой к пренебрежимо малой вероятности.

Принцип суммирования независимых экспертных оценок широко используется в спорте. К примеру, возьмём фигурное катание или бокс. Общая оценка фигуриста суммируется из независимых оце­нок по двум показателям: "за технику исполнения" и "за артистизм". Минимальное число судей присуждает победу в боксе — пять. И даже если двое из них ошиблись и присудили победу слабейшему боксеру, то победа все равно присуждается сильнейшему, мнение трех других оказывается достаточным.

Массовое распространение компьютерной техники, в том числе в школе, придает новый импульс методам стандартизированного наблюдения. Провести корректное согласование экспертных оценок и измерить их надежность - валидность вручную довольно трудно. Для этого имеется специализированная компьютерная программа, облегчающая сбор и анализ та­ких экспертных оценок [3].

Очень часто в задачах экспертной оценки мы имеем дело с необходимостью построить суммарную оценку объекта, то есть подсчитать так называемый "интегральный рейтинг" по оценкам, кото­рые эксперты дают различным признакам (парамет­рам, показателям) объекта. Вспомним опять же всем известный пример с фигурным катанием.

В школьном обучении также, например, интег­ральная успеваемость (рейтинг успеваемости) под­считывается путем суммирования (или усреднения) оценок учеников по всем предметам.

Таким образом, кроме интегрального рейтинга весьма информативен именно диагностический про­филь. Он несет в себе не только количественную инфор­мацию, а более ценную структурную и качественную.

Вопросы по теме

1. В каких науках используется метод наблюдения?

2. В чем особенность наблюдения в психологии?

3. Назовите основные требования к проведению психологического наблюдения.

4. Какие виды наблюдения выделяют в психологии? Дайте общую характеристику.

5. Как организовать наблюдение?

6. Каким образом оформляется протокол наблюдения?

7. Чем аналитическое наблюдение отличается от обычного?

8. С помощью какой процедуры измеряется надежность и валидность экспертных оценок?

Дата добавления: 2015-07-10