Влияние на результаты экспертизы состава экспертов

Тестирование. При формировании экспертной группы целесооб­разно провести тестирование, взаимооценку экспертов и проверку согласованностей мнений.

Тестирование состоит в решении экспертами задач, с известны­ми организаторам тестирования, но неизвестными экспертам ре­зультатами, и проверке по критерию Фишера гипотезы о принад­лежности оценок разных экспертов к одной и той же генеральной совокупности оценок.

Самооценка состоит в том, что каждый эксперт в ограниченное время отвечает на вопросы специально составленной анкеты. Такое испытание проводят на компьютере и затем получают балльную оценку. Эксперты могут оценивать и друг друга, но для этого необходима доверительная обстановка и опыт совместной работы.

Согласованность мнения экспертов можно оценивать по величи­не коэффициента конкордации:

W =

где S — сумма квадратов отклонений всех оценок рангов каждого объекта экспертизы от среднего значения;

n — число экспертов;

т — число объектов экспертизы.

Коэффициента конкордации изменяется в диапазоне 0 < W < 1, причем 0 — полная несогласованность, 1 — полное единодушие.

Пример. Необходимо определить степень согласованности мне­ния пяти экспертов, результаты ранжирования которыми семи объек­тов приведены в табл. 10.3.

Оцениваем среднеарифметическое число рангов:

Q_ср = (21 + 15 + 9 + 28 + 7 + 25 + 35)/7 = 20.

Затем оцениваем сумму квадратов отклонений от среднего: S = 630.

Определяем величину коэффициента конкордации:

W = 12 х 630 /25 х (343 - 7) = 0,9.

Хороший результат! Мнения экспертов хорошо согласованы.

Таблица 10.3 Данные для оценки согласованности мнений пяти экспертов

Номер объекта экспертизы	Оценка эксперта	Сумма рангов	Отклонение от среднего	Квадрат отклонения
1			4
							-5
							-13

Дата добавления: 2015-07-07