Оценка согласованности мнений экспертов с применением коэффициента конкордации

Бабич П.Н., Чубенко А.В., Лапач С.Н.

При проведении различных выборочных исследований (маркетинговых, клинических, эпидемиологических, социологических) очень часто возникает необходимость оценить согласованность мнений экспертов. Это в дальнейшем позволяет выявить различные подходы экспертов к оценке различных явлений (признаков, критериев), что позволяет потом провести углубленный анализ ситуации и принять обоснованное решение.

В связи с природой данных, которые являются результатами экспертных оценок (обычно баллы), для их анализа обычно используются ранговые (непараметрические) методы.

Для того чтобы оценить согласованность мнений двух экспертов при их оценке ряда признаков (или объектов, что имеет значение при решении задачи ранжирования), можно воспользоваться коэффициентом корреляции Спирмена или коэффициентом корреляции Кендалла [1]. Данная статья является изменениями и расширением подраздела “Конкордация” книги “Статистика в науке и бизнесе”. Приводимая в данной статье подпрограмма уже внесена в комплекс прикладных программ и ее можно скачать здесь.

В случае, если экспертов не два, а более (например, при выяснении согласованности мнений группы экспертов), используется коэффициент конкордации, предложенный Кендаллом:

, (4.12)

где , n - количество анализируемых объектов, m - количество экспертов, Rij - ранг j -го объекта, который присвоен ему i -ым экспертом.

Следует обратить внимание на отличие значений коэффициента конкордации от коэффициента корреляции, так как он существует в пределах от 0 до 1. Если мнения экспертов полностью противоположны, коэффициент конкордации равен нулю (W = 0), а коэффициент корреляции в этом случае будет равен -1.

При наличии связок (одинаковых значений) формула (4.12) приобретает следующий вид

(4.13)

где , при этом L_i - число связок, n_i количество элементов в i-й связке для j-го эксперта.

Проверка значимости коэффициента конкордации W. С целью проверки значимости коэффициента конкордации W формулируется две статистические гипотезы:

H₀: суждения (оценки) экспертов не согласуются;

H_a: суждения (оценки) экспертов согласуются.

Нулевая гипотеза отвергается если W > W_кр.

Значимость коэффициента конкордации при малом количестве объектов проверить сложно. Для малых значений существуют неполные таблицы, например таблица 6.10 в [1], фрагмент из которой приведен (табл. 4.3).

Таблица 4.3. - Критическое значение коэффициента конкордации

n =3; m =10	n =5; m =3
S	Уровень значимости Q	S	Уровень значимости Q
	0,092		0,096
	0,046		0,056
	0,0034		0,053
	0,0008		0,0009

Для получения критического значения коэффициента конкордации необходимо взятое из таблицы значение подставить в формулу: 12*S/m²(n³-n). Однако можно поступить и другим способом. Если мы зададимся приемлемым для нас уровнем значимости (например, a=0,05), то для выяснения, значим ли коэффициент конкордации, необходимо взять минимальный уровень значимости Q, соответствующий приведенному в таблице значению S, и сравнить его с заданным нами уровнем значимости a. Если Q<a, то нулевая гипотеза о несогласованности мнений экспертов отвергается и принимается альтернативная (мнения экспертов согласованы).

Следует, также отметить, что критические значения коэффициента конкордации W_кр удовлетворительно аппроксимируются (независимо от значения n) посредством следующего выражения [1]:

,

где - обратная функция стандартного бета распределения.

Если же количество объектов (n) больше 7, то нулевая гипотеза отклоняется на приближенном уровне значимости a если , где n=n-1 - степени свободы для распределения c².

Пример

Имеется 7 объектов, каждый из которых оценивается независимо тремя экспертами по десятибалльной шкале (см. рис. 4.26, ячейки диапазона A2:D9). Необходимо определить степень согласованности мнений экспертов - коэффициент конкордации.

Вариант 1. Расчет коэффициента конкордации вручную (посредством формул рабочего листа).

1. Формируем таблицу (матрицу) рангов для исходных данных. Данный ранжируем для экспертов (в нашем случае по столбцам). Для этого в ячейку E3 помещаем формулу =Rank1(B3;B$3:B$9;0) и согласованно копируем ее во все ячейки диапазона E3:G9.

2. В ячейки B10 и B11 вводим число экспертов m =ЧИСЛСТОЛБ(C3:E3) и число объектов n =ЧСТРОК(C3:C9). В принципе, в указанные ячейки можно прямо ввести соответствующие значения: в B10 - 3 (количество экспертов), а в B11 - 3 (количество объектов).

3. Формируем столбец вспомогательных результатов для выражения . Для этого суммируем построчно (в нашем случае) ранги для i -го объекта, из суммы вычитаем m(n+1)/2 и результат возводим в квадрат. С этой целью в ячейку H3 помещаем формулу: =(СУММ(E3:G3)-$H$11*($H$12+1)/2)^2. После этого согласованно копируем ее во все ячейки диапазона H3:H9.

4. Находим значение выражения , просуммировав значения по столбцу, для чего в ячейку H10 вводим формулу =СУММ(H3:H9).

5. Рассчитываем значение коэффициента конкордации, поместив в ячейку H11 формулу =12*$H$10/($B$10*$B$10*($B$11*$B$11*$B$11-$B$11))

Рассчитанный нами коэффициент конкордации (0,4246) требует корректировки, так как в нем не учтено то, что в полученных ранжировках имеются связки. Для того, чтобы учесть связки, нам необходимо выполнить следующие действия.

6. Визуально определим в для каждой ранжировки количество связок и поместим их в соответствующие ячейки диапазона E12:G12.

7. Вычислим выражение, которое используется для корректировки коэффициента конкордации в случае наличия связок. Формулы, которые необходимо ввести в соответствующие ячейки, приведены в табл. 4.4.

Таблица 4.4. - Формулы рабочего листа для расчета корректирующего выражения

	E	F	G
	=E13^3-E13	=F13^3-F13	=G13^3-G13
			=G14^3-G14
	=СУММ(E15:E16)	=СУММ(F15:F16)	=СУММ(G15:G16)
			=СУММ(E17:G17)

8. Вычислим значение коэффициента конкордации с учетом связок. Для этого в ячейку H19 поместим: =12*$H$10/($B$10*$B$10*($B$11*$B$11*$B$11-$B$11)-B10*G18). В результате будет рассчитан коэффициент конкордации: W = 0,4431.

9. Проверим значимость данного коэффициента конкордации. Согласно таблице приложения М, для данного случая, критическое значение коэффициента конкордации (при m=3, n=7 а уровень значимости: 0,05) равно: W_кр. = 0,6242. Так как W < W_кр., то нулевая гипотеза, что мнения (оценки) экспертов не согласуются, принимается.

Исходные данные, промежуточные и конечные результаты расчетов приведены на рис. 4.26. Учитывая небольшое количество данных и экспертов, несогласованность мнений экспертов можно показать графически (см. рис. 4.27).

Рис. 4.12. Исходные данные и результаты расчета коэффициента конкордации

Рис. 4.27. Иллюстрация несогласованности мнений экспертов

Вариант 2. Расчет коэффициента конкордации посредством программы Concord_kof, реализованной на языке VBA в среде MS Excel. Текст программы приведен ниже. При пользовании программой следует помнить, что суждения экспертов (их оценки) расположены по столбцам, а значения оценок разных экспертов для объектов - построчно.

Дата добавления: 2015-08-13