3.5. Определение качества прогноза на основе групповой

1 2 3 4 5 6

Понятие качества прогноза на основе метода проведения экспертизы является весьма многогранным и может рассматриваться с точки зрения различных критериев эффективности. С одной стороны, оно должно отвечать всем тем требованиям, которые предъявляются к допустимым результатам прогнозирования вне зависимости от специфики метода, лежащего в основе обоснования разработки прогноза, а с другой, обуславливается именно спецификой этого инструментария.

Прогноз, основанный на методах обработки экспертной информации, как и любой другой прогноз, должен подвергаться критической оценке аналитиков с точки зрения его полезности, достоверности, надежности, информативности, а также величины издержек, в том числе и временных, на его реализацию. Попытаемся ответить на вопрос о способах практического оценивания тех или иных составляющих понятия «качество экспертного прогноза». Понятно, что специфика последнего будет проявлять себя, прежде всего, вследствие особенностей самого метода. Следовательно, содержание и способы оценивания таких характеристик качества как полезность, достоверность и издержки на составление прогноза не претерпевают сколько-нибудь существенного изменения по сравнению с их традиционной интерпретацией. А вот понимание таких составляющих качества предсказания как надежность и информативность прогноза, следует конкретизировать, так как именно на этих параметрах существенно сказывается специфика выбранного инструментария составления прогноза.

Как уже отмечалось ранее под информативностью прогноза, прежде всего, понимается полнота информации, характеризующая будущее состояние объекта. Информативность предсказания на основе экспертных методов напрямую зависит от выбранной субъектами экспертизы шкалы измерений изучаемого объекта. Чем уже множество допустимых преобразований, тем более совершенной в этом смысле считается шкала. Причем сущность этой характеристики выражается не столько в степени формальной детализации представления описания предсказания, сколько в определении прогностической ценности полученных в результате поиска вариантов развития. Таким образом, наиболее информационно совершенной шкалой из трех ранее рассмотренных является шкала интервалов, она допускает самый широкий спектр алгебраических преобразований полученных результатов. Последнее свойство весьма ценно для исследователей, но лишь при прочих равных значениях характеристик качества прогноза.

В наибольшей степени особенности экспертного прогнозирования сказываются на таком показателе качества предсказания как его надежность, имея в виду, прежде всего априорную степень уверенности с которой ожидается сделанное предсказание. На это может существенно влиять целый ряд обстоятельств, определяющих качество «генератора» экспертной информации, важнейшие из которых: качественный и количественный состав экспертной группы, обоснованность и адекватность технологий извлечения информации, обоснованность и надежность информации обеспечивающей работу экспертов, а также целый ряд менее существенных причин. Интегральными измерителями априорной надежности экспертных прогнозов являются характеристики их групповой устойчивости и согласованности.

Под устойчивостью групповой экспертной оценки будем понимать независимость результирующей групповой оценки от состава членов экспертной группы, т.е. результирующая оценка устойчива, если качественное и/или количественное изменение состава привлекаемых к экспертизе специалистов не влияет на ее окончательный результат.

Формально для оценивания характеристики степени устойчивости групповой оценки можно предложить использовать вероятностный показатель, показывающий, например, вероятность неизменности итогового результата от
величины группы экспертов. Интегральным выражением этого свойства может служить функция распределения вероятности неизменности оценки от величины изменения количества экспертов в группе. При этом окончательное решение должно приниматься, исходя из сравнения фактического значения функции распределения F (п') с допустимым пороговым значением вероятности изменений F(п'), полученным, например, эмпирически. Величину пороговой вероятности рекомендуется задавать в пределах 0,6-0.95 [7]. Т.е. устойчивость по группе из п человек будет считаться приемлемой при возможном исключении (включении) из группы экспертов не более чем п' человек, если выполняется следующее неравенство F (п') > F (п').

Для иллюстрации возможностей данного подхода приведем следующий пример.

Пусть шесть экспертов участвуют в определении наиболее предпочтительного варианта действий в будущем, осуществляя единственный выбор из трех возможных альтернатив. Результаты оценивания представлены в

X =

, где

виде итоговой матрицы

Х_к - оценка к-ой альтернативы 1-м экспертом (0 - вариант отвергается, 1 - вариант принимается, как наиболее предпочтительный); I = 1, п - индекс эксперта (п = 6);

к = 1, К - индекс оцениваемой альтернативы (К = 3). ^ґ0 0 1^Л

0 0 1

1 0 0

0 1 0

0 0 1

X =

X;,

и^{0 1}

Используя моду как итоговую групповую оценку, имеем следующий результат: х = (0 0 1), т.е. в качестве результата проведения экспертизы выбирается третья альтернатива.

Оценим вероятность сохранения полученной групповой оценки при возможности исключения из группы до двух человек экспертов, таким образом

п = 2 .

Обозначим как И_к - число экспертов, отдавших предпочтение к-ой

альтернативе выбора.

Тогда, исходя из структуры матрицы X, можно определить вектор

И = И_к = (1 2 3) в качестве вектора суммарных оценок альтернатив, И* -

максимально возможное число исключений экспертов (И* < И).

Таким образом, значение результирующего вектора оценок будет зависеть от того, сколько и из какой группы было исключено экспертов. Представим варианты возможных исключений из исходной экспертной группы в виде следующей таблицы 10.

Таблица 10.

		Число		Структура вектора			Индекс альтернативы
	исключенных из				к		модального класса
Вариант	группы экспертов
	1	2	3	К	^К2	к₃
1	1	1	0	0	1	3	3
2	1	0	1	0	2	2	2-3
3	0	1	1	1	1	2	3
4	0	2	0	1	0	3	3
5	0	0	2	1	2	1	2

Из проиллюстрированных в таблице 10 вычислений, очевидно, что к бесспорному изменению результата приводит только пятый вариант изменений в группе экспертов.

Минимально гарантированное количество случаев сохранения исходной групповой оценки альтернатив, связанное с вариантами первым, третьим и четвертым, равно:

6(2) = = сСС⁰ + ССС¹ + ССС + С1⁰С₂⁰С3² = 12.

I=3 к=1

Учитывая равновероятность выбора в рамках второго варианта, окончательная минимальная оценка числа случаев гарантированного сохранения результата выбора может оцениваться в 13 случаев.

Тогда вероятность сохранения групповой оценки при удалении двоих экспертов из исходной группы шести экспертов составит:

Р(„.₌ 2) = Щ²» = 13 = 0,87.

С 15 '

Аналогично можно вычислить минимальную вероятность сохранения результирующей групповой оценки при произвольном исключении из группы лишь одного эксперта, она составит:

Р(п'= 1) = С) ₌ 0,67

Тогда вероятность сохранения результирующей групповой оценки при исключении из группы не менее двух экспертов составит:

р („•= 2) = ^Р(1)С + ^Р(^1)С = 0,81.

С¹ + с

Данный подход, несмотря на существенные вычислительные проблемы, возникающие непосредственно при определении функции распределения вероятности оценок мог бы быть приемлем, однако он не может признаваться универсальным ввиду того, что по умолчанию подразумевается наличие свойства статистической однородности множества экспертов, что в целом ряде ситуаций не верно. Для решения второго типа задач экспертного оценивания данный метод требует дополнительной модификации, учитывающей коэффициенты индивидуальной компетентности экспертов, что приводит к значительному усложнению вычисления значений функции распределения. В этой связи более продуктивно оценивание устойчивости групповых оценок экспертизы, использующее результаты оценки согласованности мнений экспертов. Рекомендации по применению этих эвристических процедур рассматриваются далее.

Наиболее существенными характеристиками качества проведения прогнозной экспертизы, показателями априорной степени ее надежности являются показатели согласованности экспертного оценивания.

Характеристика согласованности экспертных оценок оценивает степень качественного совпадения мнений экспертов. Проявление этого свойства именно на качественном уровне можно проиллюстрировать с помощью следующего примера.

Пусть трем группам экспертов А, В и С, включающим по три специалиста каждая, предложено оценить два направления развития некоторого объекта прогноза, имея в виду определение наиболее реалистичного хода событий. Результат индивидуальной оценки, в зависимости от условий выбора шкалы оценивания для каждой из групп, мог бы принять следующие формы. А). Непосредственная оценка трех альтернатив развития событий экспертами, выраженная в баллах интервальной шкалы в масштабе от 0 до 1, (могли бы интерпретироваться как оценки вероятности наступления той или иной альтернативы).

	Эксперт А1	Эксперт А2	Эксперт А3
Альтернатива 1	0.85	0.6	0.7
Альтернатива 2	0.2	0.3	0.3

В). Решения экспертов в форме ранжировки альтернатив по степени вероятности их наступления.

	Эксперт В1	Эксперт В2	Эксперт В3
Альтернатива 1	1	1	1
Альтернатива 2	2	2	2

С). Решения экспертов по отнесению альтернатив к группам ожидаемых (+) и менее ожидаемых (-) событий.

	Эксперт С1	Эксперт С2	Эксперт С3
Альтернатива 1	+	+	+
Альтернатива 2	-	-	-

Очевидно, все эксперты предпочли альтернативу 1 альтернативе 2, а сопоставление трех вариантов оценивания позволяет говорить именно о качественном характере совпадений (в данном случае абсолютном) мнений всех трех групп экспертов, несмотря на существенные различия в форме представления результатов экспертизы.

Рассмотрим проблему количественного измерения степени согласия специалистов по проблеме. Конкретный выбор метода оценки согласованности мнений экспертов в наибольшей степени зависит от способа представления информации об объекте исследования: типов шкал и методов измерений (ранжировок, непосредственных оценок, парных сравнений, последовательных сравнений и т.д.).

Принято выделять несколько групп характеристик согласованности мнений экспертов:

коэффициенты согласия (конкордации); меры расстояния; коэффициенты ассоциативности;

вероятностные коэффициенты сходства (энтропийный коэффициент согласия).

В практике проведения прогнозных исследований в области социально- экономического прогноза наибольшее применение нашли меры расстояния и коэффициенты согласия. Одна из групп, меры расстояний, нами уже частично упоминалась, далее рассмотрим подробнее способы оценивания согласованности экспертных оценок на основе расчета коэффициентов согласия.

В основу вычислений любой из модификаций коэффициентов согласованности группы экспертов положена идея коэффициента множественной корреляции Конкретный вид коэффициента зависит от

характера решаемой задачи. Ясно, что в случае проведения экспертами оценивания в шкалах не менее совершенных, чем шкала интервалов, для оценки степени согласия можно использовать непосредственно коэффициенты парной либо множественной корреляции в зависимости от условий задачи. При этом следует помнить, что его непосредственное предназначение - определение степени линейной зависимости между переменными.

Не ставя перед собой задачи полностью раскрыть весь спектр модификаций разнообразных коэффициентов согласованности мнений групп экспертов, остановимся на наиболее на наш взгляд востребованных в рамках номинальной и порядковой шкал измерений признаков. Дополнительные сведения по этим вопросам можно почерпнуть из источников [1-7, 10-13, 17-20,

23, 25].

Оценка согласованности результатов экспертизы в номинальной шкале представления оценок

1 п п

$Описание: C:\Users\A261~1\AppData\Local\Temp\FineReader10\media\image4.png$

В самом общем виде коэффициент согласия пары экспертов рассчитывается по следующей формуле [7]:

(7)

Здесь п - число экспертов, p_fl - коэффициент корреляции оценок j и 1-го экспертов.

Исходя из общей формулы коэффициента согласия (7), можно получить выражение для коэффициента, применимого при обработке экспертных оценок в методе классификации.

Получим сначала оценку согласованности мнений экспертов по одному объекту.

Коэффициент корреляции оценок пары экспертов а и I равен:

Ра =

(9)

^с°у⁽ хк^, Х

_1к⁾

(8)

В силу специфики используемой шкалы измерений оценок экспертов, среднее значение оценок ряда j-го эксперта составит:

= 1V а = 1 = ^Х^к = ^

^К к=1 ^К

Также, исходя из особенностей используемой шкалы измерений, можем констатировать равенство среднеквадратических ошибок по оценкам ]-го и 1-го экспертов, т.е. = Я, причем сама стандартная ошибка может определяться

как:

(10)

)

1 к 1

1 (К _ 1) + (К _ 1)²

1 ₂ 1 ₂

(-)²(К _ 1) + (1 _ -)²К к

Учтя, что все значения проставленных экспертами оценок х^]_ш, кроме одной равны 0, то выражение (10) принимает следующий вид:

К п п 1 1

-у у у (хк _ -1)( 4 _ -1) =

п п К 1 1

^ = 4 у у р, =

К (К _ 1)п

К ( п _п\

у [ухк _ п

а=1 I=1

к=1 к=1 г=1

-у у у (хк _ -к4 _ =

(К _ 1)п

а=1 г=1 к=1

ту' К / п 1 1

(К _ 1)п

и к=¹

к=1

V к =¹

^К у у (хк _ 1)(хк _ 4)

(К _ 1)п

Если дополнительно ввести следующие обозначения:

= у ^хк ^,^Лг =у ⁽% _—⁾²

г=1 к=1 ^К

тогда выражение для коэффициента согласия w_i по поводу i- й экспертизы может быть представлено в следующем виде:

ы.

(13)

(К - 1)п²

Ж =

К п К 1 1

(К - 1)т ^е ^⁴^- К^)(Х^к^- К^}

Проводить оценку согласованности экспертов по всей совокупности объектов экспертизы можно, в том случае, когда все эксперты дали оценки всех объектов. А следовательно можем записать

(14)

Ра

ту т 1т

^К =

еж

(15)

Ж =

(К - 1)п²т ,.=!

п _г=1

Оценка значимости коэффициента согласия позволяет оценить случайность совпадения мнений экспертов (или случайность проставления экспертами своих оценок). Рассмотрим сначала вопрос оценки значимости коэффициентов согласия по отдельному объекту Ж, вычисляемому по формуле (13).

Определим функцию распределения величины Ж, когда гипотеза Н₀, о случайности совпадения мнений экспертов верна, и число экспертов п достаточно большое (использование метода классификации предполагает привлечение значительного числа экспертов, по крайней мере п>10 [6]).

Тогда выражение (13) с учетом (12) можно представить следующим образом:

п ^лгк

(16)

Ж =

(К - 1)п²

к=1

а=1

"XI ^Хк п

(К - 1)п

К ш

Так как м(хк) = —, D(хк) = — , То, введя в рассмотрение некоторую

К К

признаков, где М(у(_к) = 0 и D(у(_к) = 1. Следовательно формулу (16), можно записать иначе, а именно:

Т^ К Ж п Ц²

и 1=¹ ш

к=1

ъее [хул (17)

(К - 1)п²

В соответствии с центральной предельной теоремой, сумма независимых

одинаково распределенных величин £ У к при достаточно большом числе

]=1

слагаемых распределена в соответствии с нормальным законом распределения.

Следовательно, г _кк = £ у к распределена по нормальному закону со средней

з=1

М(2 _1к) = 0 и дисперсией а²(г _к) = п .

и - ^%

Проведя нормировку г .. , можем перейти к переменной ~ік

■\іп

распределенной по нормальному закону с М (и _1к) = 0 и ст²( г _к) = 1, при которой выражение (17) примет следующий вид:

іг К ²

^=Ккг^ ееи-к (18)

(к - 1)и к=1

Как известно, сумма квадратов независимых нормально распределенных случайных величин, в свою очередь, распределена по закону %² с числом степеней свободы V, равным числу слагаемых за вычетом количества наложенных связей на элементы суммы [7].

Таким образом, величина Є^и к распределена по закону %^г с числом

к=1

степеней свободы п = К — 1, так как. на каждую строку матрицы

.. ік І

накладывалось условие £ = ¹.

к=1

В соответствии с (18) получаем, что когда гипотеза Н₀ верна, то

статистика X² = п (К — 1)Ж_{ (19)

распределена по закону Пирсона с числом степеней свободы V = К — 1.

Пороговое значение статистики определяется из задания необходимого уровня значимости а, который характеризует требования к надежности групповых оценок и соответствующего значения числа степеней свободы. По таблицам распределения х² определяется хП2_абл для рассматриваемой задачи. Для признания коэффициента согласия значимым необходимо выполнение соотношения: Срасч > Х_табл .

Проверка значимости коэффициента согласия W по всей совокупности объектов осуществляется аналогично W_i. При этом статистика х² вычисляется по формуле:

Ср™ = тп (К - т , (20),

а число степеней свободы равно п = т(К -1).

Оценка согласованности результатов экспертизы в порядковой шкале оценок

Допустим, что исходный материал оценивания - ранжировки, которые строят эксперты, либо представление экспертной информации, сводимое к ранжированию. Эксперт ранжирует факторы по важности, самый важный имеет ранг равный 1.

Результат оценивания степени важности факторов экспертами может быть представлен следующей таблицей:

Таблица 11

	1	1	т
1

}

п

Здесь п - число экспертов, т - количество факторов, Zj— ранг, присвоенный j- экспертом /-му признаку (фактору).

Ранг - это место (положительное рациональное или натуральное число соответственно в широкой и узкой постановке) объекта в упорядоченном списке.

Будем считать, что результаты индивидуального экспертного оценивания уже подверглись первичной проверке на качественность их представления, т.е. в дальнейшем предполагается, по крайней мере, представление ранжировок в стандартизированном виде.

Проверка согласованности мнений экспертов, проводящих оценивание в порядковой шкале, в зависимости от целей исследования осуществляют с помощью парных либо множественных показателей меры согласованности групповых решений. Рассмотрим далее возможные варианты.

Проверка согласованности мнений пар экспертов

Наиболее известными в практике установления факта наличия или отсутствия связи между результатами ранжирования объектов двумя экспертами являются коэффициенты парной ранговой корреляции Спирмэна и Кендалла [1, 9, 10, 17-19].

Если имеются стандартизированные ранжировки 1-го и ^го экспертов, то мера согласованности ранжировок, определяемая на основе коэффициента ранговой корреляции Спирмэна, имеет следующий вид:

h ^т

р%=т===1 - -А-ее (^ - (21)

рр_к ^т - ^т_г₌₁

где h_k - взаимный корреляционный момент j-ой и к-ой ранжировок; D_j, D_k - дисперсии этих ранжировок. Причем

К = т~1 ее ^^- ^ К^- ^)^;

^т^-¹1=1

і т ___________ і т

^ = --7 е (^ - ^ )². ^ = —г Є (*« - ^ )²,

т -1 _г = т -1 _г=1

где т - число ранжируемых объектов;

zi,zk - средние ранги в первой и второй ранжировках, т.е.

1 ^т - 1

Zi = —Є z,,.;zk = — е z

=—Є ^zP; ^ = —Є ^zkг •

т _г=і т _г=

Из формулы (21) очевидно, что

- при полном совпадении мнений экспертов, т.е. z_ji = z_ki, где j № к, V/, имеем

р^ = 1;

- при полностью противоположных мнениях, т.е. когда z_ji = т +1 - z_ki,

6 ^т

имеем: р]_к = 1 —3-------- Т (т +1 - 2z_kг)². Путём несложных преобразований

т -т~!

-т/ л, \ 2 т³ - т последнего выражения и с учетом того, что е (т +1 - 2 z_kг. )² = , легко

/=1 3

видеть, что: р"_]к = -1.

< 1.

Гк

во всех остальных случаях:

Рассмотрим следующий пример. Пример 4.

Пусть два эксперта оценили важность четырёх факторов следующим образом: ^ = (1; 2.5; 2.5; 4) и R2 = (4; 2.5; 2.5; 1).

Определить степень согласия между этими ранжировками с помощью коэффициента Спирмэна.

Прежде, чем определить меру согласованности экспертов с помощью формулы (21) заметим, что обе ранжировки являются стандартизированными и имеют группы связных рангов и, кроме того, мы заведомо можем предположить ввиду очевидности, что расчетное значение коэффициента ранговой корреляции должно быть равно минус единицы. Однако, если воспользоваться формулой (21), то степень согласия первого и второго эксперта составит 6

р* = 1---- 2 х 3² =-0.8, т.е. результат оказался заниженным относительно

64 - 4

нашего ожидания. Для избежания этого в случае наличия в ранжировках экспертов групп связных рангов следует использовать модифицированную

п, = п„

форму коэффициента ранговой корреляции Спирмэна. Она имеет следующий вид:

Г + Т)

элементов ранжировок 1-го и ^го экспертов, расположенных в неодинаковом порядке. Коэффициент рассчитывается следующим образом:

(23)

41 (^;)

^к = 1

т(т -1) '

где I(z_ji; z_ki) - число инверсий между ранжировками_/-го и к-го экспертов.

Приведем пример 5, демонстрирующий процедуру вычисления этого коэффициента.

Пусть представлены следующие две ранжировки четырёх альтернатив:

= (1;2;3;4) R ₂. = (2;4;1;3). Определим для них значение коэффициент

ранговой корреляции Кендалла.

Для начала построим матрицу предпочтений для каждого эксперта, т.е.

А =(4), где а* - результат сравнений і-го и *-го факторов 1-м экспертом,

определяемый следующим условиями:

а„

1, > ;

Л 1 1

^0, ^ = ^z_i;

л I . I ^-1,^zi ^ ^z_;.

Таким образом, имеем следующие матрицы предпочтений для каждого из

экспертов

^ґ0 1 11Ц -10 11 -1 -10 1

-¹ -¹ -^{1 0}ш

^ґ о 1 -1 1 Ц

-1 0 -1 -1

110 1

-1 1 -1 0

А =

Тогда соответствующая матрица инверсий принимает следующий вид:

Ж 0010 Ц 0 0 1 1

110 0 0 1 0 0

где !у - отражает совпадение (0) или несовпадение (1) мнений 1-го и ^го экспертов по поводу предпочтительности 1-ой и 7-ой альтернативы сравнения.

Таким образом, для рассматриваемого примера число инверсий составит I (z ₂.) = 3, следовательно, в нашем случае значение коэффициента ранговой

к 4 • 3

корреляции Кендалла составит Р^и = ¹" = ⁰ , т.е. мнения двух экспертов абсолютно не согласованны друг с другом.

Следовательно, мнения экспертов независимы друг от друга (полная несогласованность мнений).

Не трудно показать, что данный коэффициент, также лежит в диапазоне от -1 до 1.

Так же как и в предыдущем случае при наличии в рассматриваемых группировках групп связных рангов коэффициент Кендалла нуждается в модификации, учитывающий этот факт.

(24),

Модифицированная форма коэффициента ранговой корреляции Кендалла имеет следующий вид:

* " ^2(и- + ^ик⁾~_К Г^к щ(щ " 1)

Р.* =

(1 )(1 ) щ(щ " 1) щ(щ " 1)

где и_- - поправочный коэффициент, вычисляемый по формуле 1

^и- " ⁿt⁾, остальные обозначения совпадают с ранее введенными для

² t=1

расчета коэффициента Спирмэна.

Определим значение модифицированного коэффициента ранговой корреляции Кендела для ранее рассмотренного примера 4.

Для данного примера число инверсий составит I(z₁.;z₂.) = 4.5, а следовательно, используя формулу (23) можем определить значение

К_ 1

коэффициента согласованности Рп = ^. Значения поправочных

коэффициентов составят ^и1 = ^и2 = у⁽⁴ " ²⁾ = ¹. Тогда окончательно из формулы

- 0.5 - 2^ - 0.5 -1 - 5 (24) имеем: р^ = ^ ³ = 5—³ = -5⁶ = -1. Как и ожидалось, полученный

¹ 4 х 3 6 6

результат подтверждает ранее сделанные выводы о противоположности мнений экспертов относительно ранжировки альтернатив выбора.

До сих пор речь шла о выборочных характеристиках ранговой связи. Возникает вопрос: как точно выборочные характеристики оценивают соответствие истинным теоретическим значениям выборок? Это вопрос о возможности корректной проверки значимости соответствующего коэффициента ранговой корреляции.

Данная проблема решается путем расширения на рассматриваемые объекты исследования возможностей оценки значимости коэффициентов парной корреляции представленных в общем случае в количественных шкалах измерений. Обоснованность этого следует из доказательства соответствия рассмотренных коэффициентов согласия парному коэффициенту корреляции. Для этого вводится соответствующая каждому из видов ранговых коэффициентов метрика.

Є (^ХЛ ^-^Х; ⁾⁽^ХШ ^-^Хк ⁾

'}к ~

Помним, что коэффициент корреляции у-го и ^го наблюдения рассчитывается так:

р_1к = , " , (25)

(Є (х, - Х_}- )²)(Є Х - Хк )²)

і =1 і=1

Напомним, что наши наблюдения (т.е. ранжировки экспертов) представлены числами, суть которых есть ранг. В соответствии с последним замечанием допустимо произвести следующую подстановку, пусть

_ _ т +1 х_й = z_й; х . = z_l = ,

л з^г⁷ з з 2

где т - число оцениваемых альтернатив.

Тогда в новых обозначениях выражение (26) примет следующий вид:

т + 1_Ч

—)( ------- —)

і=1

т, т +^ т +1 2.

т + 1_Ч

Р* =

⁽е ⁽²рі —⁾⁾⁽е —^{) )}

і=і ² і=і ²

Далее следует провести ряд соответствующих преобразований, т.е.

т +1

Е ШТ1 "<Т1

2 .2,. — - Р к

і=1

Р* =

т +1 т +1 ₂

Є (2

і=1

⁽²і —2Г⁾⁽ —

і =1

т +1 V/ т +1 2.

⁽е —⁾⁾⁽е —⁾⁾

т+1

т +1 т +1 т +1 ₂

е (

У ^ + ⁽^⁾²⁾

і=1 ² і=1 ²

т т + 1 т (т + 1)² т

Є ^ ^- т( - )²¹²(Є р кі ^т . ⁾¹²Є ²р²кі ^3т(т +¹⁾

і=1

2 ,=1 4

і=1

т—т

т — т

= 1

к ■

Є ^{(— )}² = Г

т(т — 1) _і=₁

Таким образом, к оценке значимости коэффициента ранговой корреляции Спирмэна р]_к можно применять все статистические характеристики оценки

значимости корреляции. Например, с помощью /-статистики Стьюдента можно проверить нулевую гипотезу Н₀ о равенстве 0 коэффициента парной корреляции, т.е. установить, что мнения экспертов статистически не зависимы, т.е. согласованность между экспертами не обнаруживается.

	р'
1-
І	т —	2

Расчетное значение критерия Стьюдента находится, как 1/1

т—2

оно сравнивается с табличным значением - /_кр(т_2;а), если Щ^р_т_ >/_кр, то

я₀ отвергается, и с вероятностью не меньшей, чем (1-а )100%, можно говорить о неслучайном совпадении мнений экспертов по интересующей проблеме.

Следует иметь в виду, что такой способ проверки нулевой гипотезы справедлив только при размерности пространства признаков не менее 10, для меньшего числа свойств существуют специальные таблицы [1, с.450-451].

Покажем, что парный коэффициент корреляции является эквивалентом коэффициента ранговой корреляции Кендалла при переходе в соответствующую метрику. Для начала будем считать, что мы имеем дело со строгими стандартизированными ранжировками.

В соотношение (25) вместо х_п подставим соответствующую исходную

информационную единицу аI. Следует учесть, что среднее значение элементов

т т

а^к

і і

рассматриваемой матрицы А¹ равно 0. Тогда в новых обозначениях имеем следующую запись формулы коэффициента корреляции (25):

ЄЄ а',

і = 1 І-1

Рік =

ееа ) е е (ак )

і = 1 І-1 і = 1 І-1

Нетрудно убедиться в том, что:

тт. ^

ееи ) =^т^{2 -}^т,

і=1 з -1

гп ги р -а

ЄЄ = 1^(т^{2 -}^т^{) - 2}¹⁽²к²¹ (.; ²к.) = ^т^{2 -}^т^{- 4}¹ (^.).

і=1 з -1

Таким образом, получили следующее соответствие

„ = ^{т - т -}⁴¹⁽.;^.⁾ = ! *

Рік- 2 2 - Рік

т - т т - т

Таким образом, для определения значимости коэффициента ранговой корреляции Кендалла можно воспользоваться и-статистикой (нормализованное нормальное распределение вида М[х]=0; D[x]=0). Ее расчетное значение можно определить, как:

р^К 79т(т -1)

и^р

д/2(2т + 5) .

Для вычисленного значения [/-статистики можно проверить нулевую гипотезу, используя табличное значение и_ч: если и^р > и_ч, то н„отвергается, если и <и_ч, то

н ₀ принимается.

Проведенные исследования вопроса соответствия результатов оценивания одинаковых исходных данных с помощью различных ранговых коэффициентов парной корреляции позволяют сделать заключение о том, что при т>10 наблюдается следующее приближенное соответствие коэффициентов Спирмэна

и Кендалла Р⁵ » 1-5р^К [1, с.113].

Проверка согласованности мнений группы экспертов.

Для оценки согласованности мнений групп экспертов численностью большей, чем два человека могут использоваться дисперсионный и энтропийный коэффициенты конкордации, коэффициент вариации и т.п. [1, 3,

4, 6, 10].

Дисперсионный коэффициент конкордации (или множественный коэффициент конкордации Кендалла) или W(n), где п - число ранжировок, определяется как отношение несмещенной оценки фактической дисперсии D, полученной на исходных ранжировках к теоретически максимальному значению оценки их дисперсии на заданном множестве экспертов п - D_max, иначе говоря:

W (п) = (26 ).

тах

Оценим возможность практического использования данного коэффициента в ходе оценки качества проведенных прогнозных исследований.

Пусть информация об оценивании т факторов п экспертами представлена в виде таблицы 7, приведенной выше, в которой Zj_l— ранг, присвоенный j— экспертом 1-му объекту (альтернативе).

Очевидно, и ранее это было показано, что на предварительном этапе обработки экспертной информации, представленной в порядковой шкале измерений, самой естественной характеристикой оценки соответствующей альтернативы, является набранная ей сумма рангов. Очевидно, чем более случайным образом распределились мнения экспертов относительно объектов оценки, тем меньше расхождение сумм рангов альтернатив, т.е. тем меньше их дисперсия. Верно и обратное. При абсолютной согласованности специалистов, межальтернативная разница сумм рангов максимальна. Соответственно коэффициент множественной конкордации (26) может быть интерпретирован как степень соответствия результатов оценивания их максимально согласованному варианту оценки. Таким образом, значения множественного коэффициента конкордации Кендалла лежат в диапазоне от 0 до 1, т.е 0 < Ж(п) < 1. При Ж(п) = 0 ранжировки полностью рассогласованы, при Ж(п) = 1 достигнуто полное согласие в ходе оценки объектов. Раскроем полнее содержание этого показателя.

Введём следующие обозначения: г_г = е ^г_]_г - сумма рангов по г-му фактору

1 =1

оценки, г ={^1,г₂,...,г_т} - суммарные ранги, полученные каждой альтернативой.

Суммы рангов по каждому столбцу в матрице исходных наблюдений предлагается рассматривать как реализации некоторой случайной величины и вычислить ее математическое ожидание и дисперсию.

Разброс мнений по проведенной экспертизе можно измерить через дисперсию рангов. Заметим, что при этом оценка математического ожидания составит:

_ 1 ^т 1 ^т ^ 1 ^ ^т 1 т(т +1) п(т +1)

^г = те^гг = — ее^гг = — е⁽е^гг⁾ = ~^п 2 = 2 ^- средни^й ранг по

т _г=₁ т _г=₁ 1=₁ т ₁=_{1 г}=₁ т 2 2

совокупности мнений экспертов. Далее можно определить фактическую несмещенную оценку дисперсии рангов как:

д,)=е (, _Г)2=ее е, _ п^ )2.

т _ 17=1 т _ 17=1 7=1 2

Максимальное значение оценки дисперсии случайной величины надлежит вычислить отдельно как при отсутствии связанных рангов, так и тогда, когда они имеются.

Таким образом, максимальное значение дисперсии рангов на множестве альтернатив в случае отсутствия связных рангов получим следующим образом:

)_ =_4 е з - +¹^ц²

' тах _л / і і -і ~

п (т - т)

т -1

т -1 ~7 и 2

2 тп²(т +1)² п²(т +1) ^

і=1 ^ ^ і=1

12(т —1)

Следовательно, в окончательном виде дисперсионный коэффициент конкордации Кендалла можно представить так: D 12 п(т + П ₂

* (п) = = "Л"!----------- г е (Е (27).

^Dmax ^п⁽^т^-^т⁾ г=1 у =1 ²

Не трудно показать, что при наличии связных рангов в группировках, максимальное значение оценки дисперсии откорректируется следующим образом:

п ²(т³ - т) - п •£ Т^

D_max =--- —----- ^{1 1}—, где поправочный коэффициент Т₁ - показатель

12(т — 1)

где

связных рангов в j-й ранжировке рассчитывается как

Т =е (п³ - п,) (28)

,=1

т_у - число групп связных рангов в j-й ранжировке;

п_г - число связных рангов в ^ой группе связных рангов при ранжировке j-м экспертом.

Таким образом, модификация дисперсионного коэффициент конкордации Кендалла в случае наличия групп связных рангов имеет следующий вид:

12Ї СЁ* - п^ )2

#(п) = ------------- ²--------------------------- (29).

п² (т³ - т) - п£ Т

1—1

Если совпадающих рангов нет, то т_у = 0, п₍ = 0 и формула (29),

учитывающая влияние на коэффициент конкордации эффекта связных рангов, превращается в формулу (27) для случая их отсутствия.

Поскольку коэффициент конкордации также по сути своей является случайной величиной, которая служит оценкой истинного значения Ж (п), то кроме подсчета его значения необходимо определить значимость этой оценки [1].

При числе объектов сравнения т > 7 оценку значимости коэффициента конкордации рекомендуется осуществлять по критерию х² Пирсона. Расчетное значение критерия х² можно определить следующим образом :

/ Л²

12-е {Ъ, - ^ Ч

2 г=1 и 1=1 ² Ш

С² =---- ^и---------- ₁_я (30).

т - п - (п +1)----------- е Т

^т^-¹ 7=1 ¹

Величинах² имеет распределение Пирсона с (т-1) степенями свободы.

Значимость коэффициента конкордации можно также оценивать и с

1 (п - 1)#(п)

помощью распределения случайной величины 2 ^—^ приближенно

моделируемой /-распределением Фишера. При этом число степеней свободы

числителя статистики определяется как п₁ = т -1 —, а число степеней свободы

знаменателя как = (п - 1)у₁. Следует также заметить, что строго обоснованных правил построения доверительных интервалов для коэффициентов ранговой корреляции в настоящее время нет.

Поясним на примере возможности представленного выше математического аппарата оценки согласия групп экспертов. Оценим априорное качество экспертного прогноза на основе определения степени согласованности специалистов в соответствии с множественным коэффициентом конкордации, используя исходные данные примера 2.

Анализируя данные, представленные ранее в таблице 5, можно сделать вывод о наличии групп связных рангов у 1, 4 и 6 экспертов. В соответствии с формулой (28) определяем значения поправочных коэффициентов соответствующих ранжировок, их значения следующие: T₁ = 0.5, Т₄ = 1, Т₆ = 0.5. Воспользовавшись формулой (29), не трудно рассчитать значение модифицированного дисперсионного коэффициента конкордации, оно составит W(6) = 0.88. На первый взгляд уровень согласованности мнений экспертов достаточно высок. Попытаемся подтвердить эту гипотезу статистической проверкой значимости.

Оценим значимость полученного коэффициента. Табличное значение коэффициента х² при 5%-м уровне коэффициента значимости составит 9.488. Расчетное значение статистики составляет 21.125, в соответствии с формулой (30). Таким образом, у нас нет оснований принимать гипотезу о значимости нулю коэффициента конкордации, а следовательно согласованность мнений присутствует, она достаточно высокая и не случайная.

В качестве альтернативного подхода к оцениванию степени согласованности группового мнения экспертов может быть предложен энтропийный коэффициент согласия. Он строится исходя из понятия общей меры неопределенности поведения характеристик объекта исследования - энтропии. Этот подход особо эффективен при оценивании особо сложных объектов сравнения, состояния которых могут описываться лишь вероятностными методами, существенно также то, что допустимо представление данных в качественных шкалах.

В общем виде, энтропийный коэффициент согласия определяется так:

^WE = ¹ - > где

max

H - фактический уровень энтропии в рамках рассматриваемых данных; H_max - максимальное значение энтропии.

Фактический уровень энтропии согласно определению [6, 10] составляет

n m

^H = ^-EZP ^logP , при этом P = ,

i=1 j=1 ^j^m

где Py - оценка вероятности присвоения j-го ранга i-му объекту;

т_у - количество экспертов, приписавших ьму объекту j-й ранг;

т - общее число экспертов.

Расчет максимального значения энтропии в системе производится, исходя из предположения о равновероятном распределении мнений экспертов

т т 1

относительно альтернатив оценки. В таком случае ^т _у = , а Р_у =------------- = ^_,

п ^^ п п

следовательно:

^^ 1 1

^Нтах = ^— е е~ * ¹⁰ё- = ^т * ^l0g ^п.

г=1 1 = 1 ^{п п}

В силу своих свойств энтропийный коэффициент согласия может принимать значения на отрезке от 0 до 1. При Ж_Е = 0 ранжировки экспертов полностью рассогласованы, а при Ж_Е = 1 достигнуто полное согласие в ходе оценки объектов исследования. Особенность, а иногда преимущество энтропийного коэффициента согласия состоит в том, что он может применяться и в случаях оценки согласованности экспертов, работающих с информацией, представленной в номинальной шкале.

В практике проведения исследований по установлению уровня качественности сделанных предсказаний могут также использоваться и менее универсальные измерители связи мнений экспертов, к ним в частности относят коэффициенты вариации и ассоциации, которые имеют разнообразные формы представления. Приведем примеры.

т =

Коэффициент вариации позволяет установить степень согласованности экспертов в отношении каждого объекта ^ Коэффициент вариации используется в случае, когда х_у - целые числа (баллы) [2, 23]:

''к N² ^

е Iу — е Iг

\\у=1 у у=1 ш

к — 1 ж к ц²

е I

^и 1=1 ^ш

где i - индекс объекта;

к - число градаций (баллов, классов и т.п.) в принятой шкале измерений; f. - число экспертов, отнесших ьй объект к j-й градации.

Значения коэффициента заключены в границах от 0 до 1. Степень согласованности экспертов в отношении ьй альтернативы оценивания определяется величиной (1 - т). При т = 0 - констатируется полное совпадение мнений экспертов.

Коэффициент ассоциации - измеритель сходства оценок пар экспертов, он показывает вес одинаково оцененных альтернатив относительно общей меры величины сделанных оценок[5, 25] : 2т..

^ =--------- 7---------------- Г' ^где

( _г ^(1 + ) + г_з ^(1 + ^)

^t, Ь

т. - количество признаков, одинаково оцененных ьм и j-м специалистами; t_i - количество признаков, оцененных ьм специалистом; t_j - количество признаков, оцененных j-м специалистом.

Интерпретация диапазона значений данного коэффициента полностью идентична с ранее рассмотренными измерителями согласия пар экспертов. В заключение следует отметить, что отыскание значений показателей множественной согласованности групп экспертов несет не только узко специальное назначение - определение качества проведенной экспертизы. Существует по-крайней мере два важнейших дополнительных прикладных аспекта значительно увеличивающих прагматическую значимость полученных результатов. Первое - степень согласованности экспертной информации делает допустимым или нет возможность обоснования и выработки обобщенного группового экспертного решения. Второе - полученные результаты часто являются основанием к дополнительным организационным преобразованиям в рамках проводимой экспертизы.

В общем случае весь перечень задач, решаемых при оценке надёжности групповой экспертизы, можно свести к следующим типовым постановкам:

- предварительная обработка экспертной информации, группировка и агрегирование отдельных признаков, факторов, по которым производится оценка;

- оценка степени согласованности мнений экспертов как по отдельному фактору (признаку), так и по набору в целом;

- выявление групп экспертов со сходными оценками - «ядер»;

- в случае большой степени расхождения в оценках - определение причины расхождений: неточности в постановке задачи; неточности исходной информации; некомпетентность экспертов и т.п.;

- дополнительное уточнение качественного и количественного состава экспертной группы.

Последняя из названных проблем часто становится одной из самых актуальных для исследователя-аналитика. Как правило, для ее решения можно рекомендовать два достаточно радикальных способа решения: первый подход можно охарактеризовать как метод последовательного расформирования исходной совокупности [2], второй напротив - как метод рациональной консолидации [7].

В каждом случае при обработке мнений экспертов перед аналитиком дополнительно встают следующие задачи:

1) анализ структуры совокупности ранжировок экспертов.

2) уточнение качественного и количественного состава экспертной группы.

При исследовании совокупности ранжировок экспертов на предмет их переформирования, а в частности, сужения, следует обратить внимание на следующие моменты.

- Исходное состояние: согласованность ранжировок низкая либо просто отсутствует, т.е. Ж(п) ® 0.

- Предполагается существование некоторого подмножество М множества п, для которого Ж(М) ® 1. Такое множество экспертов носит название «ядро». Отличительной его особенностью является тот факт, что мнение внутри этой части исходной группы экспертов согласовано. Т.е. оно обладает внешней и внутренней устойчивостью в теоретико- кооперативном смысле. «Ядро» в дальнейшем используют как рабочую экспертную группу. - При числе ядер более одного оценку группового решения и его качества (соответствующий коэффициент согласованности) проводят на каждом из ядер.

При оценке состава экспертной группы осуществляется ранжировка экспертов по степени согласованности со всеми остальными членами группы: Ж(п - 1;п \1);Ж(п -1;п \2)... Затем упорядочивается совокупность экспертов:

Ж₁;Ж₂;...;Ж_п, где Ж₁ - наименее согласованный с остальными эксперт; Ж_п - самый согласованный с остальными эксперт.

Данная процедура позволяет дополнительно ранжировать экспертов по «силе» их влияния на результат экспертизы, что при определенных обстоятельствах может трактоваться как дополнительный аргумент при индивидуальной оценке компетентности экспертов.

Иллюстрация работы метода рациональной консолидации представлена в виде алгоритма формирования согласованных групп экспертов на рисунке 10.

Рис 10. Алгоритм формирования согласованных групп экспертов на основе агрегирующего подхода.

Л и т е р а т у р а

1. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Исследование зависимостей: Справ. изд./Под ред. С.А. Айвазяна - М.: Финансы и статистика, 1985.

2. Айвазян С.А., В.М.Бухштабер, Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Классификация и снижение размерности: Справ. изд./Под ред. С.А. Айвазяна - М.: Финансы и статистика, 1989.

3. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. - М.: Статистика, 1980.

4. Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки в принятии плановых решений. - М.: Экономика, 1976.

5. Евланов Л.Г. Теория и практика принятия решений. - М.: Экономика, 1984.

6. Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. - М.: Экономика, 1978.

7. Елтаренко Е.А., Крупинова Е.К. Обработка экспертных оценок. Учебное пособие. - М.: Изд. МИФИ, 1982.

8. Григорьев В.М. Эксперты в системе управления общественным производством. - М.: Мысль, 1976.

9. Дэвид Г. Метод парных сравнений. - М., "Статистика»,1978.

10. Дудорин В.И. и др. Методы социально-экономического прогнозирования (общие методы прогнозирования) /ГАУ. - М., 1991.

11. Литвак Б.Г. Экспертная информация: Методы получения и анализа. - М.: Радио и связь, 1982.

12. Литвак Б.Г. Экспертные оценки и принятие решений. - М.: Патент, 1996.

13. Литвак Б.Г. Разработка управленческого решения. - М.: «Дело», 2000.

14. Макаров И.М. и др. Теория выбора и принятия решений. - М.: Наука, 1982.

15. Орлов А.И. Эконометрика: Учеб.пособ. для вузов. - М.: «Экзамен», 2002.

16. Пфанцагль И. Теория измерений. - М.: Мир, 1976.

17. Рабочая книга по прогнозированию. Под ред. Бестужева-Лады И.В. , М.: Мысль, 1982.

18. Саркисян С.А., Голованов Л.В. Прогнозирование развития больших систем. - М.: Статистика, 1975.

19. Саркисян С.А. и др. Анализ и прогноз развития больших технических систем. - М.: Наука, 1983.

20. Саркисян С.А. и др. Научно-техническое прогнозирование и программно- целевое планирование в машиностроении. - М.: Машиностроение, 1987.

21. Сидельников Ю.В. Теория и организация экспертного прогнозирования. - М.: Институт МЭМО АН СССР, 1990.

22. Сидельников Ю.В. Экспертиза: состояние и тенденции развития. - М.: МЭ и МО, №2, 1997.

23. Сиротин А.В., Мицкевич А.А. Методы и процедуры обработки экспертных оценок в управлении / МИУ. - М., 1980.

24. Толстова Ю.Н. Измерение в социологии: Курс лекций. - М.: ИНФРА-М, 1998.

25. Экспертные оценки в социологических исследованиях/ Под ред. С.Б.Крымского.- Киев: Наукова думка, 1990.

26. SPSS: искусство обработки информации. Анализ статистических данных и восстановление скрытых закономерностей: Пер. с нем./ А.Бююль, Цефель П. - СПб.: ООО «ДиаСофтЮП», 2001.

27. Stephen A.DeLurgio. Forecasting: Principles and Applications. The Irwin/McGraw-Hill, 1998.

28. Diebold, Francis X., Elements of forecasting in business, economics, government, and finance. An International Thomson Publishing Company, 1998.

29. Hanke J.E., Ritsch A.G., Wichern D.W. Business forecasting. Prentice Hall, 2001.

30. Forecasting with judgment/ edited by G.Wrigth and P.Goodvin. Wiley, 1998.

(11)

К _ 1

К _ 1 К²

Следовательно, выражение (8) можно преобразовать таким образом:

К К 1 1

Г = К 00У(хк, Хк) = — у (хк _ -)(хк _ -) (12)

К _ 1 к=1 К К

При этом парный коэффициент согласия экспертов (7) по объекту г равен:

Р -к =

т - т - (22).

12Т 12Т (1 )(1 —т^-)

т -т т -т

Расчёт поправочного коэффициента Т₇ для каждого j-го эксперта производится следующим образом:

Т = 7ТЄ^П - П)> где

¹² г=1

^т ] - количество групп связных рангов у 7-го эксперта;

^пі - количество факторов, входящих в г-ю группу связных рангов.

Так в рассматриваемом примере имеем следующую ситуацию. У каждого из экспертов имеется по одной группе связных рангов, т.е.

₁ = щ₂ = 1. в каждую группу связных рангов входит по два фактора, т.е.

ч *₂ =². Таким образом, в силу симметричности данных поправочные

коэффициенты, используемые в формуле (22), примут значения:

1 1

^Т1 = ^Т2 = 12⁽⁸ " ²⁾ = ~2 . Окончательно значение модифицированного

коэффициента ранговой корреляции Спирмена составит:

0 8 ⁶ 1

Р12 = — ⁶⁴" ⁴= = ⁰'⁸ " ⁰¹ = "1. Таким образом, данные ранжировки

1 0.9

12 •(1 ² )²

64 - 4

отражают абсолютно противоположные мнения двух экспертов, что и следовало предположить.

В основе расчета коэффициент ранговой корреляции Кендалла лежит информация о степени рассогласованности мнений экспертов. Для вычисления данного коэффициента определяется число инверсий - количество пар

1 2 3 4 5 6 Наверх ↑