3.4. Методы обработки результатов экспертизы

1 2 3 4 5 6

Обработка результатов проведения экспертного оценивания альтернатив прогноза является, бесспорно, ее ключевым моментом. От ее грамотного проведения во многом зависит качество итоговых результатов. Имея в виду, априорную обоснованность методик и инструментария обработки на предшествующих шагах экспертизы, в практике экспертного оценивания принято различать три основных этапа обработки результатов опроса экспертов:

1) предварительный анализ индивидуальных оценок экспертов;

2) обоснование и вычисление групповой экспертной оценки;

3) определение качества групповой экспертной оценки.

Следует отметить, что этапы 2-й и 3-й в зависимости от конкретно выбранных методов обработки данных могут меняться местами либо даже сочетаться в рамках одной процедуры. Однако следует заметить, что методически верно проводить групповые обобщения только на высоко согласованных группах экспертов. Таким образом, если это вообще осуществимо, то оценка качества экспертизы должна предшествовать ее заключению. На практике, как правило, этапы второй и третий вычислительно совмещаются. Перечисленные три блока работ полностью исчерпывают перечень действий по выработке решения на основе группового выбора. Если же будущее решение в дальнейшем предполагается строить, исходя из индивидуальной оценки единственного эксперта, то вся процедура сводится только лишь к реализации аналитиками администрации экспертизы первого этапа из выше указанной последовательности шагов.

Остановимся подробнее на содержании и проблематике каждого из этапов и возможных способах реализации соответствующих им задач.

Предварительный анализ индивидуальных оценок экспертов

Исходный предварительный анализ индивидуальных оценок экспертов, полученных в результате проведения экспертизы, нацелен на выявление возможного несоответствия между полученными измерениями и априорными требованиями к ним с целью их последующей коррекции. Чаще всего это проявляется через обнаружение противоречий в суждениях экспертов.

Так при оценивании альтернатив в номинальной шкале для каждого участника экспертизы следует проверить условие корректности осуществление

процедуры классификации, которое по понятным причинам сводится к

выполнению следующего равенства ^ ^хл =

, где

к=1

j - индекс эксперта, - = 1, п; к - индекс обобщающего класса, к = 1, К;

хк - результат отнесения j-м экспертом ьой альтернативы сравнения к объектам к-го класса.

Данное требование является следствием принципа запрета пересечения классификационных подмножеств по выбранному основанию класса и обеспечивает однозначную идентификацию альтернативы экспертом.

При получении оценок в шкале отношений в рамках использования процедур парных либо множественных сравнений ключевым индикатором корректности проведенной оценки является соблюдение свойства транзитивности оценок. Оно также без труда проверяется и при использовании метода ранжирования альтернатив (см. пример1). Однако в этой ситуации дополнительно следует осуществить проверку полученных данных индивидуального опроса на правильность выставления связных рангов (см.алгоритмы к примеру 1). И как уже раннее отмечалось проверить выполнение условия стандартизации полученной ранжировки, т.е. ^т = т(т +1)

е ²]1 = ~ , где 2_п - ранг, присвоенный j-экспертом 1-у объекту /=1 ²

оценивания, а т - число альтернатив сравнения.

Часто в ходе работы с информацией, представленной в шкалах не менее совершенных, чем интервальная весьма полезной, а иногда и просто необходимой является процедура нормирования переменных, т.н. переход в так называемые z-координаты. Она, как правило, может быть осуществлена в соответствии с одним из приведенных ниже методов взвешивания.

^ху ^ху ^ху х„ - ху

= ——, ²а = , ² у = —, =-^Jj---- , где

^хтах - ^х} ^Хmin - ® -

х_ц - оценка i-м субъектом j-й альтернативы; х_} - среднее значение по альтернативе j;

а, - стандартная ошибка измерения j-й альтернативы;

х_тях,, х_т,_п, - соответственно максимальное и минимальное значение 1-й

111аЛ j ¹ 111111 j

альтернативы.

Обычно стараются так провести процедуру нормирования, чтобы средняя по соответствующему признаку равнялась нулю, а дисперсия была близка к единице.

Как правило, после обнаружения некорректности в проставлении оценок или наличии со стороны менеджеров экспертизы дополнительных вопросов к экспертам по результатам индивидуального оценивания происходит дополнительный тур обсуждения результата с их респондентами. Иногда коррекция признается безусловно необходимой и она тут же осуществляется формально. Иногда аналитики экспертизы просят автора оценки обосновать свое мнение, как, например это делается в ходе процедуры Дельфы для авторов крайних суждений по проблеме. При этом во многом анализ индивидуальных результатов носит не формализуемый характер. Особо важно выяснить причины неудач. Чаще всего они объяснятся:

- неудачным подбором состава экспертной группы (ее качеством, количеством, предвзятостью и/или недобросовестностью членов группы и т.д.);

- неточной формулировкой задач, стоящих перед экспертами;

- неудачно выбранной методикой проведения процедуры организации экспертного опроса;

- малой изученностью предметной области, в границах которой проводится оценивание;

- реальным наличием нескольких несовпадающих точек зрения на перспективы объекта оценивания.

Обоснование и вычисление групповой экспертной оценки

В зависимости от целей экспертной оценки и выбранного метода измерения возможно решение различных задач обработки информации, получаемой в виде индивидуальных оценок от экспертов. Прежде всего, это задачи получения обобщенной оценки объектов на основе индивидуальных оценок экспертов при различных методах измерения.

В практике экспертного оценивания существует огромное количество общих и специальных методов, алгоритмов и процедур обработки экспертной информации. Подробно с ними можно ознакомиться, например, в работах [3-9, 14, 18-20]. Однако в общем случае методы, используемые при решении такого рода задач, возможно классифицировать в следующие группы [11]:

1. Статистические методы обработки результатов экспертного оценивания. Они основаны на предположении о случайности отклонения оценок экспертов от истинных значений оцениваемых параметров изучаемых объектов. Исходные данные к обработке рассматриваются как выборочная статистика, по которой возможно восстановить свойства присущие некой генеральной совокупности свойств. В этой постановке задача получения результирующих оценок ставится как задача восстановления истинного значения параметра на основе имеющихся оценок с наименьшей погрешностью.

2. Алгебраические методы обработки результатов экспертного оценивания. Суть этих методов заключается в задании формального правила исчисления расстояния на множестве оценок экспертов и определении такой результирующей оценки экспертизы, сумма расстояний от которой до оценок индивидуальных экспертов будет минимальна.

3. Методы шкалирования. При использовании этих методов по исходной экспертной информации о степени различия объектов сравнения неформально, путем отдельного логического анализа, определяется

минимальный набор критериев и оценок объектов по ним, устанавливающих указанные экспертами различия.

4. Эвристические процедуры получения результирующих оценок. Данные методы строятся исходя из уже существующих, определяемых опытным путем правил, способов формирования групповой оценки. Они, как правило, представляют собой сочетание неформального структурированного анализа исходного материала с одним из методов, входящих в уже ранее указанные три группы.

На практике использование конкретного метода обработки экспертной информации фактически предопределено шкалой измерения объектов сравнения. Аналитик экспертизы может лишь осуществлять свой более или менее эффективный выбор инструментария обработки в рамках допустимых преобразований шкал с целью отыскания соответствующей адекватной результирующей статистики группового оценивания. Так для номинальной шкалы ей будет являться мода распределения оценок экспертов. В рамках порядковой шкалы эту роль выполняют либо мода, либо медиана распределения. Для интервальных шкал аналитик вправе выбирать любые, известные и приемлемые с его точки зрения, способы обоснования усреднения индивидуальных оценок.

Следует также заметить, что способ представления результирующих данных об экспертизе зависит также и от самого контекста решаемой задачи, ее цели и постановки, определяемых на исходных стадиях экспертизы.

Остановимся подробнее на рассмотрении возможности обоснования решений на основе экспертиз, проводимых в рамках шкал наименований и порядка, так как методы выработки групповых решений в рамках количественных измерений хорошо известны читателю из теории математической и прикладной статистики.

Напомним, что модой называется альтернатива, имеющая самую высокую частоту выбора экспертами. Таким образом, для оценок проводимых в рамках
шкал классификаций или порядка, ей будет признан класс (индекс класса) к которому отнесено наибольшее число альтернатив или голосов экспертов,

определяемый из условия М = х_к = тах_к|, где

хк - результат отнесения j-м экспертом i-ой альтернативы сравнения к объектам к-го класса.

В том случае, когда результаты измерения представлены в форме интервального вариационного ряда, формула вычисления моды принимает следующий вид

^ПМо ^ПМо-1

где

м= хмто¹+k

^2ПМо ^ПМо-1 ^ПМо+1

нижняя граница модального интервала;

, V.

Мо' Мо-1 Мо+1

частоты выбора альтернатив соответственно модального

интервала, предшествующего модальному интервалу и последующего за ним.

Использование моды или так называемого «правила большинства», в качестве основы группового выбора при работе с порядковыми данными формально возможно, но далеко не всегда эффективно, а иногда ввиду самой постановки цели исследования и бессмысленно.

Приведем следующий пример 3. Пусть шесть экспертов оценивают по предпочтению три альтернативы, формулируя свои оценки в виде стандартизированных ранжировок и имея в виду, что ранг 1 соответствует наиболее предпочтительному варианту. Результат оценивания приведен в

X =

матрице

к]

где к - индекс эксперта, j - индекс проекта.

Ж 2,5 2,5 1Ц

1 2 3

^х = ы =

2 3 1 1,5 1,5 3 2 3 1

Какая из рассматриваемых альтернатив заслуживает наибольшего внимания у экспертов? - Формальный результат оценивания по большинству голосов показывает, что третья. Однако заметим, что такой же ответ может быть получен при ответе на вопрос о наименее желаемой альтернативе. Такого рода примеры иллюстрируют недостаточную пригодность моды как варианта коллективного выбора. Для преодоления такого рода ловушек исследователями предлагается целый ряд более совершенных подходов. Исторически одним из первых альтернативных подходов к обоснованию принципов множественного выбора является так называемый принцип множественных сравнений Кондорсе

[11, 15].

Для пояснения выбора альтернативы Кондорсе введем следующие обозначения. Пусть R₇- ранжирование исходного множества альтернатив

А = (а_к ), к = 1, п j-м экспертом, где і = 1, т.

Для каждой пара альтернатив а_к и а₁ определяем число экспертов Б_кі, предпочитающих к-ю альтернативу 1-й. Если s_kl>s_lk, то к-ю альтернатива признается более предпочтительной, чем 1-я. При этом альтернатива к признается лучшей (альтернатива Кондорсе), если

s_kl і s_lk; "I № к; I = 1, п; к = 1, п .

Таким образом, для примера 3 верны следующие соотношения £₁₂ > £₂₁, £₁₃ = £₃₁, £₂₃ = £₃₂, а, следовательно, в качестве альтернативы Кондорсе может быть признана первая варианта. Однако альтернатива Кондорсе не всегда может быть указана. Это утверждение является следствием нетранзитивности коллективных предпочтений. В качестве иллюстрации этого утверждения можно привести следующие упорядочивания трех экспертов на множестве из трех альтернатив: R₁ = (1, 2, 3,), R2 = (2, 3, 1), R₃ = (3, 1, 2). Отсюда очевидно, что £₁₂ > £₂₁, £₁₃ < £₃₁, s₂₃ > 8₃₂, а, следовательно, альтернативы Кондорсе для такого множества упорядочений не существует.

Паллиативами в этой ситуации могут рассматриваться процедуры построения обобщающих ранжировок, например, с помощью метода сумм рангов (альтернатива Борда), метода среднего ранга, метода нормируемых рангов, метод медианы рангов. Они представляют собой эвристический подход к обоснованию группового обобщения.

Все упоминаемые методы работы с ранжировками, кроме метода нормируемых рангов, предполагают предварительную стандартизацию ранжировок и, как следует из названий, имеют в виду довольно прозрачный алгоритм расчета. Поэтому подробно остановимся на пояснении лишь процедуры расчета нормируемых рангов.

Процедура расчета нормируемых рангов предполагает построение итогового упорядочивания объектов сравнения в соответствии с вектором г, усредненной оценки объектов, учитывающим коэффициенты относительной значимости w_ij отдельных оценок объектов i для каждого эксперта j . Таким

_ X

х₉

образом, сначала рассчитываются коэффициенты w: = _т , а затем -

.=1

усредненная всеми экспертами оценка г для каждого объекта:

е*. е

ее

.=1 _ .=1

і п т

=1 . =1

Перед тем, как привести примеры получения результирующих ранжировок указанными выше методами, напомним способ вычисления на различных представлениях упорядочивания такой характеристики, как медиана.

Медиана представляет собой срединное значение из общего числа исследуемых альтернатив.

Таким образом, для индивидуальных измерений, осуществленных в порядковой шкале и представленных в виде дискретного точечного ряда

медианальное значение альтернативы соответствует ^м = ^х_Р+і, если
т = (2р+1), т.е. ряд содержит нечетное число альтернатив; если число членов

_м = ^хр + ^хр₊і ряда четно, то ^м - ^ .

При представлении результатов измерения альтернатив выбора в форме интервально представленного вариационного ряда, формула вычисления медианального значения примет следующий вид

N ^тме-1

і, + V у.

0,5* + Є¹

шт . 7 i=1 i=1

= Ме + ^к--------------------- , где

^ПМе

хМе - нижняя граница значения признака медианального интервала; к - ширина интервала;

П П_Ме - частоты текущего 1-го интервала и медианального; N - число интервалов вариационного ряда; т_Ме-1 - ряда, предшествующего медианальному.

С помощью исходных данных, приведенных в примере 2, проиллюстрируем способы выстраивания результирующих ранжировок.

Как видно из таблицы 9, все четыре продемонстрированные способа обоснования группового решения дали один и тот же результат. Результирующая группировка совпадает с мнениями третьего и пятого экспертов, т.е. R = R₃ = R₅ = (5,4,1,3,2), а приоритетность рассматриваемых альтернатив выражается вектором предпочтительности альтернатив (П3,П5,П4,П2,П1). Заметим, что сходство результатов, полученных по первому, второму и четвертому алгоритмам не удивительно, т.к. в основе их всех лежит расчет сумм рангов:

^Г1 = е ^х , ⁱ = ¹,^п, где 1 - индекс альтернативы, а j - индекс эксперта.

j=1

Но вот совпадение результатов ранжирования по третьему алгоритму в общем случае совершенно не обязательно со всеми остальными.

Примером алгебраического подхода к оцениванию группового выбора может быть назван обобщающий результат, определяемый как решение наилучшим образом согласованное с индивидуальными мнениями экспертов. Обычно в качестве такой наилучшей точки рассматривают медиану или

и медианы рангов, а также нормированного ранга.

Таблица 9.

Примеры построения групповых ранжировок методами сумм рангов, среднего

Проект Эксперт		П1	П2	П3	П4	П5
Э1		5	3.5	1	3.5	2
Э2		4	5	2	3	1
Э3		5	4	1	3	2
Э4		5	3.5	1.5	3.5	1.5
Э5		5	4	1	3	2
Э6		4.5	4.5	2	3	1
1	Сумма рангов Ранг	28.5 5	24.5 4	85 1	19 3	95 2
2	Средний ранг Ранг	4.75 5	41 4	14 1	32 3	16 2
3	Медиана ранга Ранг	5 5	4 4	1.25 1	3 3	1.75 2
4	Нормированный ранг Ранг	0.32 5	0.27 4	0.094 1	0.21 3	0.106 2

среднее. В общем случае при решении задачи поиска наиболее согласованного с исходным множеством индивидуальных многомерных оценок Х^т некого решения X перед исследователем стоит следующая задача: найти такую точку X

L-мерного пространства факторов, чтобы минимизировать суммарное расстояние от искомой точки до всей совокупности предъявленных индивидуальных оценок на допустимом множестве D, т.е.

m m

F = arg min £ • d(X_}, X) или F = arg min £ • d² (X_}, X), если X, X^m м D (4).

^R j=i ^R j=i

В том случае если измерения экспертов лежат в пространстве объектов физической, числовой природы, т.е. оценочная работа осуществлялась в интервальной шкале представления, решение задачи не выходит из хорошо известного класса методов линейной оптимизации. В этом случае перед исследователем встает лишь проблема подбора адекватного способа измерений расстояний между сравниваемыми объектами, т.е. указания возможных мер близости [2].

Є⁽^xü - ^xji⁾²

К наиболее часто используемым метрикам относят следующие способы измерений расстояний.

Обычное евклидово расстояние: d_E(X_i,X ) =

l=1

Использование этого расстояния оправдано, если все компоненты вектора наблюдений Х (предположительно извлекаемых из генеральных совокупностей, подчиненных законам распределения близким к нормальному) однородны по своему физическому смыслу, причем установлено, например, с помощью опроса экспертов, что все они одинаково важны с точки зрения решения вопроса об отнесении объекта к тому или иному классу.

Часто на практике используют его модификации:

квадрат евклидова расстояния (d_ES (Х_г, X_}) = £ (х_й - х_]2 )²) и взвешенное

е ⁽^x,i ^-^xji )² ).

і=і

евклидово расстояние (d_BE (X_t, X_j) =

i=i

Последний подход рекомендуется в ситуациях, когда каким-либо способом возможно приписать каждой из компонент х⁽¹⁾ вектора наблюдений Х
некоторый неотрицательный вес w_l, пропорциональный степени его важности с точки зрения аналитика экспертизы. Удобно полагать при этом 0 < ю₁ < 1, l=1,L.

Расчет значений компонент вектора весовых коэффициентов, т.е. w₁ влечет за собой дополнительные исследования, связанные, например, с получением и использованием обучающих выборок, организацией опроса экспертов, обработкой их мнений, возможным дополнительным изучением специальных моделей и т.п.

Расстояние city-block (манхеттенское расстояние): d_cb (Х_г,Х_}) = £|х_я - x_;_l|.

i=1

Используется как мера абсолютного различия объектов и равно числу несовпадений значений соответствующих признаков в рассматриваемых i-м и j- м объектах.

Класс метрик Минковского:

d_M (Хг , Xj ) = |е Xii - X_fi\ ,

и i=1 ш

иногда записывают, как обобщенный вариант метрик Минковского:

i=1 ш

/г \1/ r

dM (Х-, Х_; ) = |£ Х_П - X_fl

Ясно, что манхеттенское расстояние - частный случай класса метрических расстояний Минковского.

Как известно, на практике при обработке массивов информации исследователи не редко имеют дело с мультиколлинеарностью переменных. В случае обнаружения или наличия гипотезы о возможности присутствия зависимости компонент х(1), х(2),...х(р) вектора наблюдений Х рекомендуется использовать обобщенное (взвешенное) расстояние Махаланобиса, задаваемое следующей формулой.

Обобщенное расстояние Махаланобиса:

р₀(Х_г,х₁) = ТсХ^Х/л^Ё^лсх^Х), где

Х- ковариационная матрица генеральной совокупности, из которой извлекаются наблюдения;

Л— некоторая симметрическая неотрицательно-определенная матрица «весовых» коэффициентов, которая чаще всего выбирается диагональной структуры.

Расстояние Чебышева:

Рек ^(Хг^{, Х}у ⁾ = ^тах і ^хп ^-^хл .

Это расстояние может оказаться полезным, когда желают определить два объекта как «различные», если они различаются по какой-либо одной координате (каким-либо одним измерением). Однако значительные трудности возникают, когда исследователям приходится иметь дело с представлением информации в шкалах менее совершенных, чем интервальная.

Развитием постановки (4) для обработки мнений экспертов, лежащих в некотором пространстве объектов нечисловой природы, имеющих порядковую шкалу представления, является нахождение групповой оценки Кемени.

$Описание: C:\Users\A261~1\AppData\Local\Temp\FineReader10\media\image3.png$

Результирующей групповой ранжировкой будем называть обобщенную ранжировку, определяемую как точка, наилучшим образом согласованная с точками, представляющими собой индивидуальные ранжировки экспертов. Другими словами, результирующее ранжирование R должно быть расположено как можно ближе к индивидуальным, что эквивалентно выполнению следующего требования:

(5) , где

Rj - ранжировка го эксперта; R - результирующее ранжирование;

т - число экспертов, участвующих в экспертизе.

Ранжировку, полученную из данного условия, называют медианой Кемени [11, 15]. Она может принять модифицированный вид с учетом соответствующих коэффициентов компетентности экспертов:

М_е(Я,, Я^...,R_m) = а^ште• d(Я.,R).

^Я .=1

Среднее значение Кемени - это точка, сумма квадратов расстояний от которой до всех точек индивидуальных ранжировок минимальна:

Я = а^шт е Ч. • d²(R_J., R).

* .=1

Основной недостаток определения обобщенной ранжировки Кемени в виде медианы либо средней ранжировки связан со сложностью их практического вычисления, что, прежде всего, определяется свойствами пространства измерений, а также во многом зависит от размерности задачи. Как понятно из формулировки задачи (5) способ ее решения может заключаться либо в полном переборе точек исходного пространства ранжировок, что, безусловно, весьма трудоемко, либо в решении задачи целочисленного программирования. Последний подход становится более продуктивным при переходе от представления исходных стандартизированных ранжировок альтернатив к их адекватному преобразованию в виде матриц парных или бинарных сравнений. Таким образом, каждую ранжировку i (если меньший ранг присваивается наиболее предпочтительному объекту) можно представить в виде матрицы парных сравнений, оценки в которой определяются исходя, например, из следующих соображений:

^аы

1, если х_ы < х_и

-^{1 если х}_к1 > ^х_и, (6) , где

0, если х_ы = х_и

\ - индекс эксперта, г = 1, т

к, 1 - индексы альтернатив сравнения, I = 1, п; к = 1, п

Введем следующее определение. Расстоянием Кемени в рамках матриц парных сравнений ьго и j-го экспертов, описываемых матрицами Л и Л

1 ^п

соответственно, называют число

^а (Л; А) =

² к ,1=1

Таким образом, расстояние Кемени для матриц парных сравнений представляет собой не что иное, как число несовпадающих элементов в упорядочиваниях соответствующих экспертов, т.е. количество несогласий между экспертами. Следовательно, на конечном дискретном пространстве ранжировок, в котором каждая ранжировка Rj множества объектов есть точка = | а[_{ |), вводится метрика d(Ri , ) - расстояние между 1-й и J-й ранжировками:

¹п

^d(Я.; ^⁾ = d(Л_l;Л_J) = - Х а'_и - ак\ (7).

²к ,1=1

Эта метрика единственна при выполнении ряда условий [11, 15], постулируемых как аксиомы группового выбора. А обобщенная ранжировка в рамках данной метрики определяется как точка, которая наилучшим образом согласуется с точками, представляющими собой ранжировки экспертов и определяемая из решения задачи (5).

Поясним процедуру поиска медианы Кемени с использованием исходных данных примера 2, учитывая ранее полученные на нем результаты.

^ак1 ^аы

Пусть на основе индивидуального исходного множества ранжировок экспертами альтернатив был осуществлен переход от шести стандартизированных ранжировок проектов к соответствующим матрицам парных сравнений шести экспертов, откуда, в соответствии с требованиями соотношения (7) может быть построена матрица попарных расстояний Кемени. Обозначим ее как матрицу D. Для нашего примера она имеет следующую структуру:

^0 5 1 1 1 4^Л

5 0 4 4 4 1

1 4 0 2 0 3

1 4 2 0 2 3

1 4 0 2 0 3

_ч4 1 3 3 3 0_ш

Матрица расстояний D может служить основой вычисления медианы Кемени, т.е. для поиска такой ранжировки R, которая бы смогла на исходном множестве индивидуальных упорядочиваний экспертов удовлетворить требованию (5). Приведем вычисления.

М (= Х d () = 12

J=1

М (R₂) = Х d (^) = 18

J=1

М (Rз) = Х d (RзRj) = 10

J=1

М (R4) = Х d () = 12

J=1

М (= Х d () = 10

J=1

М (= £ d () = 14

D =

J=1

Результаты расчетов показывают, что минимум функции (5) достигается на третьей и пятой ранжировках, следовательно, медиана Кемени определяется как R = R₃ = R₅ = (5 4 1 3 2). Из приведенного примера, очевидно, что медиана Кемени это не обязательно элемент соответствующего пространства, а в общем случае его подмножество. Поэтому более корректной является

утверждение Л^ тт Х' d (Я_], Я) = {Я₃, }.

1 2 3 4 5 6 Наверх ↑