3.3. Обоснование качественного и количественного состава экспертной группы

Главное действующее лицо экспертного прогнозирования, первичный источник информации, а также важнейший фактор качества прогнозной информации - эксперт, т.е. признанный специалист в соответствующей области исследований. Этим определяется то ключевое место, которое отводится процедуре формирования экспертной группы во всей процедуре проведения экспертизы.

На этапе формирования экспертной комиссии перед администрацией экспертизы стоит две основные задачи: обоснование количественного и качественного состава группы экспертов.

Для решения этих задач существенными будут ограничения, обусловленные, с одной стороны, характером решаемой задачи прогнозирования, т.е. специфика предметной области, период упреждения прогноза, специальные требования к индикаторам качества прогноза, степень уникальности решаемой проблемы, наличие информационной базы по проблеме и т.п. С другой, существующая система материальных, финансовых, временных ограничений. В дальнейшем мы не будем их учитывать, однако понятным образом именно они подчас и диктуют окончательное решение задачи комплектации группы.

Перед тем, как остановиться подробнее на изложении некоторых формализованных методов обоснования качественного и количественного состава экспертной группы, сформулируем перечень требований традиционно предъявляемых к кандидатам для включения в нее [3, 4, 11-13, 21]. Они сводятся к тому, что эксперт

а) должен быть признанным специалистом в соответствующей предметной

области и обладать успешным опытом прогнозирования в ней;

b)     позитивно использует любую дополнительную информацию по проблеме;

c)      в ходе тестирования подтверждает стабильность и транзитивность своих оценок во времени;

d)     в ходе тестирования демонстрирует малую дисперсию ошибок.

Не следует также забывать, о различных формах работы по извлечению информации. В этой связи не менее, а иногда и более существенную роль начинают играть такие характеристики субъектов прогнозирования, как степень креативности, конформизма, коллективизма, прагматизма, аналитичности, интуиции и т.д. и т.п.

Давая общую характеристику формализованным процедурам поддержки решений по составу группы экспертов с использованием методов количественного анализа, следует отметить, что принципиально существует два фундамента, на которых осуществляется выстраивание всей процедуры отбора - алгебраический и статистический. Эти подходы до некоторой степени альтернативны и отражают принципиальную разницу между двумя типами задач, решаемых в ходе экспертизы. Это ранее уже нами упомянутые задачи с «достаточным» и «недостаточным» информационным потенциалом.

Статистический подход применим лишь в том случае, если мнения всех экспертов рассматриваются как равноправные, а среднегрупповое мнение признается близким к истинному. Алгебраический подход допускает возможность существенного расхождения между истиной и формально усредненной оценкой. Это отличие характера решаемых задач, а, следовательно, подходов к их решению отражает существенное содержательное отличие в понимание термина «качество эксперта», определяет уровень заинтересованности администрации экспертизы в степени согласования интересов экспертов, выработки компромиссного коллективного решения, учете субъективности суждений эксперта.

В целом различия в характере решаемых задач сказываются на процедуре формирования экспертной группы, требуя в одном случае отбора наиболее компетентных лиц, в другом - наиболее "представительных", т.е. в большей степени отражающих мнения, интересы определенных социально- экономических групп, институтов и т.п.

Основные практические шаги по оптимизации состава экспертной комиссии сводятся к следующему:

-          определяются предварительные границы численного состава множества экспертов;

-          уточняются качественные требования к экспертной группе;

-          проводится стабилизация количественного состава группы с учетом требований, налагаемых на характеристику компетентности группы экспертов.

Упрощенные способы составления списков специалистов-кандидатов, неимеющие каких-либо серьезных формально-количественных обоснований, строятся, исходя лишь из принципов существующих административных взаимосвязей и предполагаемой функциональной пригодности специалистов. К ним, например, могут быть отнесены следующие способы: метод назначений, «телефонный» метод, метод взаимных рекомендаций, метод последовательных рекомендаций, метод выдвижения научными коллективами, документационный, тестирование и др. [18-21]. Как правило, в рамках таких процедур одновременно осуществляется обоснование как количественного, так и качественного состава группы.

Не останавливаясь подробно на расшифровке понятия «качество эксперта», «компетентность эксперта», примем за исходный тот факт, что для начала они могут заменяться такими показателями, как количество ранее проведенных успешных экспертиз, длительность знакомства с данной предметной областью (стаж работы в области, в должности, количество публикации по проблеме и т.п.), коэффициент цитируемости и т.д. Названные параметры могут служить как для обозначения начальных координат поиска, так и с целью выделения «генеральной совокупности» экспертов.

Оценка количественного состава группы экспертов

Качественные и количественные параметры состава экспертной группы всегда взаимосвязаны, что нередко отражается в конкретных методиках подбора экспертов. Это объясняется тем, что в конечном итоге определяющий критерий обоснования численности - это, прежде всего достижение высокого качества прогноза, генерируемого в результате индивидуального или же группового оценивания. А качественный экспертный прогноз возможен лишь при условии априорно высоких качественных параметров привлекаемых к его разработке специалистов по исследуемой проблеме.

На практике аналитики обычно используются два основных подхода при обосновании численности и качественного состава членов экспертной группы. Условно их можно разделить на статистический и эвристический с элементами количественного анализа. Ниже приводятся методы расчетов, отражающих оба подхода.

1. Статистический подход.

1.1. В качестве базы обоснования объема репрезентативной выборки экспертов можно воспользоваться некоторыми результатами теории вероятности при различных условиях генерирования случайной величины [1]. В частности полезным может оказаться следствие из различных форм закона больших чисел, в частности из неравенства Чебышева

а²

п >---------------- , где

тт ,_Л             \ 2 ' ^

⁽1 - р)г

о - тестовое значение дисперсии оценок экспертов; г - предельная априорно задаваемая ошибка оценивания;

р - вероятность совпадения (точнее - не меньше) истиной оценки с усредненной по группе.

1.2. Использование результатов прикладного статистического анализа. Осуществляется кластерный анализ ответов экспертов (объединение экспертов,
имеющих близкие оценки, в одну группу либо высокие показатели межклассовых расстояний) по всем оцениваемым вопросам экспертизы. В группу отбираются эксперты, ответы которых дают оптимальное значение по выбранному критерию качества кластеризации [2], например минимум среднеквадратического отклонения их ответов по тестовому множеству от среднего арифметического их групповой оценки. В том случае, если эксперты дают оценки в метрической шкале, то среднеквадратическое отклонение находится по формуле

 

е

т   ^^

е (х-Пг )²

] =1 ^п

 

т

где Ху- оценка 1-го эксперта по ]-у вопросу, причем I = 1,п, у = 1,т . 2. Эвристический подход.

Примером эвристической процедуры обоснования численности экспертной группы можно привести метод "снежного кома". Его формальное описание следует ниже.

2.1. Пусть М₀ - исходное множество экспертов, известных заранее. Осуществляется последовательный опрос специалистов из первоначального множества М0 с целью выявления всего множества экспертов компетентных по данному вопросу. Первый опрошенный из них называет т](1) новых лиц, после

чего кандидатов становится М₀ + т₁(1). После опроса любого ^го лица из М₀

k

выявленных лиц станет М₀ + е т₁(у₁), а в итоге всего первого тура опроса

Л =1

выявляется (м ₀ + м₁) потенциальных претендентов на включение в экспертную группу, где М1 - число новых лиц, названных в ходе первого круга опроса, его

м 0

можно представить в виде следующей суммы: М₁ =е т₁(у₁). В общем виде,

Л =1

число ранее не названных потенциальных кандидатов за г итераций опроса

Г                             Г м₁ _!

составит М* = еМ_г = е е т_г (У) человек.

г = 0                        г = 0 =1

Очевидно, что необходимо выявить компромисс между желанием достичь идеально полного списка и нежеланием расходовать излишне много времени и средств на полный перебор и оценку потенциальных кандидатов. Для чего предлагается построить стохастическую модель рассмотренного ранее процесса на основе данных о потенциальном множестве экспертов, выявленных к окончанию какого-то тура опроса. Основной момент, который следует учесть при этом, что любое множество экспертов конечно и, начиная с какого-то момента, упоминаемые специалисты будут повторяться [25].

Обозначим как (N+1) - число всех кандидатов, которые могли бы быть признаны в качестве экспертов, оно заранее неизвестное.

М₀ - число априорно известных кандидатов.

т- число лиц, называемое каждым опрашиваемым кандидатом; т - число новых, не входящих в ранее названное множество М0 - лиц, названных каким- либо опрошенным. Допустим, что каждый опрошенный из М₀ называет т неизвестных ему лиц из N.

Рассмотрим случай полной неопределенности, т.е., когда опрошенный с равной вероятностью называет любые т лиц из N. При этом т^г - случайная величина, принимающая значения от 0 до т.

Как следует из комбинаторных соображений, вероятность того, что какой- то опрошенный из М₀ назовет I новых, ранее не упомянутых лиц, можно

оценить как Р(т' = I) = С¹_ы+₁__МСМ_1а¹_₁ /С^, где 1=0;т, а С - знак оператора сочетания.

Следует отметить, что Р(т' = I) представляет собой гипергеометрическое распределение, из чего легко можно получить математическое ожидание т^г и другие моменты. В этом случае математическое ожидание случайной величины т^г определяется как е(т')=т^+1-М₀)Ш. С целью получения искомой оценки можно приравнять математическое ожидание числа ранее не упоминавшихся кандидатов к выборочному среднему по данным первого тура опроса исходного множества кандидатов М₀, тогда:

1 ^М о

є(т' Є т^(і)_:

М0 г=1

где /и(') - булева переменная, принимающая значение 1, если ьй кандидат из исходного множества М₀ называет лицо, ранее не входящее в М₀ , 0, в противном случае.

Отсюда следует, что исходное множество потенциальных экспертов по

проблеме («генеральная совокупность») может быть оценена как

ж М0 ц

Ы'» тМ₀ (М₀ _ 1)/ тМ₀ _е ) . Следовательно, искомая приближенная оценка

и ^г=¹ Ш

возможного числа кандидатов N * на единицу больше и равна

ж М₀ ц N * » тМ ₀ (М ₀ _ 1) / тМ ₀ _ е Ж) I +1.

и г=1 Ш

При использовании на практике найденного числа N * в качестве обоснования количества членов экспертной группы необходимо иметь ввиду его приближенный характер. Следует разумно соотносить число реально доступных специалистов компетентных в соответствующей предметной областью с теоретически возможной величиной N*и, приняв во внимание затраты на новые туры опроса, решить, начинать ли следующий цикл опроса.

2.2. Определение верхней и нижней границ численности специалистов, входящих в группу экспертов, может строиться и на основе некоторых разумных гипотез. В том числе, относительно требований, предъявляемых к специалистам в данной предметной области. В качестве примера могут быть приведены следующие рассуждения [16, 18].

С одной стороны число человек, входящее в экспертную группу должно быть таким, чтобы удовлетворялось условие достаточной средней компетентности по группе, т.е. k(п)> К, где К - усредненный минимально допустимый уровень компетентности по группе в целом (может иногда определяться в долях от максимально возможного (К_тах), например, К = 0,85К_тах ; Цп) -средний уровень компетентности на п-й итерации процедуры, т.е. при включении в группу п-го эксперта, следовательно,

п

k(п) = ——, где к - коэффициент компетентности 1-го эксперта.

п

Таким образом, необходимое (п*), обеспечивающее требуемый качественный уровень, число экспертов можно оценить из условия выполнения

п

соотношения вида п* < ——. Однако приведенное условие является не

К

достаточным, для однозначного определения численности группы, так как при

этом должно соблюдаться условие устойчивости средне группового мнения. С

целью установления этого факта проводится дополнительное тестовое

исследование, призванное итеративно отыскать такое множество из s экспертов,

чтобы выполнялось следующее неравенство:

М (з) - М (з ± 1)1                                                                                „

^]---------------------- ¹ < е , где Мш - среднее значение тестовой оценки,

М (з)

выдаваемое группой из s экспертов, а М(s ± 1) - новое среднее значение при включении или исключении в исходную группу 1 человека. Т.е., s определяет такое количество специалистов, когда включение или исключение человека из экспертной группы не влияет на общую групповую оценку.

Таким образом, исходя из данного обоснования, окончательно количество человек в группе может быть найдено из условия тах{п_т1п, п*, з}. Где нижняя граница численности группы может задаваться директивно, например, из опыта, либо некого норматива, а может исходить из использования неких рекомендуемых [17] эмпирических формул расчета минимального числа

экспертов, например: п_т1п = 0,5^ — + 51.

Заметим, что независимо от метода, используемого для подбора группы экспертов, возникает вопрос о ее составе. Считается, что в группах с однородным составом (по образовательному, должностному, возрастному, профессиональному статусу) бывает меньше расхождений между экспертами, быстрее происходит процесс согласования группового решения. В группах со случайным подбором кандидатов, как правило, эксперты приходят к согласованному мнению не так быстро, зато вырабатывают более широкий диапазон альтернатив и допускают меньше ошибок. В этой связи особое значение уделяется количественным методам обоснования процедур выявления необходимых качественных кондиций экспертной комиссии.