Как правило, основными задачами при формировании прогноза с помощью коллектива экспертов являются: формирование репрезентативной экспертной группы, подготовка и проведение экспертизы, статистическая обработка полученных документов.
Для получения качественного прогноза к участникам экспертизы предъявляется ряд требований, основными из которых являются: высокий уровень общей эрудиции; глубокие специальные знания в оцениваемой области; способность к адекватному отображению тенденции развития исследуемого объекта; наличие психологической установки на будущее; наличие академического научного интереса к оцениваемому вопросу при отсутствии практической заинтересованности специалиста в этой области; наличие производственного и (или) исследовательского опыта в рассматриваемой области.
Для определения соответствия потенциального эксперта перечисленным требованиям используется анкетный опрос. Дополнительно к этому часто используют способ самооценки компетентности эксперта. При самооценке эксперт определяет степень своей осведомленности в исследуемом вопросе также на основании анкеты.
Обработка данных дает возможность получить количественную оценку компетентности потенциального эксперта по следующей формуле
(1)где Vj – вес градации, перечеркнутой экспертом по j-й характеристике в анкете в баллах; jmax V – максимальный вес (предел шкалы) j-й характеристики в баллах; т – общее количество характеристик компетентности в анкете; λ – вес ячейки, перечеркнутой экспертом в шкале самооценки в баллах; р – предел шкалы самооценки эксперта в баллах.
Установить оптимальную численность группы экспертов довольно трудно. Однако в настоящее время разработан ряд формализованных подходов к этому вопросу. Один из них основан на установлении максимальной и минимальной границ численности группы. При этом исходят из двух условий: высокой, средней компетентности групп экспертов и стабилизации средней оценки прогнозируемой характеристики.
Первое условие используется для определения максимальной численности группы экспертов nmax:
(2)где С - константа; Кmax – максимально возможная компетентность по используемой шкале компетентности; Кi – компетентность i-гo эксперта. Это условие предполагает, что если имеется группа экспертов, компетентность которых максимальна, то среднее значение их оценок можно считать «истинным». Для определения константы используется практика голосования, т. е. группа считается избранной, если за нее подано 2/3 голосов присутствующих. Исходя из этого, принимается, что С=2/3. Таким образом, максимальная численность экспертной группы устанавливается на основании неравенства:
(3)Далее определяется минимальная численность экспертной группы nmin. Это осуществляется посредством использования условия стабилизации средней оценки прогнозируемой характеристики, которое формулируется следующим образом: включение или исключение эксперта из группы незначительно влияет на среднюю оценку прогнозируемой величины:
(4)где В – средняя оценка прогнозируемой величины в баллах, данная экспертной группой; В' – средняя оценка, данная экспертной группой, из которой исключен (или в которую включен) один эксперт; Вmax – максимально возможная оценка прогнозируемой величины в принятой шкале оценок; ε – заданная величина изменения средней ошибки при включении или исключении эксперта.
Величина средней оценки наиболее чувствительна к оценке эксперта, обладающего наибольшей компетентностью и поставившего наибольший балл при max B ≤ B и минимальный – при / 2 max B ≥ B .
Поэтому для проверки выполнения условия (7) предлагается исключить из группы одного эксперта.
В литературе приводится правило расчета минимального числа экспертов в группе в зависимости от заданной (допустимой) величины изменения средней оценки ε
(5)Таким образом, правила (3)-(5) дают возможность получить оценочные значения максимального и минимального числа экспертов в группе. Окончательная численность экспертной группы формируется на основании последовательного исключения малокомпетентных экспертов, при этом используется условие ( − )≤η i K K max , где η – задаваемая величина границы допустимого отклонения компетентности 1-го эксперта от максимальной. Одновременно могут включаться в группу новые эксперты. Численность группы устанавливается в пределах min n ≤ n max ≤ n . Кроме описанных выше процедур в методах коллективных экспертных оценок используется подробный статистический анализ экспертных заключений, в результате которого определяются качественные характеристики группы экспертов. В соответствии с этими характеристиками в процессе проведения экспертизы качественный и количественный состав экспертной группы может корректироваться. Подготовка к проведению экспертного опроса включает разработку анкет, содержащих набор вопросов по объекту прогноза. Структурно-организационный набор вопросов в анкете должен быть логически связан с центральной задачей экспертизы. Хотя форма и содержание вопросов определяются спецификой объекта прогнозирования, можно установить общие требования к ним: вопросы должны быть сформулированы в общепринятых терминах, их формулировка должна исключать всякую смысловую неопределенность, все вопросы должны логически соответствовать структуре объекта прогноза, обеспечивать единственное толкование. По форме вопросы могут быть открытыми и закрытыми, прямыми и косвенными. Вопрос называют открытым, если ответ на него не регламентирован. Закрытыми считаются вопросы, в формулировке которых содержатся альтернативные варианты ответов, и эксперт должен остановить свой выбор на одном (или нескольких) из них.
Косвенные вопросы используют в тех случаях, когда требуется замаскировать цель экспертизы. К подобным вопросам прибегают тогда, когда не уверены, что эксперт, давая информацию, будет вполне искренен или свободен от посторонних влияний, искажающих объективность ответа. Рассмотрим основные группы вопросов, используемых при проведении коллективной экспертной оценки:
- вопросы, предполагающие ответы в виде количественной оценки: о времени свершения событий, о вероятности свершения событий, об оценке относительного влияния факторов. При определении шкалы значений количественных характеристик целесообразно пользоваться неравномерной шкалой. Выбор конкретного масштаба неравномерности определяется характером зависимости ошибки прогноза от периода упреждения;
- вопросы, требующие содержательного ответа в свернутой форме: дизъюнктивные, конъюнктивные, импликативные;
- вопросы, требующие содержательного ответа в развернутой форме: в виде перечня сведений об объекте; в виде перечня аргументов, подтверждающих или отвергающих тезис, содержащийся в вопросе.
Эти вопросы формируются в два этапа. На первом этапе экспертам предлагается сформулировать наиболее перспективные и наименее разработанные проблемы. На втором – из названных проблем выбираются принципиально разрешимые и имеющие непосредственное отношение к объекту прогноза.
Процедура проведения экспертизы может быть различной, однако здесь также можно выделить три основных этапа. На первом этапе эксперты привлекаются для уточнения формализованной модели объекта прогноза, формулировки вопросов в анкетах, уточнения состава группы. На втором этапе осуществляется непосредственная работа экспертов над вопросами в анкетах. На третьем этапе после предварительной обработки результатов прогноза эксперты привлекаются для консультаций по недостающей информации, необходимой для окончательного формирования прогноза. При статистической обработке результатов экспертных оценок в виде количественных данных, содержащихся в анкетах, определяются статистические оценки прогнозируемыххарактеристик и их доверительные границы, статистические оценки согласованности мнений экспертов.
Среднее значение прогнозируемой величины определяется по формуле:
(6)где Bi - значение прогнозируемой величины, данное i-м экспертом; n – число экспертов в группе. Кроме того, определяется дисперсия:
(7)и приближенное значение доверительного интервала
(8)где t – критерий Стьюдента для заданного уровня доверительной вероятности и числа степеней свободы k = (n – 2). Доверительные границы для значения прогнозируемой величины вычисляются по формулам: для верхней границы АB = В +j, для нижней границы AH=B-j. Коэффициент вариации оценок, данных экспертами, определяется по зависимости