Основными преимуществами рассматриваемых методов является возможность максимального использования индивидуальных способностей эксперта и незначительность психологического давления, оказываемого на отдельного работника. Однако эти методы малопригодны для прогнозирования наиболее общих стратегий из-за ограниченности знаний одного специалиста-эксперта о развитии смежных областей науки. Методы коллективных экспертных оценок основываются на принципах выявления коллективного мнения экспертов о перспективах развития объекта прогнозирования. В основе применения этих методов лежит гипотеза о наличии у экспертов умения с достаточной степенью достоверности оценить важность и значение исследуемой проблемы, перспективность развития определенного направления исследований, времени свершения того или иного события, целесообразности выбора одного из альтернативных путей развития объекта прогноза и т.д. В настоящее время широкое распространение получили экспертные методы, основанные на работе специальных комиссий, когда группы экспертов за круглым столом обсуждают ту или иную проблему с целью согласования мнений и выработки единого мнения. Этот метод имеет недостаток, заключающийся в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса. В свою очередь в методе Дельфи вместо коллективного обсуждения той или иной проблемы проводится индивидуальный опрос экспертов обычно в форме анкет для выяснения относительной важности и сроков свершения гипотетических событий. Затем производится статистическая обработка анкет и формируется коллективное мнение группы, выявляются, обобщаются аргументы в пользу различных суждений. Вся информация сообщается экспертам. Участников экспертизы просят пересмотреть оценки и объяснить причины своего несогласия с коллективным суждением. Эта процедура повторяется 3–4 раза. В результате происходит сужение диапазона оценок. Недостатком этого метода является невозможность учета влияния, оказываемого на экспертов организаторами опросов при составлении анкет. Как правило, основными задачами при формировании прогноза с помощью коллектива экспертов являются: формирование репрезентативной экспертной группы, подготовка и проведение экспертизы, статистическая обработка полученных документов. При формировании группы экспертов основными являются вопросы определения ее качественного и количественного состава. Отбор экспертов начинается с определения вопросов, которые охватывают решение данной проблемы; затем составляется список лиц, компетентных в этих областях. Для получения качественного прогноза к участникам экспертизы предъявляется ряд требований, основными из которых являются: высокий уровень общей эрудиции; глубокие специальные знания в оцениваемой области; способность к адекватному отображению тенденции развития исследуемого объекта; наличие психологической установки на будущее; наличие академического научного интереса к оцениваемому вопросу при отсутствии практической заинтересованности специалиста в этой области; наличие производственного и (или) исследовательского опыта в рассматриваемой области.
Для определения соответствия потенциального эксперта перечисленным требованиям используется анкетный опрос. Дополнительно к этому часто используют способ самооценки компетентности эксперта. При самооценке эксперт определяет степень своей осведомленности в исследуемом вопросе также на основании анкеты. Обработка данных дает возможность получить количественную оценку компетентности потенциального эксперта по формуле.
где Vj – вес градации, перечеркнутой экспертом по j-й характеристике в анкете в баллах; Vjmax – максимальный вес (предел шкалы) j-й характеристики в баллах; т – общее количество характеристик компетентности в анкете; λ – вес ячейки, перечеркнутой экспертом шкале самооценки в баллах; р – предел шкалы самооценки эксперта в баллах. Установить оптимальную численность группы экспертов довольно трудно. Однако в настоящее время разработан ряд формализованных подходов к этому вопросу. Один из них основан на установлении максимальной и минимальной границ численности группы. При этом исходят из двух условий: высокой средней компетентности групп экспертов и стабилизации средней оценки прогнозируемой характеристики. Первое условие используется для определения максимальной численности группы экспертов nmax:
(3.3)где С - константа; nmax – максимально возможная компетентность по используемой шкале компетентности; Кi – компетентность i-гo эксперта.
Это условие предполагает, что если имеется группа экспертов, компетентность которых максимальна, то среднее значение их оценок можно считать «истинным». Для определения константы используется практика голосования, т. е. группа считается избранной, если за нее подано 2/3 голосов присутствующих. Исходя из этого, принимается, что С=2/3. Таким образом, максимальная численность экспертной группы устанавливается на основании неравенства
(3.4)Далее определяется минимальная численность экспертной группы nmin. Это осуществляется посредством использования условия стабилизации средней оценки прогнозируемой характеристики, которое формулируется следующим образом: включение или исключение эксперта из группы незначительно влияет на среднюю оценку прогнозируемой величины
(3.5)где В – средняя оценка прогнозируемой величины в баллах, данная экспертной группой; В' – средняя оценка, данная экспертной группой, из которой исключен (или в которую включен) один эксперт; Вmax – максимально возможная оценка прогнозируемой величины в принятой шкале оценок; ε – заданная величина изменения средней ошибки при включении или исключении эксперта.
Величина средней оценки наиболее чувствительна к оценке эксперта, обладающего наибольшей компетентностью и поставившего наибольший балл при maxB ≤ B и минимальный – при / 2 maxB ≥ B . Поэтому для проверки выполнения условия (3.5) предлагается исключить из группы одного эксперта. В литературе приводится правило расчета минимального числа экспертов в группе в зависимости от заданной (допустимой) величины изменения средней оценки ε
Таким образом, правила (3.4)-(3.6) дают возможность получить оценочные значения максимального и минимального числа экспертов в группе. Кроме описанных выше процедур в методах коллективных экспертных оценок используется подробный статистический анализ экспертных заключений, в результате которого определяются качественные характеристики группы экспертов. В соответствии с этими характеристиками в процессе проведения экспертизы качественный и количественный состав экспертной группы может корректироваться. Подготовка к проведению экспертного опроса включает разработку анкет, содержащих набор вопросов по объекту прогноза. Структурно-организационный набор вопросов в анкете должен быть логически связан с центральной задачей экспертизы. Хотя форма и содержание вопросов определяются спецификой объекта прогнозирования, можно установить общие требования к ним: вопросы должны быть сформулированы в общепринятых терминах, их формулировка должна исключать всякую смысловую неопределенность, все вопросы должны логически соответствовать структуре объекта прогноза, обеспечивать единственное толкование. По форме вопросы могут быть открытыми и закрытыми, прямыми и косвенными. Вопрос называют открытым, если ответ на него не регламентирован. Закрытыми считаются вопросы, в формулировке которых содержатся альтернативные варианты ответов, и эксперт должен остановить свой выбор на одном (или нескольких) из них. Косвенные вопросы используют в тех случаях, когда требуется замаскировать цель экспертизы. К подобным вопросам прибегают тогда, когда нет уверенности, что эксперт, давая информацию, будет вполне искренен или свободен от посторонних влияний, искажающих объективность ответа. Рассмотрим основные группы вопросов, используемых при проведении коллективной экспертной оценки:
- вопросы, предполагающие ответы в виде количественной оценки: о времени свершения событий, о вероятности свершения событий, об оценке относительного влияния факторов. При определении шкалы значений количественных характеристик целесообразно пользоваться неравномерной шкалой. Выбор конкретного масштаба неравномерности определяется характером зависимости ошибки прогноза от периода упреждения;
- вопросы, требующие содержательного ответа в свернутой форме: дизъюнктивные, конъюнктивные, импликативные;
- вопросы, требующие содержательного ответа в развернутой форме: в виде перечня сведений об объекте; в виде перечня аргументов, подтверждающих или отвергающих тезис, содержащийся в вопросе. Эти вопросы формируются в два этапа. На первом этапе экспертам предлагается сформулировать наиболее перспективные и наименее разработанные проблемы. На втором – из названных проблем выбираются принципиально разрешимые и имеющие непосредственное отношение к объекту прогноза.
Процедура проведения экспертизы может быть различной, однако здесь также можно выделить три основных этапа. На первом этапе эксперты привлекаются для уточнения формализованной модели объекта прогноза, формулировки вопросов в анкетах, уточнения состава группы. На втором этапе осуществляется непосредственная работа экспертов над вопросами в анкетах. На третьем этапе после предварительной обработки результатов прогноза эксперты привлекаются для консультаций по недостающей информации, необходимой для окончательного формирования прогноза. При статистической обработке результатов экспертных оценок в виде количественных данных, содержащихся в анкетах, определяются статистические оценки прогнозируемых характеристик и их доверительные границы, статистические оценки согласованности мнений экспертов.