Экспертные методы оценки управленческого решения (стр. 2 из 4)
Структурно-организационный набор вопросов в анкете должен быть логически связан с центральной задачей экспертизы. Хотя форма и содержание вопросов определяются спецификой объекта и прогнозирования, можно установить общие требования к ним:
- вопросы должны быть сформулированы в общепринятых терминах, без смысловой неопределенности;
- все вопросы должны логически соответствовать
объекта;
- вопросы должны обеспечивать единственное толкование По форме вопросы могут быть открытыми и закрытыми, прямыми и косвенными.
Существует три основные группы вопросов используемых при проведении коллективной экспертной оценки.
1. Вопросы, предполагающие ответы в виде количественной оценки: о времени, вероятности свершения события, об оценке относительного влияния факторов. При определении шкалы значений количественных характеристик целесообразно пользоваться неравномерной шкалой. Выбор конкретного масштаба неравномерности определяется характером зависимости ошибки прогноза от периода упреждения.
2. Вопросы, требующие содержательного ответа в свернутой форме: дизъюнктивные, конъюнктивные, импликативные.
3. Вопросы, требующие содержательного ответа в развернутой форме: в виде перечня сведений об объекте и аргументов, подтверждающих или опровергающих тезис, содержащийся в вопросе. Эти вопросы формируются в два этапа. На первом этапе экспертам предлагается сформулировать наиболее перспективные и наименее разработанные проблемы. На втором из названных проблем выбираются вопросы, принципиально разрешимые и имеющие непосредственное отношение к объекту исследования.
При формировании группы экспертов основным является определение ее качественного и количественного составов. Отбор экспертов начинается с определения вопросов, которые охватывают решение данной проблемы, а затем составляется список компетентных лиц, способных решить ее.
Для получения качественного результата экспертизы к, ее участникам предъявляется ряд требований, основными из которых являются:
- высокий уровень общей эрудиции;
- глубокие специальные знания в оцениваемой области;
- способность к адекватному отображению тенденции развития исследуемого объекта;
- наличие психологической установки на будущее; -чисто научный интерес к поставленному вопросу при отсутствии практической заинтересованности в этой области;
- наличие производственного и (или) исследовательского опыта рассматриваемой области.
Для того чтобы подобрать качественную группу экспертов, необходимо также оценить их компетентность.
Существуют несколько методов оценки компетентности экспертов:
- оценка компетентности организаторами с учетом участия эксперта в различных экспертизах;
- тестирование;
- метод самооценки;
- метод взаимной оценки компетентности экспертами.
Одним из методов оценки компетентности экспертов является их тестирование. Для этого разрабатывается специальный тест-анкета, отвечая на вопросы которого эксперт должен показать знание объекта исследования, аналитические способности. Следует отметить, что разработка тест-анкеты — сложная и трудоемкая процедура, поэтому этот метод оценки компетентности оправдан только в случаях привлечения для экспертизы большого (>30) числа экспертов.
В некоторых случаях можно предложить экспертам провести самооценку компетентности по некоторой шкале, например от 2 до5. При самооценке эксперт определяет степень своей осведомленности в исследуемом вопросе также на основании анкеты. Обработка данных дает возможность получить количественную оценку компетентности потенциального эксперта по следующей формуле:
Где Vj— вес градации в баллах, подчеркнутой экспертом по j-той характеристике в анкете;
Vjmax – максимальный вес в баллах (предел шкалы) j-той характеристики;
n — общее количество характеристик компетентности в
λ — вес ячейки, подчеркнутой экспертом в шкале самой! в баллах;
Р — предел шкалы самооценки эксперта в баллах.
В тех случаях, когда эксперты знакомы с деятельностью и знают уровень компетентности друг друга, можно использовать метод взаимной оценки компетентности. Для этого каждого і –эксперта (і =1,2,,m) просят оценить компетентность других экспертов l =1,2,..., m (l ≠ i) по некоторой шкале, например, от 1 дo 5. Взаимные оценки компетентности представляются в виде квадратной матрицы ||bli||, столбцом i которой являются оценки, данные i-тым экспертом всем другим экспертам Диагональные элементы в ||bli||, принимаются одинаковыми для всех и равными любому неотрицательному числу (обычно нулю). Вектор коэффициентов компетентности экспертов К={К1\К2,....,Кm} определяется решением векторного уравнения
где Кi, — максимальное действительное собственное число матрицы ||bli||. То есть решение является собственным вектором матрицы ||bli||.
По данным взаимной оценки компетентности экспертов можно выявить конфронтацию между экспертами, коалиции экспертов. Конфронтация обязательно исказит действительную компетентность экспертов, и в этих случаях метод взаимной оцени компетентности использовать нецелесообразно.
Перечисленные методы оценки компетентности являются «внешними» по отношению к проводимой экспертизе, т. е. результат оценки компетентности К={К1\К2,....,Кm} являются входной информацией для обработки результатов экспертного опроса в данной экспертизе.
Установить оптимальную численность группы экспертов довольно трудно. Однако разработан ряд формальных подходов к решению этой проблемы. Один из них основан на установлении максимальной и минимальной границ численности групп исходя и двух условий: высокой средней компетентности групп экспертов и стабилизации средней оценки прогнозируемой характеристике.
Первое условие используется для определения максимальной численности группы экспертов nmax:
где Ki— компетентность i-того эксперта;
С — константа;
Kmax— максимально возможная компетентность по используемой шкале.
Это условие предполагает, что если имеется группа экспертов, компетентность которых максимальна, то среднее значение их оценок можно считать истинным. Для определения константы используется практика голосования, т. е. группа считается избранной, если за нее подано 2/3 голосов присутствующих. Исходя из этого, принимаем, что С =2/3. Таким образом, максимальная численность экспертной группы устанавливается на основании неравенства:
Далее определяется минимальная численность экспертной группы nmin посредством использования условия стабилизации средней оценки прогнозируемой характеристики, которое формулируется так: включение или исключение эксперта из группы незначительно влияет на среднюю оценку прогнозируемой величины:
где B— средняя оценка прогнозируемой величины (в баллах), данная экспертной группой;
B’ — средняя оценка (тоже в баллах), данная экспертной группой, из которой исключен (или в которую включен) один эксперт;
Bmax— максимально возможная оценка прогнозируемой величины в принятой балльной шкале оценок;
E— заданная средняя ошибка вследствие включения (исключения) эксперта.
Величина средней оценки наиболее чувствительна к оценке эксперта, обладающего наибольшей компетентностью и поставившего наибольший балл при В<Вmax и минимальный при В >= Bmax/2. Поэтому для проверки выполнения условия предлагается исключить из группы одного эксперта.
Таким образом, по представленным формулам можно получить оценочные значения максимального и минимального числа экспертов в группе. Окончательная численность экспертной группы формируется на основании последовательного исключен малокомпетентных экспертов с учетом условия (Кмах-К)< η, η — заданная граница допустимого отклонения компетентное і-того эксперта от максимальной. Одновременно в группу мог включаться новые эксперты. Численность группы устанавливаться в пределах nMIN<n<nMAX .
Кроме рассмотренных процедур, в методах коллективных: экспертных оценок используется подробный статистический анализ экспертных заключений, в результате которого определяются качественные характеристики группы экспертов. В соответствии этими характеристиками в процессе проведения экспертизы качественный и количественный составы экспертной группы корректироваться.
При статистической обработке результатов экспертных нок в виде количественных анкетных данных определяются статистические оценки характеристик и их доверительные границы статистические оценки согласованности мнений экспертов пример, среднее значение прогнозируемой величины определяются по формуле:
где Bi— значение прогнозируемой величины, данное i-тым:
n— число экспертов в группе.
Кроме того, определяется дисперсия
и приближенное значение доверительного интервала
где t— параметр, определяемый по таблицам Стьюдента, данного уровня доверительной вероятности и числа степеней свободы K=n-2.
Доверительные границы для значения прогнозируемой величины вычисляются по формулам: