Экспертные методы исследования систем управления (стр. 2 из 4)

Существуют подходы к оценке компетентности, основанные на учете апостериорных данных, т.е. на учете результатов экспертного оценивания.

Креативность - это способность решать творческие задачи. Оценивается на основе суждений, основанных на изучении деятельности эксперта. Конформизм - это подверженность влиянию авторитетов, которая проявляется в неустойчивости собственного мнения. Аналитичность и широта мышления - это способность выходить за рамки сложившихся представлений.

Самокритичность эксперта проявляется при самооценке уровня своей компетенции, а также при принятии решения по рассматриваемой проблеме.

К характеристикам группы экспертов можно отнести: достоверность экспертизы и затраты на нее.

Достоверность экспертизы зависит от количества экспертов в группе и количества экспертов. На рис.1 представлен график экспериментальных данных, устанавливающих монотонное возрастание достоверности с увеличением количества экспертов в группе.

Рис.1. Зависимость достоверности от количества экспертов

Достоверность экспертизы существенно зависит от качества экспертов, особенно от их компетентности. Можно утверждать, что достоверность групповой экспертизы есть монотонно возрастающая функция средней групповой самооценки компетентности, которая определяется как среднее арифметическое значение самооценок группы экспертов.

1.2 Проведение опроса экспертов

Проведение опроса экспертов (анкетирование) является наиболее эффективным и самым распространенным видом опроса. Анкетирование заключается в заполнении экспертами опросных листов - анкет.

Серьезного внимания требует подбор вопросов (признаков), которые желательно включить в анкету.

Различают три вида вопросов, по которым дается экспертная оценка:

вопросы, ответы на которые содержат количественную оценку;

вопросы, требующие содержательного ответа в сжатой форме;

вопросы, требующие содержательного ответа в развернутой форме.

Пример такой группировки вопросов приведен в табл.2.

Табл.2. Виды и типы вопросов

Вид вопроса	Тип вопроса	Пример
Вопрос, ответ на который содержит количественную оценку	Оценивающий: время наступления некоторого события вероятность осуществления события количественное значение прогнозируемой характеристики объекта влияние факторов друг на друга по некоторой шкале	Когда будет создан первый образец объекта? Какова вероятность того, что к 2002г. будет создан объект с заданными характеристиками? Каково будет максимальное значение прогнозируемой характеристики объекта к 2002г.? Оцените по десятибалльной шкале вклад каждой из рассматриваемых теорий в решении проблемы
Вопрос, требующий содержательного ответа в сжатой форме	Вариантный (выбирается альтернатива)	Какой принцип использования объекта является наиболее эффективным для решения поставленной задачи в период с 2002 по 201г.: А, или В, или С, или …? Какие из перечисленных ниже изменений в структуре объекта произойдут, если будет осуществлен принцип А, или В, или С, или …?
Вопрос, требующий содержательного ответа в развернутой форме	Требующий ответа в виде: перечня сведений об объекте перечня аргументов, которые подтверждают тезис, содержащийся в вопросе	Каковы характерные особенности объекта? Каковы ваши доводы в пользу целесообразности развития объекта?

Чтобы уточнить содержание анкеты, формулировки вопросов, их последовательность, выяснить, не утомляет ли анкета опрашиваемых, не нужно ли включить дополнительные и исключить "неработающие" вопросы, заменить вопросы, допускающие двойное толкование, проводится ее проверка. Для этого подбираются "разноплановые" эксперты (по стажу работы). Проверка осуществляется в форме личного интервью.

Анкетирование может быть очным и заочным. Недостаток очного анкетирования - возможность влияния анкетирующего руководителя на ответы эксперта. Недостаток заочного анкетирования - в возможности неправильного истолкования вопросов экспертом, затяжки в ответах и т.п. Достоинство заочного анкетирования - простота его организации, возможность привлекать без больших затрат экспертов, живущих в разных городах, и т.п.

Кроме анкет - вопросников, экспертам должна быть дана пояснительная записка, имеющая целью предопросную ориентировку экспертов и содержащая информацию о целях экспертизы, задачах опроса, объектах экспертизы, необходимые организационные сведения и инструкцию по заполнению анкет, в которой проводятся примеры порядка и способа заполнения.

2. Классический метод экспертных оценок Дельфи

Сущность метода Дельфи состоит в последовательном анкетировании экспертов различных областей науки, техники и формировании массива информации, отражающего индивидуальные оценки экспертов, основанные на строго логическом опыте. Данный метод предполагает использование серии анкет, в каждой из которых содержаться информация и мнения, полученные из предыдущей анкеты.

Область применения метода: прогноз развития науки и техники, будущих открытий и изобретений, для которых нет достаточной теоретической базы в момент составления прогноза, а также составление картины будущего мира, долгосрочного прогнозирования, изучения ряда экономических и социальных проблем. Сбор и обработка индивидуальных мнений экспертов о прогнозах развития объекта исследования производится исходя из следующих принципов:

вопросы в анкетах ставятся таким образом, чтобы можно было дать количественную характеристику ответам экспертов;

опрос экспертов проводится в нескольких этапов, на каждом последующем этапе вопросы и ответы все более уточняются;

после каждого этапа всех опрашиваемых экспертов знакомят с результатами опроса;

эксперт обосновывают оценки и мнения, отклоняющие от мнения большинства;

статическая обработка ответов производится последовательно, от этапа к этапу, с целью получения обобщающих характеристик.

Опрос экспертов производится в четыре этапа с промежутками в два месяца.

Разумеется, еще до первого этапа должны быть проведены подготовительные мероприятия с экспертами.

Первый этап. Целью первого этапа является составление перечня событий для прогноза в определенной области науки и техники.

Первая анкета может быть полностью бесструктурной и допускать любые ответы.

Эксперты в письменной форме называют изобретения или научные открытия, которые, по их мнению, должны быть сделаны в последующие 50лет (можно взять и другой период). При этом требуется доказать, что потребность в данных открытиях ощущается уже в настоящее время, поэтому их реализация должна осуществиться в течение 50лет. В результате этого этапа эксперты называют определенное число событий (изобретений и открытий).

После того как прогнозы группы возвратились к организатору, он должен объединить их, идентифицировать и составить перечень, который становится основой второй анкеты.

Второй этап. Экспертам направляют свободный перечень событий и просят оценить даты, когда могут произойти эти события. Эксперты приводят соображения, по которым они считают свои оценки правильными, т.е. указать причины того, почему, по их мнению, то или иное событие не должно произойти раньше или позже прогнозируемой ими даты.

После того как прогнозы и оценки дат, сделанные членами группы, вернулись к организатору, последний должен подготовить статическую сводку мнений, упоминая аргументы и доводы в пользу того, что рассматриваемое событие произойдет раньше или позже средней оценки.

Затем аналитики проводят статическую обработку полученных оценок: уточняют перечень событий и анализирует характеристики ряда, т.е. рассчитывают медианы, моды, квартили и децили.

Под медианой понимается такое значение прогнозируемого признака, которым обладает центральный член ряда, составленного в порядке возрастания значений признака. Под модой понимается наиболее часто встречающееся в ранжированном ряду значение прогнозируемого признака. Квартилем называется значение прогнозируемого признака, которым обладают члены ряда под номером, представляющим ј всего ряда (нижний квартиль) и ѕ от всего ряда (верхний квартиль). Аналогично определяются децили.

Предположим, что от экспертов получено какое - либо число оценок. Эти оценки упорядочиваются, скажем, в порядке убывания. За медиану принимается средний член ряда (при нечетном числе экспертов), по отношению к которому число оценок с начала и с конца ряда будет одинаковым.

При четном числе экспертов медиана равна среднему из значений оценок двух центральных экспертов. В нашем случае - нечетное число экспертов 11, медиана будет совпадать с оценкой N₆ (рис.2). Затем определяются верхний и нижний квартили, т.е. интервалы Q₁M_e и Q₃M_e. Величины этих квартилей в первом приближении равны значениям оценок ряда в интервале, равном 25% от начала и 25% от конца ряда. Таким образом, медиана и квартили образуют на оси ряда четыре интервала, среди которых два средних и считаются наиболее предпочтительными. Полученные таким образом показатели принимаются за характеристики распределения оценок: медиана служит характеристикой группового ответа, а предпочтительный интервал квартилей - показателем разброса индивидуальных оценок.