4) Разработка аналитической группой рабочей группы подробного сценария (т.е. регламента, правил) проведения сбора и анализа экспертных мнений (оценок). Термин «сценарий» имеет примерно тот же смысл, что и в театре и кинематографе. Сценарий включает в себя, прежде всего, анкеты и опросные листы (планы интервью), определяющие конкретный вид информации, которая будет получена от экспертов (например, слова, условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы). Например, довольно часто экспертов просят высказаться в свободной форме, ответив при этом на некоторые количество заранее сформулированных вопросов. Кроме того, их просят заполнить формальную карту, в каждом пункте выбрав одну из нескольких градаций .
Традиционная ошибка - сначала собрать информацию, а потом думать, что с ней делать. В результате, как показывает печальный практический опыт, информация используется не более чем на 1-2%. Причины в том, что в большом ворохе беспорядочно собранных фактов, как правило, отсутствует необходимая упорядоченность. А именно, значения отдельных показателей собраны с пропусками, способы измерения меняются от одного эксперта к другому, от одного объекта экспертизы к другому (как говорят, определения «плывут»), сам перечень показателей не позволяет ответить на интересующие ЛПР вопросы. Сценарий утверждается научным руководителем экспертной комиссией.
5) Подбор экспертов в соответствии с их компетентностью. На этой стадии рабочая группа составляет список возможных экспертов и оценивает степень их пригодности для планируемого исследования. Итоговый перечень должен включать по крайней мере в 1,5 раза больше потенциальных экспертов, чем то количество, которое планируется реально привлечь к работе.
6) Формирование экспертной комиссии. На этой стадии рабочая группа проводит переговоры с экспертами, получает их согласие на работу в экспертной комиссии. Возможно, часть намеченных рабочей группой (на стадии 5) экспертов не сможет войти в экспертную комиссию (болезнь, отпуск, командировка и др.) или откажется по тем или иным причинам (занятость, условия контракта и др.). В обязательном порядке ЛПР утверждает состав экспертной комиссии, возможно, вычеркнув или добавив часть экспертов к предложениям рабочей группы. Проводится заключение договоров с экспертами об условиях их работы и ее оплаты. На этой же стадии завершается формирование рабочей группы.
7) Проведение сбора экспертной информации в соответствии с разработанным на стадии 4 сценарием. Часто перед этим проводится набор и обучение интервьюеров - одной из групп, входящих в рабочую группу.
8) Компьютерный анализ экспертной информации с помощью включенных в сценарий методов. Ему обычно предшествует компьютеризация экспертных мнений, т.е. создание и наполнение соответствующих баз данных или электронных таблиц.
9) При применении (согласно сценарию) экспертной процедуры из нескольких туров - повторение двух предыдущих этапов.
10) Итоговый анализ экспертных мнений, интерпретация полученных результатов аналитической группой рабочей группы и подготовка заключительного документа экспертной комиссии для ЛПР. Форма заключения экспертной комиссией обычно задается в техническом задании.
11) Официальное окончание деятельности экспертной комиссии и рабочей группы, в том числе утверждение ЛПР заключительного документа экспертной комиссии, подготовка и утверждение научного и финансового отчетов рабочей группы о проведении экспертного исследования, оплата труда экспертов и сотрудников рабочей группы, официальное прекращение деятельности (роспуск) экспертной комиссии и рабочей группы.
Научный отчет рабочей группы должен позволять восстанавливать все подробности деятельности экспертной комиссии на основе документов. В частности, в него должны быть включены все полученные от экспертов материалы и протоколы компьютерной обработки данных. Этот отчет может быть использован в суде и арбитражном суде в случае, если заинтересованные организации и лица сочтут нужным оспорить выводы экспертной комиссии в судебном порядке.[8]
Таким образом, экспертиза проводиться в несколько стадий, которые помогают детально проанализировать объект исследования и принять необходимое управленческое решение.
В заключение данной главы можно отметить, что для проведения качественной экспертизы и получения объективных результатов важным является ее правильная организация и подбор экспертов.
2. Основные методы проведения экспертиз при разработке управленческих решений
2.1 Методы организации экспертиз
Сущность экспертных методов заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами обработки и анализа полученных результатов. При этом обобщенное мнение экспертов принимается как возможное решение проблемы.
Характер экспертной информации, которую предполагается использовать при принятии решений, налагает определенные требования на выбор конкретного метода экспертизы.
Рассмотрим основные методы организации экспертиз: 1. Метод анкетирования. Анкетирование - один из широко используемых методов в практике анализа управленческой деятельности для получения информации об анализируемом объекте Профессионально проведенное анкетирование позволяет получить представление о состоянии объекта управления до и после реализации управленческих решений, об использованных управленческих технологиях и их результатах. По результатам анкетирования могут быть сделаны выводы и рекомендации, с тем чтобы руководитель мог более четко представлять преимущества и недостатки, области рационального применения тех или иных управленческих технологий.
Анкета - это определенным образом организованный набор вопросов, ответы на которые позволяют получить информацию об объекте экспертизы, необходимую для проведения управленческого анализа. От вида анкеты, ее структуры, сформулированных в ней вопросов, во многом зависит характер информации, получаемой в результате анкетирования. Фактографические анкеты - это анкеты, в которых запрашивается объективная информация об объекте экспертизы. Такого типа анкеты используются, например, когда предполагается систематизация данных, разработка банков и баз данных. Они могут быть использованы также для получения статистических данных об объектах экспертизы. Тематические анкеты - это анкеты, в которых определяется мнение экспертов в конкретной области по определенному кругу проблем. Целевые анкеты - это анкеты, предназначенные для анализа управленческих технологий или их элементов. Анкеты решений - это анкеты, в которых представляются варианты решений тех или иных управленческих проблем. Тематические, целевые и анкеты решений могут принадлежать к классу оценочных, если в них присутствуют специальные графы, в которых должна даваться оценка объекта управления, управленческой технологии и т.д. по тому или иному критерию по оговоренной в анкете шкале.
Наиболее распространены критерии, по которым производятся оценки, - сравнительная важность оцениваемого альтернативного варианта решения. Оценочные анкеты могут быть и неявного типа, т.е. в них может требоваться указание не точной количественной оценки, а качественной оценки, по которой при обработке анкеты может быть восстановлена необходимая количественная оценка.
Иногда вместо указания точной количественной оценки в анкете может требоваться лишь указание диапазона значений, в которых находится оценка. Анкеты бывают открытого и закрытого типа. В анкете закрытого типа на каждый вопрос даны варианты ответа, а в анкете открытого типа ответы могут быть выражены в произвольной форме. Анкетирование может проводиться непосредственно интервьюером, а может быть заочным.
2. Метод комиссий – это открытая дискуссия по обсуждаемой проблеме для выработки единого мнения экспертов. Коллективное мнение определяется в результате открытого или тайного голосования. Преимущества метода комиссий: возможен рост информированности экспертов за счет обсуждения обоснования экспертных оценок и обратная связь (под воздействием полученной информации эксперт может изменить первоначальную точку зрения). Также метод комиссий обладает и недостатками: отсутствует анонимность, что может привести к появлению конформизма; дискуссия нередко принимает вид полемики наиболее авторитетных экспертов; различная активность экспертов, часто не совпадающая с их компетентностью; публичность высказываний сочетается порой с нежеланием некоторых экспертов отступить от ранее высказанного мнения, хотя оно в ходе дискуссии может претерпеть изменения.
3. Экспертиза по методу суда характеризуется некоторой аналогией с судебным процессом. Состав экспертов делится на две группы. Одна объявляется сторонниками рассматриваемой альтернативы и выступает в качестве защиты. Другая группа объявляется ее противниками и пытается выявить отрицательные стороны. Возможна и третья сторона, которая регулирует ход экспертизы и выносит окончательное решение. Метод суда обладает теми же преимуществами и недостатками, что и метод комиссий.