На основе более чем двадцатилетнего опыта комиссии "Экспертные оценки" Научного совета АН СССР по комплексной проблеме "Кибернетика" и двадцати лет работы ее научного семинара "Математические методы анализа экспертных оценок" в настоящей главе отчета рассматриваются основные проблемы теории и практики экспертных оценок. Современные математические методы экспертных оценок - это в основном методы статистики объектов нечисловой природы. Обсуждаются догмы в области экспертных оценок и современные рекомендации, применение статистики объектов нечисловой природы в экспертных оценках, вопросы построения интегральных показателей качества, эффективности и пр., т.е. рейтингов, а также перспективы создания и применения гаммы современных методик экспертных оценок на основе подходов и результатов указанного научного коллектива. В целом глава дает научное обоснование разработке автоматизированного рабочего места МАТЭК (МАТематические методжы в ЭКспертных оценках).
Бесспорно совершенно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После второй мировой войны в рамках теории управления (менеджмента) стала развиваться самостоятельная дисциплина - экспертные оценки.
Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов, выраженных в количественной и/или качественной форме с целью подготовки информации для принятия решений ЛПР - лицами, принимающими решения.
Для проведения работы по методу экспертных оценок создают Рабочую группу (сокращенно РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК).
Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто ещ› является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" (см., например, [1] ).
В настоящее время не существует научно обоснованной классификации методов экспертных оценок и тем более - однозначных рекомендаций по их применению. Вполне естественно, что сначала в нашей стране появились публикации о простейших методах экспертных оценок (см., например, [2-3]). Как обычно бывает, тривиальные соображения широко распространились, вошли в массовое сознание инженеров и управленцев (менеджеров) и стали тормозом на пути внедрения современных результатов в области экспертных оценок, описанных, например, в работах [4-8]. По нашему мнению, наиболее продвинутые результаты в рассматриваемой области были получены в результате работы комиссии "Экспертные оценки" Научного совета АН СССР по комплексной проблеме "Кибернетика" в 70-90-х годах (см.[9-30] и др. публикации).
В рамках настоящей главы отчета нельзя подробно рассказать о различных методах экспертных оценок (да и нет в этьом необходимости, поскольку существуют многочисленные публикации). Тем не менее, выделим основные проблемы в рассматриваемой области, что можно рассматривать как экспертный анализ состояния дел в научно-практической дисциплине "Экспертные оценки".
Основные проблемы экспертных оценок
Что должна представить экспертная комиссия в результате своейработы - информацию для принятия решения ЛПР или проект самого решения? От ответа на этот методологический вопрос зависит организация работы экспертной комиссии.
Цель - сбор информации для ЛПР.
Тогда Рабочая группа должна собрать возможно больше относящейся к делу информации, аргументов "за" и "против" определенных вариантов решений. Полезен метод постепенного увеличения числа экспертов, описанный в [1]. Сначала первый эксперт приводит свои соображения по рассматриваемому вопросу. Составленный им материал передается второму эксперту, который добавляет свои аргументы. Накопленный материал поступает к следующему - третьему - эксперту... Процедура заканчивается , когда иссякает поток новых соображений.
Отметим, что эксперты в рассматриваемом методе только поставляют информацию, аргументы "за" и "против", но не вырабатывают согласованного проекта решения. Нет никакой необходимости стремиться к тому, чтобы экспертные мнения были согласованы между собой. Более того, наибольшую пользу приносят эксперты с мышлением, отклоняющимся от массового, поскольку именно от них следует ожидать наиболее оригинальных аргументов.
Цель - подготовка проекта решения для ЛПР
Математические методы в экспертных оценках применяются обычно именно для решения задач подготовки проекта решения. При этом зачастую некритически принимают догмы согласованности и одномерности. Эти догмы "кочуют" из одной публикации в другую, поэтому целесообразно их обсудить.
Догма согласованности.
Считается, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому исключают из экспертной группы тех, чье мнение отличается от мнения большинства. При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертной комиссии по недоразумению или по соображениям, не имеющим отношения к их профессиональному уровню, так и наиболее оригинальные мыслители, глубже проникшие в проблему, чем большинство. Следовало бы выяснить их аргументы, предоставить им возможность для обоснования их точек зрения. Вместо этого их мнением пренебрегают. Бывает и так, что эксперты делятся на две или более групп, имеющих единые групповые точки зрения. Так, в [1] приведен пример деления специалистов при оценке результатов научно-исследовательских работ на две группы: "теоретиков", явно предпочитающих НИР, в которых получены теоретические результаты, и "практиков", выбирающих те НИР, которые позволяют получать непосредственные прикладные результаты (речь идет о конкурсе НИР в Институте проблем управления (автоматики и телемеханики)).
Иногда заявляют, что в случае обнаружения двух или нескольких групп экспертов (вместо одной согласованной во мнениях) опрос не достиг цели. Это не так! Цель достигнута - установлено, что единого мнения нет. И ЛПР должен это учитывать. Стремление обеспечить согласованность мнений экспертов любой целой может приводить к сознательному одностороннему подбору экспертов, игнорированию всех точек зрения, кроме одной, наиболее полюбившейся Рабочей группе ( или даже "подсказанной" ЛПР).
Поскольку число экспертов обычно не превышает 20-30, то формальная статистическая согласованность мнений экспертов может сочетаться с реально имеющимся разделением на группы, что делает дальнейшие расчеты не имеющими отношения к действительности. Если же обратиться к конкретным методам расчетов, например, с помощью коэффициентов конкордации на основе коэффициентов ранговой корреляции Кендалла или Спирмена [31], то необходимо помнить, что на самом деле положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение гипотезы о независимости и равномерной распределенности мнений экспертов на множестве всех ранжировок. Другими словами, мы падаем жертвой заблуждений, вытекающих из своеобразного толкования слов: проверка согласованности в указанном статистическом смысле вовсе не является проверкой согласованности в смысле практики экспертных оценок. (Именно ущербность рассматриваемых математико-статистических методов анализа ранжировок привела нас к разработке нового математического аппарата для проверки согласованности - непараметрических методов, основанных на люсианах [32].)
С целью искусственно добиться согласованности стараются уменьшить влияние мнений экспертов-диссидентов. Жесткий способ борьбы с диссидентами состоит в их исключении из состава экспертной комиссии. Отбраковка экспертов, как и отбраковка резко выделяющихся результатов наблюдений, приводит к процедурам, имеющим плохие или неизвестные статистические свойства. Так, в [33] показана крайняя неустойчивость классических методов отбраковки выбросов по отношению к отклонениям от предпосылок модели.
Мягкий способ борьбы с диссидентами состоит в применении робастных (устойчивых) статистических процедур. Простейший пример: если ответ эксперта - действительное число, то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое ответов экспертов и не влияет на их медиану. Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются (не достигают ЛПР) аргументы диссидентов.
В любом из двух способов борьбы с диссидентами ЛПР лишается информации, идущей от диссидентов, а потому может принять необоснованное решение, которое приведет к отрицательным последствиям. С другой стороны, представление ЛПР всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает ее на плечи ЛПР.
Догма одномерности.
Распространен довольно примитивный подход так называемой "квалиметрии"(см.,например, [34]), согласно которому объект всегда можно оценить одним числом. Оценивать человека одним числом приходило в голову лишь на невольничьих рынках. Вряд ли даже самые рьяные квалиметристы рассматривают книгу или картину как эквивалент е› "рыночной стоимости".