Или для данных настоящего примера:
Р6=0,33*0,77=0,254; р7=0,33*0,772=0,196;… рN+K=0,33*0,77к.
Остается найти К – такое число новых привлекаемых экспертов, при котором рN+K становится достаточно малой величиной, меньше некоторого критического значения a. Значение a выбирают в зависимости от ответственности решаемой задачи, - от 0,1 до 0,01. Таким образом, число вновь привлекаемых экспертов находим из условия:
РN+К= РN*lК=a.
Приняв a=0,05, имеем
K=(lna-lnРN)/lnl=(-2,996+1,109)/(-0,261)=7,2; принимаем 8.
Итак, в приведенной примере общее число экспертов, которых следует опросить для достижения достаточной уверенности в полноте выявления требуемых данных, составит N+K=5+8=13. Надо отметить, что по данным проведенных опытов величина l обычно убывает с ростом числа экспертов, а поэтому изложенный способ расчета дает требуемое число с некоторым “запасом”.
16. Определение числа специалистов при формировании банка экспертов
При формировании экспертной группы для однократного решения задачи можно искать экспертов различными способами: назначения, последовательных рекомендаций и др. Все эти способы требуют существенных затрат времени на установление контакта с потенциальными экспертами, достижение договоренности об участии и.т.д. Поэтому для создания долгосрочно функционирующих экспертных групп, например, при необходимости многократного решения в общем однотипных задач оценивания качества той или иной продукции, применяют, так называемый, «банк экспертов». Банк экспертов – это несколько (иногда несколько десятков) специалистов, у которых заранее получено согласие на участие в экспертизе. Данные об этих специалистах хранятся в памяти ЭВМ и поэтому каждый из них в любой момент доступен для привлечения к работе.
Для беседы с экспертами заранее предусматривают все возможные виды оцениваемой продукции, т.е. составляют рубрикатор продукции, и каждый эксперт заранее указывает, в оценивании каких видов продукции он считает возможным участвовать.
Рассмотрим пример, используя данные таблицы 2: первый эксперт согласен работать по 1,2,3,4,5 и10 позициям рубрикатора, второй – по 1, 3, 4, 7, и 9 и т.д. Как же оценить по данным опроса небольшого числа экспертов, сколько их следует включить в банк, чтобы иметь возможность выполнять оценивание качества любой поступающей продукции?
Таблица 2
Группа продукции | Эксперты | |||||||
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | |
А | + | + | + | + | + | + | ||
Б | + | + | + | + | + | + | ||
В | + | + | + | + | + | |||
Г | + | + | + | + | + | |||
Д | + | + | + | + | + | |||
Е | + | + | ||||||
Ж | + | + | + | + | ||||
З | ||||||||
И | + | + | + | |||||
К | + | + |
Здесь следует принять примерно те же предпосылки, относительно способностей экспертов, что и в предыдущих примерах, а именно, принять, что они приблизительно одинаково работоспособны и, главное, независимы в выборе оцениваемых рубрик. Если последнее условие не соблюдено, то расчет даст грубо ошибочные результаты.
Обозначим, для дальнейшего, М – количество рубрик рубикатора, m(N) – число рубрик, выбранных n-ым экспертом, N- общее число экспертов. В нашем примере М=10, N=6. Данные по 7 и 8 экспертам использовать не будем - они будут использованы в задаче.
Теперь по данным выбора первых N экспертов найдем среднее количество рубрик, выбираемых одним экспертом:
Mср.= Sm(n)/N=31/6=5,2.
Таким образом, оценка вероятности выбора экспертом произвольной рубрики будет:
Р=Мср./M=5,2/10=0,52.
Возьмем произвольную рубрику. Вероятность того, что ее не выберет первый эксперт, будет:
q(1)=1-Р=1-0,52=0,48.
Вероятность того, что ее не выберет ни первый ни второй эксперт, составит
q(2)= q(1)2=0,482=0,23.
Вероятность того, что рубрику не выберет ни один из шести экспертов
Р(0)=q(N)= q (1)N=0,486=0,012.
Итак, если мы интересовались только тем, чтобы каждую рубрику выбрал хотя бы один эксперт (с задаваемой, как и в предыдущей задаче, достаточно большой вероятностью Р=1-a), то требуемое число экспертов N+K можно было бы найти, используя формулу
q(1)N+K=a,
где N+K – искомое общее число экспертов;
a - достаточно малая вероятность («уровень значимости»).
В нашем примере это было бы обеспечено для a=0,05 при
N+K=lna/lnq(1)=-2,996/-0,734=4,1; принимаем 5 экспертов.
Но по условиям формирования банка экспертов обычно требуется, чтобы число экспертов, выбравших каждую рубрику, было не менее некоторого числа Z ( допустим Z=3).
Тогда мы должны еще подсчитать, какова вероятность того, что рубрику выберет ровно один эксперт и что ее выберут ровно два эксперта. Затем сложить вероятности выбора 0 экспертами, одним экспертом и двумя экспертами и вычесть это значение из единицы. Полученное число и покажет нам, какова вероятность выбора произвольной рубрики не менее, чем тремя экспертами.
Итак, вероятность выбора ровно одним экспертом будет
P(1)=CN1*Р*q(1)N-1,
Для выбора ровно двумя экспертами
P(2)=CN2*Р2*q(1)N-2,
где С- число сочетаний групп экспертов из числа N по 1 и по 2.
Для данных нашего примера:
P(1)= 6*0,52*0,485=0,079;
P(1)=15*0,522*0,484=0,215.
Таким образом, для N=6 экспертам вероятность того, что любую рубрику выберут три или больше экспертов, будет
Р(³3)=1-Р(0)-Р(1)-Р(2)=1-0,012-0,079-0,215=0,694.
Это слишком маленькая вероятность (нам требуется не менее 0,95) и поэтому расчет следует продолжить. К сожалению, выразить требуемое число экспертов из этой формулы в явном виде трудно. Приходится действовать подбором, постепенно увеличивая число экспертов N+K. В нашем примере успех достигается при N+K=10. Тогда Р(³3)=0,96.
17. Обработка и оценка согласованности экспертных данных
Правила оценки согласованности мнений экспертов.
Согласованность мнений экспертов рассчитывают на основании показателей вариации или конкордации.
1. метод вариаций: данный коэфициент рассчитывают по формуле:
V
=считается, при условии V
=0,26–0,35: согласованность ниже средней; 0,16–0,25: согласованность средняя; 0,11–0,15: согласованность высокая; если V =0,1– согласованность максимальная. При расчетах достаточной считается согласованность при условии, если она меньше или равна 0,25.Оценка согласованности на основе коэфициента конкордации.
Для объективной оценки результатов применяют статистический метод, основанный на коэффициенте конкордации. Данный коэффициент определяют по формуле:
W =
, гдеW – коэффициент конкордации
К – количество экспертов
N – количество объектов или показаний
С – сумма квадратов отклонений сумм рангов по каждому показателю от средней суммы рангов
C=
Коэффициент конкордации варьирует в диапазоне при условии, если W=0, согласованность отсутствует, если W=0, согласованность полная. При расчетах достаточно, чтобы W больше или равно 0,5.
Пример: имеется 5 показателей и имеется 6 экспертов К = 6.
эксперт | Ранги, проставленные экспертами для пяти объектов | ||||
1 | 4 | 5 | 2 | 1 | 3 |
2 | 3 | 5 | 1 | 2 | 4 |
3 | 4 | 5 | 3 | 1 | 2 |
4 | 3 | 5 | 2 | 4 | 1 |
5 | 4 | 3 | 2 | 1 | 5 |
6 | 4 | 5 | 2 | 1 | 3 |
22 | 8 | 12 | 10 | 18 | |
K | 18 | 18 | 18 | 18 | 18 |
16 | 100 | 36 | 64 | 0 |
W =
=0,6Вывод: согласованность мнений экспертов достаточная, поэтому не требуется корректировка данных. В случае, если W<0,5, необходимо произвести повторный опрос экспертов и выявить либо ошибку в оценке, либо некомпетентного эксперта.
18. Дифференциальный, комплексный и смешанный методы оценки уровня качества
Для оценки уровня качества продукции важным является выбор метода оценки. Практическую основу всех методов оценки уровня качества продукции составляют:
1. дифференциальный метод
2. комплексный метод
3. смешанный метод
1. Дифференциальный метод: данный метод осуществляют на основе непосредственного сравнения единичных показателей качества оцениваемого вида продукции с соответствующими базовыми значениями эталона, т.е. существует набор показателей, продукции, которая характеризуется определенным рядом показателей, при этом сравнение проводят между показателями одинакового характера. Математически это определяется формулой:
(J)K=
Sgn
– может иметь только два значения либо 1 либо (-1). Положительное значение функция имеет в том случае, если оценивается позитивный показатель и отрицательное, если оценивается негативный показатель.