Или для данных настоящего примера:
Р6=0,33*0,77=0,254; р7=0,33*0,772=0,196;… рN+K=0,33*0,77к.
Остается найти К – такое число новых привлекаемых экспертов, при котором рN+K становится достаточно малой величиной, меньше некоторого критического значения a. Значение a выбирают в зависимости от ответственности решаемой задачи, - от 0,1 до 0,01. Таким образом, число вновь привлекаемых экспертов находим из условия:
РN+К= РN*lК=a.
Приняв a=0,05, имеем
K=(lna-lnРN)/lnl=(-2,996+1,109)/(-0,261)=7,2; принимаем 8.
Итак, в приведенной примере общее число экспертов, которых следует опросить для достижения достаточной уверенности в полноте выявления требуемых данных, составит N+K=5+8=13. Надо отметить, что по данным проведенных опытов величина l обычно убывает с ростом числа экспертов, а поэтому изложенный способ расчета дает требуемое число с некоторым “запасом”.
16. Определение числа специалистов при формировании банка экспертов
При формировании экспертной группы для однократного решения задачи можно искать экспертов различными способами: назначения, последовательных рекомендаций и др. Все эти способы требуют существенных затрат времени на установление контакта с потенциальными экспертами, достижение договоренности об участии и.т.д. Поэтому для создания долгосрочно функционирующих экспертных групп, например, при необходимости многократного решения в общем однотипных задач оценивания качества той или иной продукции, применяют, так называемый, «банк экспертов». Банк экспертов – это несколько (иногда несколько десятков) специалистов, у которых заранее получено согласие на участие в экспертизе. Данные об этих специалистах хранятся в памяти ЭВМ и поэтому каждый из них в любой момент доступен для привлечения к работе.
Для беседы с экспертами заранее предусматривают все возможные виды оцениваемой продукции, т.е. составляют рубрикатор продукции, и каждый эксперт заранее указывает, в оценивании каких видов продукции он считает возможным участвовать.
Рассмотрим пример, используя данные таблицы 2: первый эксперт согласен работать по 1,2,3,4,5 и10 позициям рубрикатора, второй – по 1, 3, 4, 7, и 9 и т.д. Как же оценить по данным опроса небольшого числа экспертов, сколько их следует включить в банк, чтобы иметь возможность выполнять оценивание качества любой поступающей продукции?
Таблица 2
Группа продукции | Эксперты | |||||||
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | |
А | + | + | + | + | + | + | ||
Б | + | + | + | + | + | + | ||
В | + | + | + | + | + | |||
Г | + | + | + | + | + | |||
Д | + | + | + | + | + | |||
Е | + | + | ||||||
Ж | + | + | + | + | ||||
З | ||||||||
И | + | + | + | |||||
К | + | + |
Здесь следует принять примерно те же предпосылки, относительно способностей экспертов, что и в предыдущих примерах, а именно, принять, что они приблизительно одинаково работоспособны и, главное, независимы в выборе оцениваемых рубрик. Если последнее условие не соблюдено, то расчет даст грубо ошибочные результаты.
Обозначим, для дальнейшего, М – количество рубрик рубикатора, m(N) – число рубрик, выбранных n-ым экспертом, N- общее число экспертов. В нашем примере М=10, N=6. Данные по 7 и 8 экспертам использовать не будем - они будут использованы в задаче.
Теперь по данным выбора первых N экспертов найдем среднее количество рубрик, выбираемых одним экспертом:
Mср.= Sm(n)/N=31/6=5,2.
Таким образом, оценка вероятности выбора экспертом произвольной рубрики будет:
Р=Мср./M=5,2/10=0,52.
Возьмем произвольную рубрику. Вероятность того, что ее не выберет первый эксперт, будет:
q(1)=1-Р=1-0,52=0,48.
Вероятность того, что ее не выберет ни первый ни второй эксперт, составит
q(2)= q(1)2=0,482=0,23.
Вероятность того, что рубрику не выберет ни один из шести экспертов
Р(0)=q(N)= q (1)N=0,486=0,012.
Итак, если мы интересовались только тем, чтобы каждую рубрику выбрал хотя бы один эксперт (с задаваемой, как и в предыдущей задаче, достаточно большой вероятностью Р=1-a), то требуемое число экспертов N+K можно было бы найти, используя формулу
q(1)N+K=a,
где N+K – искомое общее число экспертов;
a - достаточно малая вероятность («уровень значимости»).
В нашем примере это было бы обеспечено для a=0,05 при
N+K=lna/lnq(1)=-2,996/-0,734=4,1; принимаем 5 экспертов.
Но по условиям формирования банка экспертов обычно требуется, чтобы число экспертов, выбравших каждую рубрику, было не менее некоторого числа Z ( допустим Z=3).
Тогда мы должны еще подсчитать, какова вероятность того, что рубрику выберет ровно один эксперт и что ее выберут ровно два эксперта. Затем сложить вероятности выбора 0 экспертами, одним экспертом и двумя экспертами и вычесть это значение из единицы. Полученное число и покажет нам, какова вероятность выбора произвольной рубрики не менее, чем тремя экспертами.
Итак, вероятность выбора ровно одним экспертом будет
P(1)=CN1*Р*q(1)N-1,
Для выбора ровно двумя экспертами
P(2)=CN2*Р2*q(1)N-2,
где С- число сочетаний групп экспертов из числа N по 1 и по 2.
Для данных нашего примера:
P(1)= 6*0,52*0,485=0,079;
P(1)=15*0,522*0,484=0,215.
Таким образом, для N=6 экспертам вероятность того, что любую рубрику выберут три или больше экспертов, будет
Р(³3)=1-Р(0)-Р(1)-Р(2)=1-0,012-0,079-0,215=0,694.
Это слишком маленькая вероятность (нам требуется не менее 0,95) и поэтому расчет следует продолжить. К сожалению, выразить требуемое число экспертов из этой формулы в явном виде трудно. Приходится действовать подбором, постепенно увеличивая число экспертов N+K. В нашем примере успех достигается при N+K=10. Тогда Р(³3)=0,96.
17. Обработка и оценка согласованности экспертных данных
Правила оценки согласованности мнений экспертов.
Согласованность мнений экспертов рассчитывают на основании показателей вариации или конкордации.
1. метод вариаций: данный коэфициент рассчитывают по формуле:
V
считается, при условии V
Оценка согласованности на основе коэфициента конкордации.
Для объективной оценки результатов применяют статистический метод, основанный на коэффициенте конкордации. Данный коэффициент определяют по формуле:
W =
W – коэффициент конкордации
К – количество экспертов
N – количество объектов или показаний
С – сумма квадратов отклонений сумм рангов по каждому показателю от средней суммы рангов
C=
Коэффициент конкордации варьирует в диапазоне при условии, если W=0, согласованность отсутствует, если W=0, согласованность полная. При расчетах достаточно, чтобы W больше или равно 0,5.
Пример: имеется 5 показателей и имеется 6 экспертов К = 6.
эксперт | Ранги, проставленные экспертами для пяти объектов | ||||
1 | 4 | 5 | 2 | 1 | 3 |
2 | 3 | 5 | 1 | 2 | 4 |
3 | 4 | 5 | 3 | 1 | 2 |
4 | 3 | 5 | 2 | 4 | 1 |
5 | 4 | 3 | 2 | 1 | 5 |
6 | 4 | 5 | 2 | 1 | 3 |
| 22 | 8 | 12 | 10 | 18 |
K | 18 | 18 | 18 | 18 | 18 |
| 16 | 100 | 36 | 64 | 0 |
W =
Вывод: согласованность мнений экспертов достаточная, поэтому не требуется корректировка данных. В случае, если W<0,5, необходимо произвести повторный опрос экспертов и выявить либо ошибку в оценке, либо некомпетентного эксперта.
18. Дифференциальный, комплексный и смешанный методы оценки уровня качества
Для оценки уровня качества продукции важным является выбор метода оценки. Практическую основу всех методов оценки уровня качества продукции составляют:
1. дифференциальный метод
2. комплексный метод
3. смешанный метод
1. Дифференциальный метод: данный метод осуществляют на основе непосредственного сравнения единичных показателей качества оцениваемого вида продукции с соответствующими базовыми значениями эталона, т.е. существует набор показателей, продукции, которая характеризуется определенным рядом показателей, при этом сравнение проводят между показателями одинакового характера. Математически это определяется формулой:
(J)K=
Sgn