W = S/Smax = ∑ [∑аij – 0,5N (n +1)2] / 0,5[N2n(n2 – 1)](3.2.12)
Показатель W называется коэффициентом конкордации и изменяется в пределах от 0 до 1. При W=0 согласованности между экспертами совершенно нет, т.е. связь между оценками экспертов полностью отсутствует. При этом для получения достоверных оценок необходимо уточнить исходные данные или изменить состав экспертов. При W=1 имеет место полная согласованность мнений экспертов, что опять же маловероятно. Можно считать, что при значении данного коэффициента больше 0,5 действия экспертов являются согласованными. При значении W меньше 0,5 полученные оценки нельзя считать достоверными и экспертизу следует повторить.
Зависимость (3.2.12) применяется при строгом соблюдении соотношения (3.2.4). Если соотношение (3.2.4) не соблюдается, то коэффициент W определяется по следующей преобразованной формуле:
W = S / {1/12[N2n(n2 – 1)] – N
Tj}(3.2.13)Значение Т в формуле (3.2.13) определяется следующим образом:
Tj = 1/12 ∑tj × (t2 – 1),(3.2.14)
где tj – число повторений каждого ранга в j-м ряду;
j = (1,2,…к) – число повторяющихся рангов в каждом ряду.
Для количественной оценки степени уровня значимости данного события производится оценка каждого события по его влиянию конечный результат. При этом значение коэффициента конкордации находится следующим образом:
S = 1 – di/Nai.(3.2.15)
При этом величина di как сумма отклонений оценки конкретного эксперта от среднеарифметической оценки ai :
di=∑|(ai – aij)|,(3.2.16)
а значение аi определяется как среднеарифметическая оценка, выставленная N экспертами за наступление данного события:
аi=∑aij/N(3.2.17)
Результаты ранжирования форм экспертных оценок по важности конечного результата приведены в табл. 3.2.1.
Таблица 3.2.1
Ранжирование форм экспертных оценок
Эксперты | Код формы экспертных оценок и результаты оценок | ||||
ОО | ОА | ЗО | ЗА | ||
Эксперт №1 | 2 | 1 | 4 | 3 | |
Эксперт №2 | 1 | 2 | 3 | 5 | |
Эксперт №3 | 2,5 | 2,5 | 2,5 | 2,5 | |
Эксперт №4 | 1,5 | 3,5 | 1,5 | 3,5 | |
Эксперт №5 | 1 | 3 | 5 | 6 | |
Эксперт №6 | 2 | 1 | 4 | 2 | |
Эксперт №7 | 1,5 | 1,5 | 3,5 | 3,5 | |
Эксперт №8 | 1 | 3 | 4 | 3 | |
Эксперт №9 | 1,5 | 1,5 | 3, | 3,5 | |
Эксперт №10 | 3 | 2 | 5 | 4 | |
аij | 17 | 21 | 36 | 36 | а=25 |
d= (aij – ai) | -8 | -4 | 11 | 11 | |
d2 | 64 | 16 | 121 | 121 |
В табл. 3.2.1 обозначения формы экспертной оценки инновационного проекта соответствуют следующим действиям экспертов:
ОО – очная открытая оценка проекта;
ОА – очная анонимная оценка (эксперт выступает под кодом);
ЗО – заочная открытая оценка;
ЗА – заочная анонимная оценка проекта.
Исходя из данных табл. 3.2.1 и учитывая, что N=10, n=4, S=322, определяем коэффициент конкордации W:
W = 322 / {1/12[102×4(42–1)]–10[0+0+4(42–1)+2(22–1)+0+0+2(22–1)+0+(22–1)]1/12} = 322 / (500-80) = 322/420 = 0,767
Полученное значение коэффициента конкордации является единственным, так как значительно превышает величину 0,5. Следовательно можно считать, что группа экспертов и их оценки являются вполне согласованными, а итоговые результаты заслуживают доверия. Количественная оценка действий экспертов при различных формах экспертизы приведена в табл. 3.2.2.
Таблица 3.2.2
Количественные значения экспертной оценки при различных формах экспертизы
Формы оценки инновационного проекта экспертизы | Количественная оценка, баллы | ||
поддерживаю | ознакомился | не поддерживаю | |
Очная открытая оценка проекта | +1 | 0 | -1 |
Очная анонимная оценка | +0,3 | 0 | -0,3 |
Заочная открытая оценка | +0,15 | 0 | -0,15 |
Заочная анонимная оценка | +0,05 | 0 | -0,05 |
Практическая реализация данного подхода представлена нами в табл. 3.2.3 на примере ранжирования инновационных проектов Нижегородского инструментального завода в 2003 году.
Таблица 3.2.3
Рейтинговая оценка инновационных проектов по критериям табл.3.2.2.
№№ проекта | Оценки «ОО» | Оценки «ОА» | Оценки «ЗО» | Оценки «ЗА» | Всего баллов | Рейтинг | ||||||||
Всего | В том числе | Всего | В том числе | Всего | В том числе | Всего | В том числе | |||||||
«За» | «Против» | «За» | «Против» | «За» | «Против» | «За» | «Против» | |||||||
1 | 23 | 18 | 2 | 11 | 8 | 1 | 15 | 10 | 2 | 6 | 4 | 0 | 19,50 | 3 |
2 | 21 | 20 | 1 | 8 | 5 | 0 | 18 | 13 | 3 | 8 | 5 | 1 | 22,20 | 1 |
3 | 22 | 17 | 3 | 9 | 6 | 3 | 10 | 7 | 1 | 11 | 8 | 3 | 16,35 | 4 |
4 | 22 | 19 | 2 | 12 | 9 | 2 | 14 | 7 | 3 | 7 | 5 | 1 | 19,90 | 2 |
5 | 21 | 16 | 4 | 6 | 4 | 1 | 16 | 9 | 2 | 10 | 4 | 2 | 16,05 | 5 |
6 | 19 | 14 | 3 | 7 | 5 | 1 | 12 | 10 | 0 | 8 | 6 | 0 | 14,00 | 6 |
7 | 20 | 15 | 4 | 9 | 6 | 2 | 8 | 6 | 1 | 5 | 3 | 0 | 13,10 | 7 |
8 | 18 | 13 | 3 | 11 | 6 | 4 | 13 | 8 | 3 | 9 | 5 | 2 | 11,50 | 8 |
9 | 16 | 11 | 4 | 10 | 6 | 3 | 11 | 6 | 1 | 4 | 2 | 1 | 8,70 | 9 |
10 | 15 | 10 | 3 | 7 | 4 | 2 | 14 | 8 | 3 | 6 | 4 | 1 | 8,50 | 10 |
11 | 12 | 8 | 2 | 8 | 5 | 3 | 9 | 4 | 3 | 7 | 5 | 2 | 6,90 | 11 |
Всего оценок | 209 | 98 | 146 | 81 |
В зависимости от финансовых, технических и организационных возможностей предприятие отбирает по результатам ранжирования необходимое количество наиболее экономически эффективных инноваций для внедрения в планируемом году. При выявлении резервов повышения эффективности инновационной деятельности на данной стадии инновационного процесса, необходимо исходить из того, что главная цель оценки: экономической эффективности - это ее максимальная точность. Соответственно, измерение уровня эффективности инновационной деятельности на данной стадии можно осуществить с использованием следующей формулы (3.2.18):
, (3.2.18)где Эоц. – точность оценки экономической эффективности при инновационной деятельности;
P – вероятность получения экономического эффекта;
Эпрогij – прогнозный (до внедрения) экономический эффект i-й инновации (технического решения, идеи) в j-м году;
Эфактij – фактический экономический эффект i-й инновации (после внедрения в j-м году);
N – количество использованных инноваций;
Т – период жизненного цикла инновации.
В случае если за период анализа было внедрено некоторое число изобретений, точность оценки экономической эффективности внедренных нововведений можно рассчитать на основе суммарного значения фактического и прогнозного эффектов. При использовании методик, отражающих большое число различных факторов, целесообразно для измерения точности оценки выбрать один наиболее важный показатель.
Соответственно, величина резервов повышения эффективности инновационной деятельности при оценке экономической эффективности инновационных проектов будет составлять отклонение значений рассмотренного показателя от максимальной величины.
Для характеристики инновационной деятельности на стадии внедрения изобретений возможно использование следующих показателей, рассматриваемых за определенный период времени:
1) число внедренных изобретений (замыслов, идеи);
2)затраты на внедрение изобретений (замыслов, идеи).
Наряду с выше обозначенными абсолютными показателями возможно использование следующих относительных показателей:
1) число внедренных изобретений (замыслов, идей) на одного занятого,
2) доля затрат на внедрение изобретений (замыслов, идей) в общем объеме осуществленных капиталовложений за тот же период времени;
3) средние затраты на внедрение одного изобретения и т.д.
Вместе с тем, данные показатели не отражают эффективности проведения инновационной деятельности на стадии внедрения изобретений. Поэтому, на наш взгляд, для измерения уровня результативности стадии внедрения изобретений (3.2.19) необходимо сопоставить число внедренных изобретений (технических решений, идей) и общее число разработанных изобретений (технических решений, идей), отвечающих требованиям экономической эффективности предприятия, за тот же период времени, т. е.:
, (3.2.19)где Рст..вн – результативность стадии внедрения инноваций;
Чвн..и – число внедренных инноваций (технических решений, идей), отвечающих требованиям экономической эффективности промышленного предприятия;
Чраз..и – число разработанных инноваций (технических решений, идей), отвечающих требованиям экономической эффективности, за тот же период времени.
Так, например, на основе статистических данных, приведенных в табл.3.2.4, можно рассчитать показатель результативности инновационной деятельности на стадии внедрения изобретений для машиностроительных предприятий Нижегородской области.
Таблица 3.2.4.
Создание и освоение образцов новой техники машиностроительных предприятий Нижегородской области в 1995-2003 гг.