Оценка эффективности федеральных целевых программ опыт США (стр. 2 из 4)

Оценка программы по методике PART предполагает выполнение следующих основных шагов:

1. Подготовительный этап

1.1. Концептуализация программы

1.2. Проработка концепции оценки программы с учетом ее особенностей

1.3. Разработка системы вопросов

2. Заключительный этап

2.1. Сбор данных, фактов, подтверждающих объективность ответов на заданные вопросы

2.2. Анализ данных, фактов, подготовка предварительного заключения об эффективности программы

2.3. Подготовка окончательного заключения об эффективности программы, выработка рекомендаций по усовершенствованию программы

Концептуализация программы представляет собой построение логической модели, иллюстрирующей причинно-следственные связи между элементами программы, определяющие успех ее реализации. Принципиальная логическая модель концептуализации программ, используемая Административно-бюджетным управлением, представлена на рис. 2.

Рисунок 2 Модель концептуализации федеральных целевых программ, используемая Административно-

бюджетным управлением при Президенте США

Как отмечалось выше, структура федерального бюджета США позволяет выделять и оценивать различные единицы анализа – деятельность ведомства, совокупность программ, отдельные программы и подпрограммы.

Для оценки все программы подразделяются на семь категорий, чтобы можно было включать дополнительные вопросы, специфические для каждого типа программ. Для каждого типа программ существует свой вариант PART. Большинство федеральных программ укладываются в одну из этих категорий. Бывают случаи, когда для более информативной оценки целесообразно заимствовать некоторые вопросы из другого варианта PART. При этом за основу берется тот тип PART, который наиболее полно отражает основные функции программы, и дополняется вопросами, выбранными из другого варианта.

При этом, говоря о научно-исследовательских программах, необходимо отметить, что в США различают оценку эффективности программы (которая производится с помощью PART) и оценку результатов исследований. Оценка результатов исследований осуществляется методом экспертного анализа с использованием трех критериев – качества, значимости и лидерства. К оценке результатов исследований методом экспертного анализа привлекаются представители промышленных кругов, неправительственных организаций и федеральных ведомств – потребителей результатов исследований, способных оценить значимость исследований для достижения собственных целей.

Критерии и процедуры оценки по методике PART

PART представляет собой анкету, состоящую из серии вопросов для оценки различных аспектов реализации программ. Каждый PART включает в себя четыре раздела, каждый из которых имеет определенный удельный вес в итоговой оценке программы:

1) Цели и конструкция программы (Program Purpose and Design) – 20%,

2) Качество планирования (Planning) – 10%,

3) Качество управления программой (Management) – 20%, 4) Достигнутые результаты (Results) – 50%.

Итоговая оценка программы складывается из суммы оценок по каждому из названных разделов с учетом их удельного веса.

Каждый раздел включает определенное количество вопросов. По умолчанию каждому вопросу внутри раздела присваиваются равные удельные веса, сумма которых составляет 100% для каждого раздела. Однако по просьбе респондента, если он сумеет доказать целесообразность этого, процентное соотношение вопросов может быть изменено, с тем чтобы подчеркнуть ключевые факторы программы. Чтобы избежать нарушения общей суммы, удельные веса должны быть сбалансированы до того, как респондент приступил к ответу на вопросы.

Ответы на вопросы разделов 1) – 3) даются в формате «Да»/«Нет». В разделе 4 применяется более сложная – четырехуровневая – градация ответов: «Да», «В большой степени», «В малой степени», «Нет», что позволяет отразить частично достигнутые цели программы. В некоторых случаях, если вопрос неприменим к данной программе, респондент может дать ответ «Неприменимо».

Таким образом, оценка ответов на вопросы первых трех разделов может принять одно из двух значений: «Да» (максимальная оценка, равная удельному весу вопроса) или «Нет» (минимальная оценка, равная нулю). Используется своего рода двоичная система: при положительном ответе (1) оценка равна: 1×ω = ω, при отрицательном ответе (0) оценка равна: 0×ω = 0, где ω – удельный вес вопроса.

При оценке вопросов четвертого раздела респондент выставляет балльную оценку в диапазоне от 0 («Нет») до 1 («Да»). При этом если балльная оценка равна или превышает 0,5, это равносильно ответу «В большой степени», если же балльная оценка ниже 0,5, это равносильно ответу «В малой степени». Оценка ответов на вопросы четвертого раздела рассчитывается как произведение балльной оценки респондента (находящейся в диапазоне от 0 до 1) на удельный вес вопроса.

Таким образом, можно вывести общую формулу итоговой рейтинговой оценки программы:

 ^k   ^l   ^m   ⁿ 

R  0,2_r_iω_i _ 0,1_r_iω_i _ 0,2_r_iω_{i }0,5_r_iω_i _,

 i1   i1   i1   i1 

где k, l, m, n – количество вопросов в соответствующем разделе,

r – балльная оценка ответа на вопрос,

ω – удельный вес вопроса внутри соответствующего раздела,

j

ω_i 1при j = k, l, m, n.

i1

Числовое значение итоговой рейтинговой оценки переводится в качественную оценку – «Эффективно», «Умеренно эффективно», «Адекватно», «Неэффективно» и «Результаты не проявлены».

Программа считается эффективной, если ее численная оценка находится в диапазоне 85 – 100 баллов, умеренно эффективной – 70 – 84 балла, адекватной – 50 – 69 баллов, неэффективной – 0 – 49 баллов. Если утвержденная методика оценки не выявляет результаты финансируемой программы, то балльная оценка программы отсутствует, и она получает статус программы, не проявившей результатов.

Выставляя оценку по каждому вопросу, респондент разъясняет свою позицию (explanation) и приводит данные и факты, подтверждающие его позицию (evidence). В качестве доводов, обосновывающих позицию респондента, могут быть приведены, например, статистические данные или аналитические материалы, предоставленные третьей стороной, т. е. подготовленные не самим респондентом или ведомством, чья программа подвергается оценке.

Как отмечалось выше, формулировка отдельных вопросов и их удельные веса могут изменяться в зависимости от типа программы и ее конкретных особенностей. Вместе с тем, многие принципиальные вопросы остаются неизменными. В связи с этим, имеет смысл рассмотреть конкретный пример анкеты. В качестве примера (см. табл. 1) приведем вопросы, использованные для оценки программы в области нанотехнологий (Nanoscale Science and Engineering Research).

Таблица 1

Вопросы, использованные для оценки программы

Nanoscale Science and Engineering Research по методике PART

Формулировка вопроса	Удельный вес вопроса
РАЗДЕЛ 1. ЦЕЛИ И КОНСТРУКЦИЯ ПРОГРАММЫ (УДЕЛЬНЫЙ ВЕС РАЗДЕЛА – 20%)
1. Ясно ли сформулирована цель программы?	20%
2. Направлена ли программа на решение существующей или потенциальной проблемы, реализации существующих или потенциальных интересов, удовлетворения существующих или потенциальных потребностей?	20%
3. Сконструирована ли программа таким образом, чтобы не подменять и не копировать аналогичные инициативы федерального, регионального, местного правительства и частного сектора?	20%
4. Сконструирована ли программа таким образом, чтобы не содержать серьезных недостатков, способных повлиять на ее эффективность?	20%
5. Сконструирована ли программа таким образом, чтобы ресурсы, выделенные на ее реализацию непосредственно достигали заявленных бенефициаров?	20%
РАЗДЕЛ 2. КАЧЕСТВО ПЛАНИРОВАНИЯ (УДЕЛЬНЫЙ ВЕС РАЗДЕЛА – 10%)
1. Обозначены ли в программе целевые долгосрочные индикаторы, отражающие ее результативность в соответствии со стратегической целью программы?	9%
2. Отражены ли в программе задачи, необходимые для достижения стратегической цели, и временные рамки для их решения?	9%
3. Обозначены ли в программе целевые ежегодные индикаторы, отражающие движение на пути к достижению целевых долгосрочных индикаторов?	9%
4. Отражены ли в программе задачи, необходимые для достижения ежегодных индикаторов, направления их решения и временные рамки?	9%
5. Все ли участники программы (включая грантополучателей, субгрантополучателей, подрядчиков, инвестиционных партнеров и др.) выполняют принятые ими обязательства и работают над достижением ежегодных и/или долгосрочных целей программы?	9%
6. Осуществляются ли на регулярной основе или по мере необходимости независимые квалифицированные оценки программы с целью ее постоянного совершенствования и на предмет выявления ее соответствия соответствующим проблемам, интересам или потребностям?	20%
7. Увязаны ли подробно и недвусмысленно заявки на финансирование программы из бюджета с достижением долгосрочных и ежегодных целей, полно ли и прозрачно ли в бюджете программы отражены потребности в ресурсах?	9%
8. Проводило ли ведомство/руководство программы современный, понятный и достоверный анализ альтернатив, включая альтернативные варианты затрат, плана реализации, рисков и целей программы, были ли учтены результаты анализа при совершенствовании программы?	5%
9. Если применимо к данной программе: осуществляются ли руководством программы учет и сопоставление потенциальных результатов реализации программы с другими усилиями правительства или частного сектора, направленными на достижение аналогичных целей?	9%
10. Выделяются ли приоритеты при подготовке бюджетных заявок и принятии решений о финансировании?	9%
Формулировка вопроса	Удельный вес вопроса
РАЗДЕЛ 3. КАЧЕСТВО УПРАВЛЕНИЯ ПРОГРАММОЙ (УДЕЛЬНЫЙ ВЕС РАЗДЕЛА – 20%)
1. Занимается ли ведомство сбором своевременной и надежной информации о ходе выполнения программы, включая информацию от ключевых участников реализации программы, используется ли эта информация для совершенствования процесса управления программой?	9%
2. Является ли деятельность руководителей и участников программы (включая грантополучателей, субгрантополучателей, подрядчиков, инвестиционных партнеров и др.) понятной и прозрачной с точки зрения затрат, плана мероприятий и достигнутых результатов?	9%
3. Были ли средства (федерального бюджета и партнеров государства) выделены вовремя, были ли эти средства израсходованы на заявленные цели?	9%
4. Осуществляются ли меры по оценке и повышению эффективности и экономичности программы (например, конкурсное финансирование, улучшение информационнотехнического обеспечения, создание соответствующих стимулов)?	9%
5. Осуществляется ли сотрудничество и координация со смежными программами?	9%
6. Достаточно ли эффективен финансовый менеджмент программы?	9%
7. Являются ли прозрачными закупки, осуществляемые для реализации программы, и соответственно затраты на эти цели?	9%
8. Осуществляется ли присуждение грантов на основе прозрачных конкурсных процедур, включающих квалифицированную оценку сравнительных преимуществ заявок?	20%
9. Является ли контроль за деятельностью грантополучателей достаточным для получения представления об эффективности их работы?	9%
10. Осуществляется ли ежегодный сбор информации о деятельности грантополучателей, является ли эта информация доступной для граждан?	8%
РАЗДЕЛ 4. ДОСТИГНУТЫЕ РЕЗУЛЬТАТЫ (УДЕЛЬНЫЙ ВЕС РАЗДЕЛА – 50%)
1. Продемонстрировала ли программа приемлемый прогресс на пути к достижению долгосрочных целей?	10%
2. Достигаются ли ежегодные цели реализации программы?	10%
3. Сопровождается ли достижение ежегодных целей программы повышением эффективности и экономичности ее реализации?	18%
4. Можно ли назвать реализацию программы эффективной на фоне иных программ, как правительственных, так и неправительственных, преследующих аналогичные цели?	18%
5. Показывают ли независимые квалифицированные оценки, что программа результативна и эффективна?	25%
6. Были ли цели программы достигнуты в рамках выделенных средств и отведенного времени?	19%

Источник: http://www.whitehouse.gov/omb/expectmore/detail/10001147.2003.html.