Уровень 2. Оценка знаний и опыта, полученных слушателем по программе обучения. Технология оценки на этом уровне подразумевает проведение интервью (экзамена), опроса, тестирования после процесса обучения. Данный уровень повсеместно реализуется в учебных заведениях и представлен в виде системы зачетов (экзаменов). На этом уровне оцениваются результаты обучения: определяется, получили ли обучаемые те знания и навыки, которые были заложены в программу.
Уровень 3. Оценка поведения на рабочем месте. Выясняется, как слушатели применяют полученные знания и навыки в рабочих условиях. Это не практикуется в учебных заведениях, и только 30 % корпоративных программ обучения оценивается на таком уровне. Сложность оценки заключается в том, что для получения результатов необходимо ждать от месяца до полугода. Однако несмотря на сложность и дороговизну оценки проекта обучения на уровне 3 именно здесь впервые проявляется реальная польза программы обучения для сотрудника.
Уровень 4. Оценка влияния программы обучения на бизнес компании. На этом уровне оценивается, каких измеримых результатов компания достигла благодаря своим программам корпоративного обучения. Это наиболее сложный для реализации уровень, и только 10 % программ обучения персонала оценивается по этому параметру. Главная трудность состоит в выделении эффекта от тренинга из большого числа других факторов, также влияющих на бизнес компании.
Модель Киркпатрика дает только основу для оценки эффективности, но не предлагает какого-либо метода или решения. Поэтому для дальнейшего анализа необходимо использовать следующие дополнительные данные: эффективность использования средств; результативность процесса обучения; соответствие требованиям, предъявленным к обучению.
Одна из детальных моделей оценки программ обучения была предложена Джеком Филипсом в 1997 г. Автор собрал и описал более 40 проектов обучения в различных организациях, выявил преимущества используемых в каждом случае способов оценки и разработал шестишаговую «модель ROI (return on investment)».
Шаг 1. Сбор данных. Непосредственно перед сбором данных необходимо выделить цели, для которых производится оценка, затем осуществляется сбор данных с использованием различных инструментов (опросы, интервью, тестирование, наблюдения, измерение производительности). Оценка производится на нескольких этапах: до, после, во время обучения, а также через некоторое время.
Шаг 2. Изолирование эффекта обучения. Выполнение этого этапа позволяет исключить влияние внешних факторов, не имеющих отношения непосредственно к проекту обучения. На сегодняшний день разработано большое число решений, позволяющих осуществить это, все они не безупречны, но при комплексном применении выдают адекватный результат.
Шаг 3. Конвертация данных в денежную форму. Нужно перейти от таких понятий, как рост качества, эффективное распределение ресурсов, сокращение простоев и трудовых издержек, к денежной сумме, разнесенной по временным интервалам.
Шаг 4. Оценка затрат на обучение. Необходимо оценивать не только явные затраты, но и неявные, например отсутствие на рабочем месте в период обучения и т. п.
Шаг 5. Расчет ROI. Для его осуществления используются результаты третьего и четвертого шагов.
Шаг 6. Определение неявной выгоды. Неявной выгодой может считаться рост командного духа, удовлетворенность от работы, снижение конфликтов и т.д.
Если полная и достоверная информация, необходимая для расчета ROI, не доступна, можно использовать предложенный Джефом Муненом упрощенный подход к оценке возврата на вложенные инвестиции SROI (Simplified Return on Investment). В целях уменьшения сложности сбора данных и самих вычислений при расчете SROI во внимание принимаются только те факторы (как положительные, так и отрицательные), которые в текущей ситуации существенно отличаются от средних значений. Принципы вычисления SROI представлены в шести этапах.
Использование в случае необходимости относительных данных. Показатель ROI можно рассчитать как относительную величину, когда абсолютные данные отсутствуют. В этом случае рассчитывается величина, на которую изменится ROI при переходе от одной ситуации к другой (например, при введении в эксплуатацию новой технологии).
Выражение качественных данных на числовой шкале. Предлагается рассматривать только три категории: экономические критерии (выражаемые обычно в денежных единицах); качественные критерии (способности, поведенческие критерии, качество обслуживания, выражаемые обычно в терминах «лучше» и «хуже»); критерии эффективности (выраженные во времени, необходимом на выполнение определенной задачи, обычно в терминах «больше» и «меньше»).
Представление расчета SROI как нефинансового расчета. Финансовые данные преобразуются в относительные оценки (например, по шкале от - 10 до +10). Такой подход подчеркивает субъективную природу ROI, что гораздо ближе к реальности.
Учет минимального количества переменных, изменяющих текущую ситуацию. Для расчета следует рассматривать только те стороны конкретной ситуации, для которых ожидаемое различие до и после проведения необходимых изменений будет не просто заметным, а существенным.
Вычисление различных значений ROI, зависящих от участников ситуации и стадии внедрения нововведения. При расчете ROI с использованием различного состава участников ситуации часто получаются различные результаты (например, с точки зрения менеджера и преподавателя). Поэтому необходимо проводить вычисления ROI для каждой из категорий участников процесса: персонал, преподаватели, студенты и т.д.
Использование результатов SROI для совершенствования процесса и методики принятия решений, но не для самих решений. Наиболее важным вкладом SROI является систематический анализ, появление информации к размышлению, создание базиса для обсуждений заинтересованными сторонами. Следовательно, применение SROI создает ориентир для принятия обоснованных решений.