· выделение системообразующих элементов, ядра в базе оценки – принцип объективных оснований комплексной оценки;
· соответствие оценочной модели комплексной оценки основанию оценки – КХ и КТ, наличие в оценочной модели общего для КХ, КТ и ФОС ядра;
· представление оценочной модели как квалиметрической модели и одновременно упрощенного (гомоморфного) образа той части объекта (или базы оценки), который подлежит непосредственной оценке;
· максимально возможное (при имеющихся ограничениях) соответствие информативности, сложности оценочной модели ее прообразу – модели специалиста;
· корректирующая функция комплексной оценки по отношению к базе оценки, ее структуре, придание основанию оценки КХ и КТ тех качеств, свойств, которых в ней нет в явном виде, но которые необходимы для комплексности оценки;
· органическая связанность процессов проектирования, создания и развития КО и ее базы – ОС – как связного комплекса подсистем более общей системы управления.
С учетом вышеизложенного формулируются следующие основные Цели комплексной оценки КПВ:
· улучшение полноты и достоверности информации о качестве подготовки выпускников (КПВ), о соответствии КПВ требованиям ГОС, обеспечение комплексности оценки и лучшей сравнимости КПВ по разным специальностям (Сп) и направлениям подготовки (НП) в условиях работы ГАК и экспертов Госинспекции в процессе аттестации вуза;
· соответствующая принятым критериям оценка степени достижения выпускником сформулированных в соответствующем образовательном стандарте и образовательной программе конечных целей подготовки – способности выпускника компетентно решать систему (или подсистему) задач профессиональной деятельности;
· оценка уровня владения выпускниками необходимыми – для компетентного, качественного решения задач профессиональной деятельности – методами, средствами, алгоритмами и технологиями (МСАТ), а также знаниями по дисциплинам, умением пользоваться этими знаниями;
В предлагаемой системе это достигается в результате:
· применения для оценки КПВ структуры системы показателей, состоящей из а) инвариантного (для большинства НП и Сп) набора показателей, к которому добавляются б) показатели КПВ, специфичные для конкретного НП (но общие для соответствующего подмножества специальностей); в) показатели, соответствующие КПВ по конкретной специальности, ОП (см. приложения 2-4,8,10);
· сохранения этой структуры в выпускных квалификационных работах (ВКР), комплексных квалификационных заданиях (ККЗ) ситуационного типа (см. приложения 5-9), в анкетах выпускников и их руководителей;
· получения агрегированных (групповых и интегральных) оценок с помощью одинаковых процедур свертки и единых (в рамках своего НП) наборов весовых коэффициентов показателей качества выпускных квалификационных работ (ВКР); в) благодаря использованию концепции инвариантов при определении состава показателей. Агрегирование оценок осуществляется с помощью специальных квалиметрических процедур нелинейной (с учетом нелинейности шкал) свертки [21].
Основными средствами повышения достоверности, надежности комплексной оценки являются:
· применение в системе комплексной оценки КПВ четырех источников информации: ВКР, ККЗ, анкет выпускников и их руководителей;
· оценка и потенциала, и результатов деятельности; обоснованная избыточность количества показателей; дублирование методов и источников информации по трудноизмеримым качествам; комплексность, системность оценки (сопоставление и синтез всех источников информации, ее анализ);
· обработка и анализ информации по специальным алгоритмам и компьютерной программе.
1. Структура и технология комплексной оценки качества подготовки выпускников
Общая структура всей технологии комплексной оценки КПВ, соответствующая вышеприведенным принципам и критериям качества, приводится в Приложении 1. При этом предлагаемый подход рассчитан на последовательное, поэтапное продвижение пользователей к разработке и внедрению полной технологии комплексной оценки КПВ.
Информационной основой комплексной оценки КПВ является оценочная модель (ОМ) в виде полного набора показателей (критериальная модель) и набора соответствующих каждому показателю шкал или нормативов (дихотомических или бинарных шкал).
В результате комплексной оценки должна быть получена следующая информация: полный набор значений оценок КПВ по каждому k-му показателю критериальной модели, по каждому i-му студенту-выпускнику, по каждой j-й специальности, по каждой академической группе/потоку.
В принципе предусматривается получение информации из следующих четырех источников:
· результатов оценки качества комплексных квалификационных заданий (ККЗ) и качества выпускных квалификационных работ (ВКР) в процессе ГАК по соответствующим ККЗ и ВКР наборам показателей их качества;
· результатов самооценки работающих выпускников и оценки качества их подготовки их руководителями с помощью анкет (приложения 11 и 12).
При этом показатели для каждого из этих источников берутся из полного набора показателей – критериальной модели с учетом возможности оценки соответствующего показателя с помощью этого источника, с одной стороны, и необходимости оценки максимального количества показателей, с другой.
Полученные в результате работы ГАК и анкетирования выпускников и их руководителей наборы оценок (по каждому отдельному источнику информации) не агрегируются (не сворачиваются), а суммируются (в виде средневзвешенной суммы) по каждому показателю отдельно. Как показано на схеме Приложения 1 (и Приложения 10), полученные таким образом наборы (средневзвешенных) оценок агрегируются для получения интегральных и групповых оценок отдельно по каждому выпускнику.
В результате на «выходе» системы комплексной оценки КПВ получается – необходимая для анализа и управления качеством – следующая информация: наборы (или векторы) оценок КПВ по каждому выпускнику, по каждой академической группе, потоку, в том числе, отдельно по ГАК (без результатов анкетирования), а также соответствующие агрегированные (интегральные) оценки.
Вместе с тем, при отсутствии всей или части информации по одному из источников информации, система выдает вышеприведенную информацию из остальных источников, что позволяет создавать, внедрять и применять ее последовательно.
Изложенный в материалах подход, ориентированный на полную, максимальную структуру и технологию комплексной оценки КПВ (Приложение 1), рекомендуется осваивать и вводить в практику оценочной деятельности поэтапно, в следующей последовательности.
1. Разработка полной системы показателей КПВ – критериальной модели (КМ) на основе КХ и КТ ГОС-2 (или полного набора компетенций выпускника – в ГОС-3) и с использованием инвариантных показателей (Приложение 3, 4).
2. Определение источников информации по каждому из показателей (см. Приложение 2).
3. Разработка нормативов или шкал для соответствующих показателей КМ (см. примеры шкал в Приложении 4), образующих вместе с КМ оценочную модель (ОМ).
4. Экспериментальная оценка (экспертиза) ВКР в процессе ИГА по выделенным на этапе 1 показателям ВКР.
5. Разработка ККЗ на основе КХ, КТ, инвариантной модели (Приложение 3) и примеров ККЗ (Приложение 6).
6. Экспериментальное применение ККЗ и их оценка (по показателям и нормативам в пп. 1–3).
7. Опрос выпускников-дипломников, а затем и работающих выпускников (Приложение 7).
8. Приведение информации о результатах обучения студента к показателям по п.1 (Приложение 2).
9. Построение сводного вектора оценок после освоения каждого нового источника информации (Приложение 2).
Представленная в пп. 1-9 последовательность создания и освоения технологии комплексной оценки КПВ рассчитана на 2-3 года. Минимальный вариант комплексной оценки на основе оценки ВКР и ККЭ, соответствующий требованиям Положения об ИГА, может быть создан в течение года.
Более сложная структура методики создания оценочных средств для ИГА, основывающаяся на современной квалиметрии образования А.И. Субетто, излагается в его монографии [14].
2. Разработка комплексных квалификационных заданий (ККЗ), выпускных квалификационных работ (ВКР) и показателей их качества
Все четыре перечисленные основные источники информации разрабатываются таким образом, чтобы значение каждого из показателей оценочной / критериальной модели могло быть оценено с помощью ККЗ и ВКР, как минимум. В принципе, с помощью ККЗ осуществляется оценка в большей степени репродуктивной составляющей КПВ, тогда как оценка ВКР должна давать информацию о творческой составляющей КПВ. Но в связи с неуверенностью в том, кто в действительности является автором ВКР, оценка ККЗ повышает надежность информации о ВКР.
Структура ККЗ в предлагаемой системе комплексной оценки КПВ должна иметь следующую структуру ситуационного теста:
объект (процесс) задан с помощью следующей исходной информации ...;
общая задача: разработать проект программы деятельности (исследования) объекта / процесса (создания модели, проведения анализа, диагностики, прогноза) и проект плана реализации этой программы.
Промежуточные задачи:
1. Провести анализ состояния исходной информации (ее полноты, надежности) об объекте / процессе.
2. Определить необходимую дополнительную (недостающую) информацию (для моделирования, анализа, принятия решений, разработки проекта программы и плана деятельности).
3. Привести (дать описание) необходимые для анализа, прогноза, проектирования и планирования математические модели объекта/процесса.
4. Провести анализ состояния и динамики объекта/процесса, используя необходимые для анализа модели, методы, средства, алгоритмы, технологии (МСАТ).