Интегральная оценка качества ИОМ
C точки зрения отдельно взятого интерактивного образовательного модуля, к качественным характеристикам ИОМ можно отнести:
· интерактивность,
· мультимедийность,
· модифицируемость,
Технологические качества ИОМ определяются:
· соответствием Спецификации объема модуля, его структуры, программных решений и
форматов мультимедиа компонентов;
· полнотой и безошибочностью метаданных и манифеста, отвечающих профилю хранилища, согласованному со Спецификацией;
· качеством мультимедиа компонентов контента и программных решений.
Для вариативных ИОМ в интегральную оценку включается дополнительно специализированный компонент – сравнительный анализ, определяющий новизну представления учебного материала в рассматриваемом модуле по отношению к ранее созданному.
В системе оценки модуля большую роль играет традиционная экспертиза учебного содержания. Минимально необходимым является удовлетворение следующим критериям:
· соответствие Заданию на выполнение работ;
· соответствие содержания Государственному стандарту (для учебных ИОМ);
· исчерпывающее представление соответствующего тематического элемента предметной области;
· методическая эффективность за счет целесообразного использования инновационных качеств (для учебных ИОМ);
· соответствие современным научным представлениям предметной области;
· соответствие базовым ценностям социума;
· адекватность результирующих данных.
Следует отметить, что интегральную оценку качеств созданных модулей предваряет экспертиза концепции ЭОР в предметной области, согласование сценарных планов и других документов, положенных в основу разработки. Соответственно, параметры и характеристики модуля, установленные в процессе ИОК как определяющие его инновационные, технологические и содержательные качества, должны быть не хуже заявленных в исходной документации.
Ниже в таблице 18 представлены все подлежащие контролю параметры, характеризующие инновационные, технологические и содержательные качества ИОМ, с указанием соответствующей технологии оценки. В соответствии с этой таблицей, интегральная оценка качеств интерактивного образовательного модуля разбивается на три этапа. На первом этапе производится автоматический компьютерный анализ структурных составляющих ИОМ, позволяющий получить предварительную либо окончательную оценку большинства технологических и ряда инновационных качеств.
На втором этапе эксперт − специалист в области информационных технологий проводит функциональную экспертизу модуля. В процессе воспроизведения ИОМ устанавливаются его функциональные возможности и выявляются ошибки программных решений. Кроме того, динамический режим обеспечивает дополнительную инновационно-технологическую (ИТ) экспертизу для уточнения данных структурного анализа, а также дает возможность оценить инновационные и технологические качества, определяемые только в процессе функционирования ИОМ.
На третьем этапе эксперт − специалист предметной области оценивает содержательные качества модуля.
Таблица 18
Сводная таблица ИОК ИОМ
| Наименование | Технологии оценки | |
| Компьютерная | Экспертная | |
| 1. Инновационные качества: 1.1.Уровень интерактивности 1.2.Уровень мультимедийности: 1.2.1. По каждой сцене 1.2.2. ИОМ в целом 1.3.Категория модифицируемости | + + + | + + −/+ + |
| 2. Технологические качества: 2.1. Объем 2.2. Архитектура 2.3. Программные решения (функциональность) 2.4. Качество мультимедиа компонентов 2.5. Манифест и метаданные | + + + + | + + + + |
| 3. Содержательные качества: 3.1. Соответствие современным научным представлениям предметной области 3.2. Соответствие учебного содержания ГОС (для учебных ЭОР) 3.3. Исчерпывающее представление тематического элемента и методическая эффективность за счет целесообразного пользования инновационных качеств 3.4. Соответствие базовым ценностям социума 3.5. Адекватность результирующих данных | + + + + + | |
Форма результатов ИОК ИОМ, заполняемая на всех трех этапах процедуры как автоматически, так и различными экспертами, приведена в приложении к данному документу.
Перейдем теперь к порядку и критериям интегральной оценки качеств ИОМ на каждом процедурном этапе. Отрицательная оценка какого-либо качества модуля на любом этапе не является основанием для прекращения процедуры ИОК, которая призвана дать максимальную информацию для доработки модуля. Исключением являются только нарушения функциональности ИОМ, вызванные «фатальными» ошибками в архитектуре или программных решениях модуля. Понятно, что при нарушении функциональности полноценная процедура ИОК невозможна.
Исходными данными для автоматического анализа структурных составляющих интерактивного образовательного модуля являются сведения из его сценарного плана:
· наименование ИОМ;
· файловое имя контейнера (идентификатор);
· тип модуля (И-, П-, К-);
· разновидность модуля (стандартный, многопользовательский, c присоединенным потоковым контентом);
· позиционирование в предметном классификаторе;
· сведения о результирующих данных;
· заявленные качественные параметры (мультимедийность, интерактивность);
Эти данные сохраняются и используются затем на всех этапах интегральной оценки качеств. Кроме того, для электронной формы результатов ИОК вводятся данные о разработчике, версии ИОМ в соответствии со Спецификацией, о дате последнего обновления и дате поступления на ИОК.
Алгоритм проведения компьютерного структурного анализа включает следующие действия:
· Верификация модуля.
Сравниваются наименование, идентификатор, тип и разновидность анализируемого ИОМ с исходными данными сценарного плана.
· Определение информационного объема.
«Взвешивается» ZIP-контейнер. Данные анализируются на предмет определения соответствия Спецификации. Результат заносится в электронную форму ИОК.
· Распаковка ZIP-контейнера.
Дальнейшие операции направлены на анализ структурных составляющих ИОМ, поэтому модуль должен быть распакован.
· Анализ архитектуры модуля.
а) Проверяется наличие всех стандартных папок и файлов, а также соответствие их наименований Спецификации.
б) Проверяется формальное соответствие Спецификации содержимого папок.
Если на всех этапах анализа архитектуры ИОМ результаты положительны, в данную форму ИОК заносится отметка о соответствии архитектуры модуля Спецификации. Кроме того, выносится предварительная положительная оценка модифицируемости ИОМ.
Если компьютерный анализ обнаружил нарушения архитектуры ИОМ:
− отсутствие или нестандартное наименование какой-либо папки,
− недопустимый формат мультимедиа компонента,
− недопустимое программное решение (например, имеются исполняемые файлы с расширением имен .exe или .dll),
− неверное размещение моделеров или фрагментов сценариев,
архитектура модуля оценивается как не отвечающая Спецификации. Вместе с отрицательной оценкой в электронной форме ИОК конкретизируется нарушение.
· Анализ содержимого папки media.
Расширения имен файлов, содержащихся в папке, сопоставляются с таблицей мультимедиа компонентов. В результате в электронную форму ИОК заносится значение уровня мультимедийности ИОМ.
· Анализ манифеста и метаданных.
В автоматическом режиме проверяется заполнение всех обязательных полей, правильность использования словарей, идентификаторов, предметного классификатора. Результат отражается в электронной форме ИОК как соответствующий или не соответствующий Спецификации с указанием ошибок.
На этом компьютерный анализ ИОМ заканчивается, модуль поступает в распоряжение специалиста в области информационных технологий для проведения функциональной экспертизы инновационных и технологических качеств.
Основной целью функциональной экспертизы является анализ работоспособности ИОМ, проверка четкого выполнения всех заявленных функций. Кроме того, при воспроизведении модуля завершается экспертиза его инновационных и технологических качеств: уточняются предварительные оценки структурного анализа и выносятся оценки по ИТ-качествам, определяемым только в процессе функционирования ИОМ.
Рассматривается каждая мультимедиа сцена ИОМ, выявляется неработоспособность (или ошибочная работа) тех или иных медиаэлементов, медиакомбинаций, элементов навигации и др. Определяются ошибки организации интерактива – отсутствие или неверная реакция объекта/процесса, неадекватные предложения/сообщения, ошибки размещения объектов и т.д.
Нарушение функциональности ИОМ, ошибка на любом уровне – от модуля в целом до медиаэлемента – недопустимы. Обнаружение ошибки функционирования является основанием для прекращения процедуры ИОК, модуль возвращается на доработку.
Оценка функциональности ИОМ отражается в электронной форме ИОК в графе «Программные решения (функциональность)». В полнофункциональном модуле экспертным путем устанавливается также:
· уровень интерактивности ИОМ;
· уровень мультимедийности каждой сцены;
· качество мультимедиа компонентов.
Оценка инновационных качеств осуществляется по критериям и квалиметрии Спецификации. Качество мультимедиа компонентов определяется субъективно, по Спецификации квалифицируются только грубые нарушения.