Заметим, что после определения уровня мультимедийности каждой учебной сцены, оценка уровня мультимедийности модуля, полученная на этапе структурного анализа, может измениться. Это произойдет, если не все представленные в папке media мультимедиа компоненты будут обнаружены в функционирующем модуле, или, наоборот, часть медиаэлементов будет интегрирована в файлы композиций, выполненных по технологиям сторонних производителей. Кроме того, оценка может измениться на отрицательную, если будет обнаружена сцена с уровнем мультимедийности, равным единице. Таким образом, еще одно предназначение функциональной экспертизы – уточнение некоторых оценок компьютерного структурного анализа.
Безупречное функционирование модуля под разными браузерами позволяет убедиться в отсутствии платформенно-ориентированных программных решений, скрытых от структурного анализа. Однако, ввиду существенных различий квалификации и технологической культуры разработчиков, этого может оказаться недостаточно. Для принятия окончательного решения следует непосредственно убедиться в функциональности ИОМ, воспроизводимого в средах альтернативных операционных систем (Windows XP, Windows 7, MacOS 10 (и выше), Ubuntu 9 (и выше), altLinux 5).
Контроль оригинальных записей в метаданных (описание ИОМ, его характеристики, авторские права, ключевые слова и др.) – также возлагается на эксперта. Результаты экспертного контроля вместе с данными автоматического анализа позволяют дать окончательную оценку качества метаданных ИОМ.
Экспертиза содержательных качеств
В рамках экспертизы содержательных качеств интерактивного образовательного модуля специалист предметной области должен дать оценку контенту ИОМ, исходя из следующих критериев:
· Соответствие современным научным представлениям предметной области.
Очевидно, недопустимыми являются лженаучные сведения, равно как и устаревшие представления о сути и свойствах изучаемых объектов, процессов, явлений.
· Соответствие учебного содержания Государственному образовательному стандарту (для учебных ИОМ).
Вполне прозрачный критерий: предметные знания выходят далеко за рамки ГОС, однако стандарты для того и создаются, чтобы им следовать.
· Исчерпывающее представление тематического элемента;
Здесь можно ожидать ошибок разного рода. Наиболее распространенная – неверное определение тематического элемента: его формулировка настолько обширна, что уместить все необходимое в одном относительно небольшом модуле попросту невозможно. Иногда подобное несоответствие обнаруживается поздновато. Проблема возникает, когда в модуль И-типа самыми простыми текстрографическими средствами загружается содержание целого тематического блока ГОС, а рассматриваемый в данный момент П- или К-модуль не способен вместить необходимый аудиовизуальный контент, представляющий все описанные в И-модуле объекты, процессы, явления.
С другой стороны, в соответствии со с недопустим вариант, когда контент ИОМ скуден по образовательному содержанию и занимает при этом информационный объем на порядок меньше допустимого. В этом случае очевидны недоработки либо в определении содержательных границ тематического элемента, либо в реализации собственного контента, не раскрывающего в достаточной мере формулировку тематического элемента. Нарушение Спецификации автоматически ведет к отрицательной оценке содержательных качеств ИОМ.
Третий типичный случай – одно из выражений субъективности экспертизы, недооценка трехмерности совокупного контента ЭОР. При достаточно большом информационном объеме рассматриваемого модуля замечание чрезмерно требовательного эксперта формулируется, например, в виде: «решения вычислительной задачи недостаточно, нужен еще лабораторный эксперимент». На самом деле, для раскрытия материала данного тематического элемента – минимально, но достаточно. А виртуальная лаборатория может быть реализована впоследствии как вариативный ИОМ.
· Методическая эффективность за счет целесообразного использования инновационных качеств;
Формальное использование новых педагогических инструментов – интерактива, мультимедиа, моделинга, коммуникативности и производительности пользователя отнюдь не гарантирует целесообразность применения ИОМ в учебном процессе, продуцирование новых интересов у пользователей социокультурных ЭОР. Одной из задач содержательной экспертизы является оценка возможностей повышения эффективности самостоятельной образовательной деятельности за счет применения активно-деятельностных методов, получения иных методических преимуществ при использовании данного ИОМ.
· Соответствие базовым ценностям социума;
Понятно, что пропаганда насилия и жестокости, скрытая реклама алкоголизма и наркомании, брань и нелитературные выражения, все то, что отторгается цивилизованным обществом, в контенте ИОМ недопустимо.
· Адекватность результирующих данных;
В процессе функционирования интерактивного модуля генерируются значения параметров, характеризующих результаты работы пользователя с ИОМ. В соответствии с международной спецификацией SCORM RTE эти параметры должны иметь определенный формат и отражать самые разные аспекты образовательного процесса − от времени сеанса до количества ошибок и успешных действий. Эксперту следует убедиться, что значения результирующих данных адекватны проведенной с модулем работе. Самым простым примером служит поверхностное ознакомление с И-модулем или значительное число ошибок при аттестации с помощью модуля К-типа. Значения результирующих SCORM-параметров должны отразить в этом случае невысокие учебные достижения.
Если рассматриваемый ИОМ представляет собой вариатив уже существующего модуля, на этапе экспертизы содержательных качеств необходимо дополнительно провести сравнительный анализ вариативов.
Как следует из Спецификации, контент вариативов должен отличаться мультимедиа компонентами, компоновкой сцен, формами взаимодействия пользователя с контентом. Эти квалиметрируемые различия контента двух модулей должны быть оценены экспертом не менее, чем в 70%. Понятно, что эксперт-предметник при сравнении будет отталкиваться, прежде всего, от представляемых объектов/процессов предметной области, характера учебной работы, способов достижения учебной цели. Тем не менее, в процессе сравнительного анализа необходима формализация отличий по указанным в Спецификации параметрам с приведением численной оценки.
Прежде всего следует отметить, что на всех этапах интегральной оценки качеств интерактивного образовательного модуля к используемым критериям оценок могут быть добавлены требования Задания на выполнение работ − неотъемлемой части контракта с компанией-разработчиком. Заказчик вправе повысить планку Спецификации или отменить некоторые из них. Возможно также определение дополнительных требований. Однако Задание на выполнение работ ни в коем случае не может логически противоречить Спецификации.
По завершении всех трех этапов ИОК полностью заполненная электронная форма рассматривается на совещании руководителей экспертных групп. Составляется окончательное заключение, которое вместе с электронной формой оценки направляется компании-разработчику.
Совещание руководителей экспертных групп рассматривает также вопросы повышения эффективности и точности оценки ИОМ. В частности, возможно появление «непрофильных» замечаний у эксперта определенной группы. Например, при экспертизе учебного содержания модуля были замечены опечатки и грамматические ошибки в тексте, что, вообще говоря, входит в компетенцию ИТ-экспертов, оценивающих качество мультимедиа компонентов.
Возможны следующие варианты заключения:
− ИОМ соответствует Спецификации, отвечает всем критериям интегральной оценки качеств и будет размещен в хранилище;
− ИОМ может быть размещен в хранилище после согласования с разработчиком изменений в метаданных (например, некоторые оценки инновационных качеств модуля у разработчика и экспертов не совпали);
− ИОМ не отвечает критериям ИОК и возвращается на доработку (прилагаемый электронный документ определяет перечень доработок).
В последних двух случаях у разработчика имеется определенный срок для согласований, уточнений, аргументированного предложения об изменении заключения. Однако в любом случае следует признать, что заключение с перечнем необходимых доработок – это значительная помощь разработчику и, в конечном итоге, − эффективная защита интересов пользователей.
[1] плагин — программный модуль, расширяющий функциональность браузера.
[2] Под единообразным понимается отображение единого набора контента с одинаковым функционалом и поведенческими моделями. Различия в расположении и функционале контента не должны мешать восприятию информации и работе с ИОМ.
[3] Исходный код – написанный человеком код компьютерной программы, который транслируется в исполняемый код целиком до запуска программы при помощи компилятора или может исполняться сразу при помощи интерпретатора.