4. БАНК КОНТРОЛЬНЫХ ЗАДАНИЙ И ВОПРОСОВ
(заданий в тестовой форме, тестов по отдельным темам и в целом по дисциплине).
4.1. Основные положения
Банк контрольных заданий и вопросов (тестов) (в дальнейшем БЗТ – банк заданий в тестовой форме) по дисциплине являются обязательной частью УМК дисциплины (приложение 5) и предназначены для проведения контроля качества образовательной деятельности. При разработке БЗТ необходимо стремиться, чтобы он содержал оптимальный набор педагогических измерительных материалов, достаточных для осуществления всех этапов контроля уровня усвоения дисциплины: входного, текущего, промежуточного (сессия) и остаточных знаний. Для осуществления текущего контроля единый БЗТ должен состоять из достаточно обособленных составных частей, которые могут самостоятельно использоваться для контроля знаний по отдельным разделам (темам) изучаемой дисциплины.
БЗТ должен быть структурирован по разделам, темам и понятиям, т. е. должна использоваться трехуровневая структура.
БЗТ учебной дисциплины и сопроводительную документацию к нему разрабатывает кафедра, ответственная за дисциплину. После завершения разработки БЗТ проходит апробацию в условиях реального учебного процесса. Затем, после доработки с учетом результатов апробации, кафедра дает заключение о возможности использования БЗТ в учебном процессе и, после рассмотрения на ЦМК и МС Университета рекомендуется к использованию в учебном процессе и регистрации в единой базе данных Университета. В дальнейшем с учетом результатов практического использования банк ежегодно должен подвергаться ревизии и при необходимости дорабатываться. После апробации задания в тестовой форме могут приобретать форму тестов.
Каждый БЗТ сопровождается комплектом документации с информацией о цели применения теста, предметной области, коллективе составителей, спецификации тестов, проведении апробации БЗТ (см. п. 4.4).
Для обеспечения возможности использования компьютерных технологий тестирования банк должен быть также представлен в электронном виде.
Замечание 1. БЗТ по дисциплинам федерального компонента ГОС объемом не менее 800 заданий после выполнения соответствующих процедур апробации и экспертизы могут быть в установленном порядке сертифицированы. Задания в тестовой форме приобретают форму тестов. Это важно, поскольку для оценки остаточных знаний студентов при различных внешних проверках Университета БЗТ должны быть объемом не менее 800 заданий (по 100 в каждом тесте).
Замечание 2. Некоторые основные понятия и их определения, учитывающие специфику программно-дидактических тестовых материалов и технологий компьютерного адаптивного тестирования, приведены ниже.
Валидность - определяет степень соответствия содержания БЗТ содержанию исходного учебного материала.
Дидактическая единица оценки – фрагмент содержания учебной дисциплины, предназначенный для включения в отдельное программно-дидактическое тестовое задание, имеющее заданный смысл и конкретную меру трудности.
Инструментальная среда тестирования - комплекс программных, информационных и технических средств, обеспечивающих создание и сопровождение банков БЗТ, проведение тестовых испытаний и обработку их результатов в реальном режиме времени.
Программно-дидактический тест – это целостная система стандартизированных по форме тестовых заданий определенного смысла и заданного уровня трудности, ориентированная на конкретный результат, позволяющий с требуемой валидностью и объективностью оценить степень обученности тестируемого в течение ограниченного интервала времени.
Результат тестирования – фактически установленный уровень учебных достижений (знаний, интеллектуальных умений и практических навыков) тестируемого.
4.2. Виды тестовых заданий
Задание в тестовой форме (ЗТ) может быть представлено в одной из следующих стандартизированных форм:
- закрытое ЗТ, предполагающее выбор ответов (испытуемый выбирает правильный ответ (ответы) из числа готовых, предлагаемых в задании теста);
- открытое ЗТ (испытуемый сам формулирует краткий или развернутый ответ);
- ЗТ на установление правильной последовательности;
- ЗТ на установление соответствия между элементами двух множеств.
Закрытое здание в тестовой форме
Закрытое ЗТ состоит из неполного тестового утверждения с одним ключевым элементом и множеством допустимых вариантов ответов, один или несколько из которых являются правильными. Тестируемый студент определяет правильные ответы из данного множества. Рекомендуется пять или шесть вариантов ответов, из которых два или три являются правильными.
Требования к заданиям закрытого типа:
- не должно быть заведомо ложных, а также явно выделяющихся, обособленных ответов. Правильные и неправильные ответы должны быть сходны по содержанию, структуре и общему количеству слов, рекомендуется применять правдоподобные ошибочные варианты, взятые из опыта;
- в закрытой форме ЗТ недопустимо применение всех правильных или всех неправильных вариантов ответов;
- количество вариантов ответов в ЗТ закрытого типа должно быть не менее трех, но не больше 10;
- лучше «длинный» вопрос и «короткие» ответы, чем наоборот.
Примеры закрытых ЗТ приведены в приложении 6.
Открытое здание в тестовой форме
Открытое ЗТ имеет вид неполного утверждения, в котором отсутствует один или несколько ключевых элементов и требует самостоятельной формулировки ответа тестируемого. В качестве отсутствующих ключевых элементов могут быть: число, буква, слово или словосочетание. При формулировке задания на месте ключевого элемента необходимо поставить прочерк или многоточие. Отсутствующий элемент (правильный ответ) в задании открытой формы вводит тестируемый, при этом вводимое заключение отображается на экране монитора на месте прочерка и/или в специальном поле, хорошо видимом испытуемым.
Примеры открытых ЗТ приведены в приложении 7.
Здание в тестовой форме на установление правильной последовательности
ЗТ на установление правильной последовательности состоит из однородных элементов некоторой группы и четкой формулировки критерия упорядочения этих элементов.
Задание в тестовой форме на установление соответствия
ЗТ на установление соответствия состоит из двух групп элементов и четкой формулировки критерия выбора соответствия между ними. Внутри каждой группы элементы должны быть однородными. Количество элементов во второй группе должно превышать количество элементов первой группы, но не более чем в 2 раза. Максимально допустимое количество элементов во второй группе не должно превышать 10. Количество же элементов в первой группе должно быть не менее двух.
Примечание. Дополнительную информацию можно найти на сайте http://testolog.narod.ru/.
4.3. Основные этапы разработки банка тестовых заданий
Для разработки БЗТ по дисциплине заведующий кафедрой назначает разработчика (или коллектив разработчиков).
Можно выделить следующие основные этапы разработки, регистрации и внедрения в учебный процесс БЗТ дисциплины:
- разработка спецификации БЗТ и ее утверждение на заседании кафедры;
- разработка ЗТ в соответствии со спецификацией БЗТ;
- проведение пробного тестирования с целью установления показателей валидности;
- подготовка заключения кафедры о возможности использования БЗТ в учебном процессе и рассмотрение на заседании ЦМК;
- рекомендация МС Университета к использованию БЗТ дисциплины в учебном процессе и регистрации в единой базе данных Университета.
Разработка спецификации банка зданий в тестовой форме
Спецификация БЗТ – это документ, который служит основой для разработки тестов с заданными показателями качества. Цель спецификации – отобразить, систематизировать и организовать учебный материал из конкретных разделов и тем учебной дисциплины, установить количество видов ЗТ и категории их трудности, добиться требуемой степени валидности.
Спецификация БЗТ должна содержать:
- наименование специальности, название учебной дисциплины и распределение объема часов по видам занятий;
- список разработчиков;
- сроки разработки БЗТ;
- список исходных материалов, используемых для создания БЗТ (ГОС, рабочая программа дисциплины, список литературы т. д.);
- структуру БЗТ с указанием номеров разделов и тем учебной дисциплины (в соответствии рабочей программой) и количества ЗТ в них с разбивкой по видам и мере трудности;
- назначение БЗТ (текущее, итоговое тестирование, тестирование остаточных знаний и т. п.).
Разработку спецификации БЗТ осуществляет разработчик (коллектив разработчиков) БЗТ.
Разработка заданий в тестовых формах
ЗТ должно отвечать требованиям ГОС и представлено в форме краткого суждения, сформулированного четким языком и исключающего неоднозначность заключения тестируемого на требования тестового утверждения. В задании не должно отображаться субъективное мнение или понимание отдельного автора.
Каждое ЗТ должно включать: формулировку задания; варианты ответов (для закрытых форм ЗТ); указание на правильные варианты ответов; априорную (авторскую) оценку меры трудности. Формулировка ЗТ и варианты ответов могут иметь поясняющие рисунки, графики, формулы.
Длина ЗТ должна быть не более 250 символов и при этом не превышать 4 строк экранного текста. Главным является ясное и явное отражение содержания фрагмента предметной области. Содержание ЗТ должно быть ориентировано на получение от тестируемого однозначного заключения. Формулировка задания должна быть выражена в повествовательной форме.