Исходя из сказанного, минимально допустимое число ответов на один закрытый ответ равно «пяти». Вероятность случайного угадывания правильного ответа здесь равна 0,20 (20%), а точность измерения – 0,80. Хотя она ниже, чем общепринятая в математической статистике (0,95), но вполне приемлема для большинства тестов на измерение знаний с недифференцированной оценкой типа «усвоено – не усвоено». Однако, при необходимости введения различных уровней усвоения такое построение теста непригодно.
Для иллюстрации этого утверждения попытаемся построить соответствующую шкалу оценок. При требовании знать 51 % материала для оценки удовлетворительно, обучающийся должен набрать по тесту 63,75 % правильных ответов (это гарантирует нас от случайного угадывания 20% ответов). 60 % усвоения требует 75 % правильных ответов.
75 % усвоения – 94 % верных ответов, а 80 % - 100 % точных ответов. Очевидно, что такой тест не обладает достаточной различительной способностью для высокого уровня усвоения («отлично» получат те, кто усвоил менее 80 % курса, или вообще – никто, поскольку шкала не позволяет различать высокие оценки). К этому следует добавить, что уровень усвоения курса в 51 % можно признать удовлетворительным только в тех случаях, когда учебный курс призван сформировать лишь общие представления в какой-то области знания. В сфере освоения профессиональных знаний и умений, а также при освоении новой деятельности эта «планка» должна быть поднята значительно выше (невозможно принять удовлетворительным освоение наполовину количества основных грамматических форм или минимального словаря изучаемого языка; или – половину действий, составляющих какую-то целостную осваиваемую деятельность).
Из изложенного следует, что точность теста должна быть выше, чем 0,80. Иначе говоря, нужен выбор не из пяти, а из 20 и более ответов (точность 0,95 и выше). Такой тест трудно составить, с ним неудобно работать тем, кто проходит тестирование (невозможно удержать в памяти и легко обозревать возможные ответы, выбор ответа требует очень много времени и усилий, что приводит к ошибкам).
Выход состоит в том, чтобы каждая тестируемая единица была представлена несколькими однородными вопросами (батареей) с выбором из пяти ответов на каждый вопрос. Так, при двух вопросах на тестируемую единицу, - два правильных ответа обеспечивают точность оценки 0,96. При трех вопросах на тестируемую единицу: два правильных ответа гарантируют точность 0,88, а три – 0,992. При четырех вопросах: два верных ответа дают точность 0,76; три – 0,968. При пяти вопросах - три правильных ответа дают точность 0,95 (наилучший вариант для тестируемых, поскольку снижается возможность случайной ошибки или неверного ответа из-за неудачной формулировки ответа составителем теста).
При таком конструировании теста сначала необходимо оценивать усвоение каждой тестируемой единицы (по принципу «усвоено или нет»), а затем – оценивать усвоение по всему тесту (процент правильных ответов из их общего числа вопросов или процент усвоенных единиц из числа всех единиц теста). Это дает хорошо дифференцированную шкалу оценок.
Простой тест состоит из примерно одинаковых по трудности вопросов-заданий и обычно предназначен для оценки усвоения типа «зачтено – не зачтено». Его преимущество в относительной легкости составления, простоты применения и компьютеризации. Такой вид теста в настоящее время является преобладающим. Он используется для оценки усвоения знаний и отдельных действий на уровне «понимание и воспроизведение» в процессе текущего контроля и строится по принципу «одна единица содержания учебного курса – один тестовый вопрос – пять вариантов ответа». Его недостаток – малая пригодность для получения дифференцированных оценок при промежуточном и итоговом контроле (усвоения теоретических знаний на уровне осмысления и применения, а также практического освоения отдельных видов профессиональной деятельности).
Сложный тест предназначен для более глубокого контроля и получения интегрированных и хорошо различаемых оценок. Главная особенность и достоинство такого теста – контролируемое изменение трудности тестовых заданий, позволяющее четко дифференцировать обучающихся по успешности обучения. Это качество обеспечивается двумя способами построения (и применения) теста. В первом случае подбирается три группы заданий, различающихся по уровню сложности и соответствующих оценкам «удовлетворительно», «хорошо» и «отлично». Обучающимся дается возможность выбрать подходящий уровень трудности. Во втором случае всем обучающимся предъявляется один тест, все задания которого различаются по сложности. Предполагается, что более подготовленные студенты справятся с большим числом заданий, и произойдет естественное ранжирование их успешности (практически все тестируемые получат разные оценки в отличие от предыдущего способа, при котором тестируемые распределяются только на три группы).
Термин сплошное тестирование означает способ контроля, при котором тестируются все единицы содержания учебного курса (или его части), независимо от общего их числа. Он должен быть обязательным для промежуточного и итогового контроля (проводимого службой Регистратора или деканатом), а также частично – для текущего и рубежного, в тех случаях, когда обязательно усвоение каждой без исключения единицы содержания («промежуточный контроль» означает экзамен или завершающую работу после окончания изучения учебного курса; «итоговый контроль» – итоговый по дисциплине или междисциплинарный выпускной экзамен, или выпускную работу по специальности).
Термин выборочное тестирование означает способ контроля, при котором тестируется относительно небольшая часть единиц содержания курса (обычно 10 %), отобранная из их общего числа (списка) случайным образом (лучше всего – компьютером). Предполагается, что полученная приблизительная оценка усвоения курса имеет допустимую точность для самоконтроля обучающимися, текущего и (реже) рубежного контроля со стороны преподавателя.
2.2. Тестирование теоретического учебного курса
При создании и применении тестов необходимо учитывать различия в структуре, особенностях проявления (фиксирования) и усвоения теоретических и практических знаний, познавательной деятельности по их применению, а также практической деятельности по освоению и применению профессиональных умений и навыков.
Структура знаний и деятельности различна (см. п. 3.1.). Назначение теоретического курса – сформировать модель какой-то части мира (специфическое знание) и научить применять ее (сформировать соответствующие умения и навыки в решении познавательных задач практики). То есть его содержание неоднородно. Это влечет за собой качественное различие соответствующих единиц содержания в учебной программе, различие способов обучения и способов фиксирования его результатов.
Иначе говоря, для тестирования теоретического курса необходимо два различных теста: один – для оценки знаний (на уровне «понимание-воспроизведение» и с оценкой «усвоено на приемлемом уровне – не усвоено»); другой – для оценки умения их применять (на уровне «системного осмысления знания и применения по образцу – свободного применения – творческого применения» и с дифференцированной оценкой 3-4-5 баллов). Формально объединив их, получим один комбинированный тест.
2.3. Тестирование практического учебного курса
Назначение практического курса – сформировать модель новой деятельности (практическое знание) и научить выполнять ее (сформировать практические действия - умения и навыки ее выполнения в рамках профессиональных обязанностей).
Структура такого практического знания: осознание целей деятельности как конкретных форм представления результатов; представление о каждом действии – его назначении и способах выполнения; представление об алгоритме деятельности как целостной и фиксированной последовательности действий. Элементы этой структуры (единицы знания) должны быть единицами содержания учебной программы, единицами обучения и единицами тестирования. Нужен тест контроля практического знания.
Программа должна также зафиксировать в качестве единиц обучения (и тестирования) практическое освоение всех действий и деятельности в целом (умение выполнять каждое действие в отдельности, выполнять деятельность как целостный процесс, фиксировать ее конечные результаты в заданной форме). При этом обязательно должен быть освоен (и протестирован) каждый элемент. Следовательно, нужен второй тест – для контроля освоения целостной деятельности под контролем сознания (уровень умения). Два указанных теста, при успешном их выполнении (оба с оценкой «усвоено»), выявят приемлемый уровень усвоения деятельности (оценка «удовлетворительно»).
Только после этого можно применить еще один тест для получения более высокой, дифференцированной оценки «хорошо» или «отлично».
Таким образом, тестирование практического курса предполагает наличие и применение трех различных по содержаниютестов. В зависимости от реальных различий в качественной структуре содержания конкретного учебного курса, их может быть и больше трех. В любом случае, формально объединив частные тесты под общим названием курса, получим один комбинированный тест.
Структура теста:
1. Инструкция по назначению и правилам применения.
2. Критерии оценки (предмет оценки по каждой теме или курсу в
целом).
3. Вопросы-задания (закрытые, полуоткрытые, открытые).