Методика составления тестовых заданий по курсу Механика (стр. 3 из 6)
Тест может быть валидным, если помимо прочих требований средние результаты соответствуют большей части студентов, а сами данные распределяются по нормальному закону. Если это условие не выполняется, то тест считается невалидным с точки зрения соответствия стандартам распределения. Именно отсюда возникает стремление разработчиков тестов добиваться нормальности распределения за счет варьирования числа легких и трудных заданий.
Если в тесте нет достаточного числа легких и трудных заданий, то возникает вопрос о его сбалансированности по трудности, то есть обычно в тесте должно быть больше заданий средней трудности и несколько меньше откровенно легких или трудных заданий. В процессе создания теста мера трудности регулярно проверяется на случайной выборке из того контингента, для которого тест предназначается. В сбалансированном тесте легко добиваются нормальности распределения. Дальнейшее совершенствование идет по пути замены ряда заданий, ответы на которые нарушают нормальность распределения. Трудность заданий влияет на надежность и валидность. Если тест очень трудный, то студенты чаще вынуждены догадываться – какой ответ правильный. Но чем чаще они прибегают к догадке, тем больше распределение результатов теста приближается к случайному распределению. Поэтому пригодность теста для оценки всей массы студентов будет тем ниже, чем труднее тест. Такое же влияние на надежность, – но по другой причине – оказывает легкий тест, в котором студенты, наоборот, догадываются редко, их ответы устойчивы, но почти нет различий между испытуемыми.
Валидность теста существенно зависит от его различающей способности. Если десять человек в группе получают «отлично», такая оценка не позволяет различать, кто из этих десяти лучше, а кто несколько хуже знает предмет. Различающая способность тем выше, чем меньше одинаковых оценок студенты по нему получают. Следовательно, тем больше вариация результатов и более чувствительна шкала к индивидуальным различиям. Поэтому повышению различающей способности теста (РСТ) в стадии его создания уделяется большое внимание. При этом применяются несколько методов:
1.Регулирование по времени тестирования; чем больше стандартное отклонение, тем больше различающая способность теста.
2. Оптимальный подбор заданий. В принципе РСТ, а вместе с ней и надежность теста, возрастают с увеличением доли заданий средней трудности в тесте. Однако в тесте обязательно должна быть некоторая часть легких и трудных вопросов, точное количество которых зависит от конкретных обстоятельств.
3. Точность измерений. Если, например, время реакции измерять у испытуемых с точностью до одной десятой, сотой, тысячной и так далее секунды, то получим различную различающую способность теста.
Валидность теста связана, помимо прочего, с понятиями «гомогенный и гетерогенный тест». Если тест создан с целью проверки знаний по одной учебной дисциплине и все вопросы теста связаны именно с ней, то такой тест считается гомогенным, а значит и валидным для этой частной цели. Поэтому в более чистом виде гомогенный тест представляет собой тест для изучения знаний какому-то частному разделу программы.
Для комплексной оценки знаний студентов может быть составлен тест, состоящий из вопросов по нескольким дисциплинам. Это – пример гетерогенного теста, который состоит из группы гомогенных тестов. Соответственно такой тест является валидным именно для комплексной оценки.
Валидность теста зависит и от так называемой длины теста. Под длиной теста понимается количество заданий, входящих в тест. Существуют тесты очень короткие, состоящие из 7 – 15 заданий, и очень длинные, состоящие из более чем пятисот заданий.
Если тест очень длинный, то ухудшается мотивация и внимание у испытуемых, а это снижает надежность и валидность. Практика показывает, что если тестирование занимает более полутора часов, то при этом возникают организационные проблемы, испытуемые с неохотой соглашаются отвечать на вопросы теста. С другой стороны, с точки зрения теории, чем длиннее тест, тем он надежнее. Возникающее противоречие между теорией и практикой решается компромиссом в ту или иную сторону, в зависимости от конкретного случая.
Валидность теста зависит еще и от расположения заданий в тесте. Существует различная практика расположения заданий:
1. По степени возрастания трудности. Такое расположение характерно в основном для гомогенных тестов. Для гетерогенных тестов сохранение этого принципа выражается в так называемой «спиральной» форме расположения заданий.
2. В случайном порядке. Этот способ расположения заданий широко применяется в психологических тестах и в процессе компьютерного тестирования.
3. В специальном порядке, в соответствии с какой-либо теорией, соображениями переноса навыков, концентрации внимания и других.
4. В порядке, сочетающем специальный и случайный подбор. Обычно это делается в гетерогенных тестах.
Существуют несколько подходов к валидизации тестов, различающихся в зависимости от используемых критериев. В педагогической практике наибольшее распространение в последние годы получили такие тесты, валидность которых не требуется доказывать эмпирически: в таких тестах критерием их пригодности является само содержание теста, одобренное опытными преподавателями-экспертами. При этом у преподавателя должна быть уверенность в том, что:
· задания теста находятся в соответствии с программой;
· задания теста охватывают не один какой-либо раздел, а всю программу курса;
· высока вероятность того, что студент, успешно ответивший на задания теста, знает предмет в соответствии с полученной оценкой.
Перечисленные три пункта объединяются общей идеей – содержит ли тест задания, пригодные для оценки знаний по конкретной дисциплине? Если в результате статистической проверки выявляется, что ответы на вопросы теста вполне позволяют обоснованно судить о знаниях студентов, то считается, что тест содержит валидные вопросы; он валиден по содержанию. Требование валидности по содержанию предъявляется к каждому вопросу теста, мерой валидности является коэффициент корреляции ответов по заданию с критерием. При создании теста в качестве критерия обычно берутся оценки, выставляемые студентам группой преподавателей-экспертов без тестов. Результаты студентов по вопросам теста и по оценкам экспертов коррелируются. Высокая согласованность оценок по тесту и у экспертов указывает и на высокую валидность.
Надо подчеркнуть, что нет показателей раз и навсегда установленных надежности и валидности теста. В каждом отдельном исследовании рекомендуется проверять качество теста и лишь на этой основе делать выводы о достоверности данных.
