Виды тестов и формы тестовых заданий (стр. 4 из 6)
Таблица 1
Сопоставительный анализ характеристик тестовых заданий
| Характеристики | Задания закрытой формы | Задания на дополнение | Задания на установление соответствия | Задания на установление последовательности |
| Проверка знания фактов | Годны | Годны | Годны | Годны |
| Применение знаний по образцу | Годны | Годны | Годны | Годны |
| Применение знаний в нестандартных ситуациях | Негодны | Годны | Негодны | Годны |
| Простота конструирования | Есть | Есть | Нет | Нет |
| Исключение угадывания | Не исключено | Исключено | Не исключено | Не исключено |
| Объективность оценки | Да | Нет | Да | Да |
| Исключение описок | Нет | Да | Нет | Нет |
| Возможность оригинального ответа | Нет | Да | Да/Нет | Нет |
Соответствие заданий в тестовой форме требованиям педагогической корректности содержания и формы являются необходимыми, но недостаточными условиями для того, чтобы называть их тестовыми.
Превращение заданий в тестовой форме в тестовые задания начинается с момента статистической проверки каждого задания на наличие у них тестобразующих свойств.
3. Эмпирическая проверка и статистическая обработка результатов
Наличие достаточного числа тестовых заданий позволяет перейти к разработке теста как системы, обладающей целостностью, составом и структурой. На третьем этапе отбираются задания и создают тесты, повышаются качество и эффективность теста.
Целостность теста образует взаимосвязь ответов испытуемых на задания теста, наличие общего измеряемого фактора, влияющего на качество знаний.
Состав теста образует правильный подбор заданий, позволяющий минимально необходимым числом отобразить существенные элементы языковой компетентности испытуемых.
Уровень и структура знаний выявляются при анализе ответов каждого испытуемого на все задания теста. Чем больше правильных ответов, тем выше индивидуальный тестовый балл испытуемых. Обычно этот тестовый балл ассоциируется с понятием "уровень знаний" и проходит процедуру уточнения на основе той или иной модели педагогического измерения. Один и тот же уровень знаний может быть получен за счет ответов на различные задания. Например, в тесте из тридцати заданий испытуемый получил десять баллов. Эти баллы скорее всего, получены за счет правильных ответов на первые десять, сравнительно легких заданий. Присущую для такого случая последовательность единиц, а затем нулей можно назвать правильной структурой подготовленности испытуемого. Если же обнаруживается противоположная картина, когда испытуемый правильно отвечает на трудные задания и неправильно - на легкие, то это противоречит логике теста и потому такой профиль знаний можно назвать инвертированным. Он встречается редко, и чаще всего, по причине ошибочности теста, в котором задания расположены с нарушениями требования возрастающей трудности. При условии, что тест сделан правильно, каждый профиль свидетельствует о структуре знаний. Эту структуру можно назвать элементарной (поскольку есть еще факторные структуры, которые выявляются с помощью методов факторного анализа).
Для определения уровня структурированности подготовленности можно использовать коэффициент Л.Гутмана, ранее неточно называвшийся мерой «надежности теста».
rg= 1 - 
где rgкоэффициент структурированности;.
- 
- сумма ошибочных элементов индивидуальных структур, подсчитываемых в векторах-строках баллов испытуемых;
- N– число испытуемых;
- k– число заданий.
Уровень знаний в значительной степени зависит от личных усилий и способностей, в то время как структура знаний заметно зависит от правильной организации учебного процесса, от индивидуализации обучения, от мастерства педагога, от объективности контроля - в общем, от всего того, чего обычно не хватает. Путь к достижению этого идеала лежит через трудности создания качественных тестов.
Разработка тестов начинается с анализа содержания преподаваемых знаний и овладения принципами формулирования тестовых заданий. К сожалению, на тесты все еще смотрят как на средство, которое легко придумать, в то время как сильная сторона тестов - их эффективность, проистекающая из теоретической и эмпирической обоснованности.
На третьем этапе от разработчиков нового поколения тестов потребуется некоторая математико-статистическая подготовка, знания теории тестов. Теорию тестов можно определить как совокупность непротиворечивых понятий, форм, методов, аксиом, формул и утверждений, способствующих повышению эффективности и качества тестового процесса. Кроме того, может потребоваться и некоторый опыт применения методов многомерного статистического анализа, и опыт правильной интерпретации тестовых результатов.
Часто возникает вопрос: «Как поведут себя удаляемые задания в других группах испытуемых?» Ответ зависит от качества подбора групп, а точнее от статистического плана формирования выборочных совокупностей. Верный ответ на этот вопрос следует искать в смысле понятия «targetgroup»; это множество испытуемых в генеральной совокупности, для которых предназначен разрабатываемый тест.
Соответственно, если задания проектируемого теста ведут себя неодинаково в разных группах, то это является, скорее всего, указанием на ошибки в формировании выборок испытуемых. Последние должны быть такими же однородными, как и испытуемые в целевой группе. На языке статистики это означает, что испытуемые в целевой и в экспериментальных группах должны принадлежать одной генеральной совокупности.
Логарифмические оценки, называемые логитами, таких, казалось бы, реально несопоставимых феноменов как уровень знаний испытуемого с уровнем трудности каждого задания, были использованы для непосредственного сопоставления уровня трудности с уровнем подготовленности испытуемого.
По мнению Беспалько В.П. и Татур Ю.Г., тестирование должно быть измерением качества усвоения знаний, умений и навыков. Сравнение правил выполнения задания (задачи), предложенного в тексте, с эталоном ответа позволяет определить коэффициент усвоения знаний (Кus). Следует заметить, что
, где А – число правильных ответов, а Р – число заданий в предлагаемых тестах.Определение Кus является операцией измерения качества усвоения знаний. Кus поддается нормировке (0 < Кus < 1), процедура же контроля усвоения легко автоматизируется. По коэффициенту судят о завершенности процесса обучения: если Кus > 0,7, то процесс обучения можно считать завершенным. При усвоении знаний с Кus ≤ 0,7 студент в профессиональной деятельности систематически совершает ошибки и неспособен к их исправлению из-за неумения их находить. Нижнюю допустимую границу окончания процесса обучения повышают до величины, необходимой с точки зрения безопасности деятельности.
4. Принципы отбора содержания. Критерии оценки содержания теста
При создании теста внимание разработчика, прежде всего, привлекают вопросы отбора содержания, которое можно определить как оптимальное отображение содержания учебной дисциплины в системе тестовых заданий. Требование оптимальности предполагает использование определенной методики отбора, включающей вопросы целеполагания, планирования и оценки качества содержания теста.
Этап целеполагания является наиболее трудным и вместе с тем наиболее важным: от результатов его выполнения в первую очередь зависит качество содержания теста. В процессе целеполагания преподавателю необходимо решить вопрос о том, какие результаты учеников он хочет оценить с помощью теста.
Основания для ошибок в выводах педагога далеко не всегда связаны с технологическими недостатками традиционных средств контроля. Иногда они обусловлены недоработками педагога на этапе целеполагания, когда центр тяжести проверки смещается на второстепенные цели обучения, а иногда этап целеполагания отсутствует вовсе, поскольку часть педагогов уверена в непогрешимости своего опыта и интуиции, особенно при условии многолетней работы в школе. Однако никакиедаже очень совершенные методы контроля и никакой опыт не дадут оснований для надежных выводов о достижении целей обучения до тех пор, пока нет уверенности в правильной постановке целей контроля и в их правильном, несмещенном отображении в содержании теста.
При создании теста ставится задача отобразить в его содержании то главное, что должны знать ученики в результате обучения, поэтому ограничиться простым перечислением целей обучения нельзя. В тест хотелось бы включить все, но, к сожалению, это невозможно, поэтому часть целей приходится просто отбросить и не проверять степень их достижения учащимися. Для того чтобы не утратить самое главное, необходимо структурировать цели и ввести определенную иерархию в их взаимное расположение. Без сомнения, здесь нет и не может быть готовых общих рецептов, поскольку в каждой дисциплине свои приоритеты. К тому же отдельные цели заметно связаны между собой, и потому простого представления о системе целей как об упорядоченной совокупности без рассмотрения связей между элементами явно недостаточно.
После определения целей тестирования и их конкретизации необходимо разработать план и спецификацию теста.
При разработке плана делается примерная раскладка процентного соотношения содержания разделов и определяется необходимое число заданий, по каждому разделу дисциплины исходя из важности раздела и числа часов, отведенных на его изучение в программе.