Использование языка программирования Visual Basic for Applications VBA для обработки результатов 2 (стр. 3 из 6)

В этой матрице проведено два упорядочения.

Одно касается испытуемых. В первой строке представлены баллы самого успешного испытуемого, во второй менее, и т.д., по нисходящей сумме баллов, если ее посчитать для каждого испытуемого.

Другое упорядочение проведено для заданий. На первом месте стоит самое легкое задание, по которому имеется наибольшее число правильных ответов, на втором - меньшее, и т. д., до последнего, у которого имеется всего один правильный ответ.

В таблице 2 приводятся и основные статистические данные, которые принимаются во внимание на первом этапе эмпирической проверки качества заданий.

Вначале определяется мера трудности заданий. Известную трудность заданий, как первое требование к тестовым заданиям, можно образно сравнить с разновысокими барьерами на беговой дорожке стадиона, где каждый последующий барьер чуть выше предыдущего. Успешно преодолеть все барьеры сможет только тот, кто лучше подготовлен.

Трудность задания может определяться двояко:

1)умозрительно – то есть на основе предполагаемого числа и характера умственных операций, которые необходимы для успешного выполнения задания;

2)эмпирически - путем опробования задания, с подсчетом доли неправильных ответов по каждому из них.

Эмпирически трудность заданий можно определить, сложив элементы матрицы по столбцам, что укажет на число правильных ответов, полученных по каждому заданию (

) . Чем больше правильных ответов на задание, тем оно легче для данной группы испытуемых.

Больше правильных ответов оказалось в первом задании (

= 12), это значит , что оно самое легкое в матрице.

В классической теории тестов многие годы рассматривались только эмпирические показатели трудности. В новых вариантах психологических и педагогических теорий тестов больше внимание стало уделяться ,помимо эмпирических показателей , характеру умственной деятельности учащихся в процессе выполнения тестовых заданий различных форм.

В силу простоты показатель

, удобен, но до тех пор, пока не появляются другие группы испытуемых, с разным числом испытуемых ( ). Поэтому для получения сопоставительных характеристик , делят на число испытуемых в каждой группе.[4]

В результате получается нормированный (числом испытуемых) статистический показатель - доля правильных ответов,

. Значения приводятся в третьей строке нижней части таблицы 2.

Статистика

долгое время использовалась в качестве показателя трудности в так называемой классической теории тестов. Позже была осознана содержащаяся в ней смысловая неточность: ведь увеличение значения указывает не на возрастание трудности, а, наоборот, на возрастание легкости, если можно применить такое слово.

Поэтому в последние годы с показателем трудности заданий стали ассоциировать противоположную статистику - долю неправильных ответов (

). Эта доля вычисляется из отношения числа неправильных ответов ( - вторая строка нижней части таблицы) к числу испытуемых ( ):

Значения

представлены в четвертой строке нижней части таблицы 2. Естественным образом принимается, что

Результаты сложения по строкам представлены в последнем столбце таблицы. Из последнего, одиннадцатого столбца таблицы видно, что больше правильных ответов у первого испытуемого, а меньше - у последнего. Это столбец представляет собой числовой вектор тестовых баллов испытуемых. Суммирование баллов всех испытуемых, представленных в таблице, дает число 65. Полезно посчитать средний арифметический тестовый балл в данной группе испытуемых

(4)

Это равенство отражает сумму всех элементов матрицы тестовых заданий, но только для случаев, когда для получения

используются одинаковые весовые коэффициенты ( ) значимости заданий в тесте, все равные, например, единице.

3.4 Современный подход к понятию «трудность».

В современных технологиях адаптивного обучения и контроля используется другая мера трудности задания, равная

. Эту меру трудности, получаемую в шкале натуральных логарифмов, называют логит трудности задания. Симметрично введена и логарифмическая оценка уровня знаний, так называемый логит уровня знаний, равный , где - доля правильных ответов испытуемого, рассчитываемая по формуле , в которой означает число правильных ответов испытуемого , а символ означает общее число заданий. [5]

Логарифмические оценки таких, казалось бы, реально несопоставимых феноменов как уровень знаний каждого испытуемого, с уровнем трудности каждого задания, привели к незамысловатой, внешне, попытке сравнить их посредством вычитания. Однако эффективность такого сравнения оказала огромное влияние на развитие зарубежной педагогической теории и практики.

Впервые появилась возможность непосредственного сопоставления любого множества заданий с любым числом испытуемых. ЭВМ сопоставляет логит задания и логит знаний и на этой основе подбирает очередное задание в системах адаптивного обучения и контроля знаний.

Требование известной трудности оказывается важнейшим системообразующим признаком тестового задания. Если тест- это система заданий возрастающей трудности, то в нем нет места заданиям без известной меры трудности.

3.5 Вариация, дисперсия баллов и дифференцирующая способность.

Если на какое-то задание правильно отвечают все тестируемые, то такое задание становится не тестовым. Испытуемые отвечали на него одинаково; между ними нет вариации. Соответственно, по данному заданию в матрице будут стоять одни единички.

Не тестовым надо считать и то задание, на которое нет ни одного правильного ответа; в матрице по нему ставят, соответственно, одни нули. Вариация по нему также равна нулю. Нулевая вариация означает практическую необходимость удаления задания из проектируемого теста. Оно, для данной группы, не тестовое. Возможно, в другой группе это задание заработает, но это будет задание уже другого, а не данного теста, если под тестом понимать метод и результат измерения знаний.