Практикум по общей экспериментальной и прикладной психологии Крылова А А Маничева С А (стр. 69 из 138)
Порядок работы. Студентам предлагаются 44 задания теста «Домино» Равена. Время решения задач не ограничивается, чтобы избежать пропусков.
Обработка результатов
1. Расчет индекса трудности.
Результаты решения заданий теста объединяются в таблицу (табл. 10.2.1), где Т - количество испытуемых, правильно решивших задачу, I - индекс трудности задачи.
Таблица 10.2.1
Таблица результатов
| Номер задания | T | I |
В таблице следует найти самую «трудную» и «самую» легкую задачи, проверить статистическую значимость различия индексов трудности этих задач, сделать соответствующий вывод. Сравнить самую «трудную» и самую «легкую» задачи с задачами «среднего» уровня трудности.
2. Расчет коэффициента дискриминативности. Необходимо составить таблицу первичных результатов следующим образом (табл. 10.2.2), где Х - первичные результата (от 1 до 44); N1 - количество испытуемых, которые получили данный первичный результат; N2 - количество испытуемых, получивших данный первичный результат из числа решивших самую «легкую» задачу; N3 - самую «трудную» задачу.
Таблица 10.2.2
Таблица первичных результатов
| Х | N1 | N2 | N3 |
Вычислить коэффициенты дискриминативности для самой «трудной», «легкой» задач.
Занятие 10.3 ПРОВЕРКА НАДЕЖНОСТИ ТЕСТА
Цель работы. Проверка надежности теста методом «тест-ретест» и методом расщепления «четное-нечетное», оценка плотности теста (консистенции).
Определение основных понятий. Надежность - характеристика теста, отражающая точность измерения и стабильность результатов. Количественно оценивается коэффициентом надежности
f =
= 1 - 
,где St - «истинная» дисперсия теста; Sх - эмпирическая дисперсия теста; Sе - дисперсия ошибки.
Прямая оценка коэффициента надежности невозможна (принципиально невозможно непосредственно определить St и Sе), поэтому применяют косвенные корреляционные методы, например метод «тест-ретест», метод расщепления.
Метод «тест-ретест» заключается в следующем: через некоторое время после первого проводится повторное тестирование с достаточным временным интервалом. Оценкой надежности служит коэффициент корреляции (Пирсона, ранговый или какой-либо иной, в зависимости от типа шкальных значений результатов тестирования).
Метод расщепления на части, в данной работе - на две части по принципу «четные-нечетные задания». В этом методе сопоставляются четные и нечетные номера заданий. Сила связи между этими двумя частями теста характеризует его надежность.
Возможно расщепление теста на любое количество частей. В предельном случае количество частей равно количеству заданий теста. Надежность в этом случае оценивается коэффициентом плотности (консистенции).
Математический аппарат
f =
; (1)f =
= d; (2)f =
; (3)f1 =
; (4)где f - коэффициент надежности; r - коэффициент корреляции между двумя частями теста (Пирсона или ранговый); S1, S2 - среднеквадратичные отклонения 1-й и 2-й половин теста, соответственно; S1 =
, S2 = 
- дисперсии 1-й и 2-й половин теста, соответственно; п - количество заданий теста; d - символ для сокращения записи; f1 - коэффициент консистенции; S - дисперсия всех задач теста; р - индекс трудности задачи в десятичной дроби (1/100); q = 1- р.Значение коэффициента надежности теста редко превышает на практике 8.
Тест считается надежным при f > 6.
- Формула Спирмена-Брауна (1). Применяется, если дисперсии обеих частей теста равны. Это предположение проверяется с помощью критерия Фишера: F = S1/S2 если эмпирическая статистика F превышает табличное значение Ft,то гипотезу о равенстве дисперсий следует отклонить. В данном случае при 21 степени свободы, для уровня значимости 0,05 Ft = 2,1.
- Формула Флангана (2). Применяется в случае неравенства дисперсий.
- Формула Кристофа (3). Применяется в случае малого количества заданий теста (п<50).
- Формула Кьюдера - Ричардсона (4). Частный случай формулы Кронбаха для дихотомических интерпретаций ответов «правильно-неправильно».
Порядок работы. Студентам предлагается тест «Домино», с которым они работали на прошлом занятии.
Обработка данных
1.Составляется таблица (табл. 10.3.1), где Х1i - количество правильно решенных задач i-м испытуемым - показатель успешности работы i-го испытуемого в 1-м тестировании; Х2i-показатель успешности работы i-го испытуемого во 2-м; N - объем выборки испытуемых.
Таблица 10.3.1
Определение надежности методом «тест-ретест»
| i | X1 | X2 |
| 1 | ||
| … | ||
| N |
Вычисляется коэффициент корреляции r (Х1, X2).
2. Задания теста (после повторного тестирования) разбиваются на четные и нечетные. Составляется таблица (табл. 10.3.2), где У1i, У2i - количество испытуемых, правильно решивших соответствующую задачу; п - количество задач.
Таблица 10.3.2
Определение надежности методом расщепления
| i | Y1 | Y2 |
| 1 | ||
| … | ||
| п/2 |
Для каждого столбца вычисляются средние, дисперсии и корреляция между столбцами.
- Проверяется условие применения формулы (1). Вычисляется f.
- Вычисляется f по формуле (2).
- Вычисляется f по формуле (3).
3. Составляется таблица (табл. 10.3.3), где р=Хi/N; q=l-p; N –количество испытуемых.
Таблица 10.3.3
Таблица результатов
| i | Х | р | q |
| 1 | |||
| … | |||
| N |
- Вычисляется f1.
Анализ результатов. Сравнивая значения f, полученные различными способами, студенты проверяют, насколько способ вычисления влияет на результат, насколько существенно требование равенства дисперсий, насколько оценка коэффициента надежности чувствительна к количеству заданий теста.
Выводы. Делается вывод о ретестовой надежности теста, надежности расщепления, плотности; насколько эти показатели отличаются друг от друга.
Занятие 10.4 СТАНДАРТИЗАЦИЯ ТЕСТА
Цель работы. Построение шкал теста на основе полученных «сырых» оценок.
Определение основных понятий. Стандартизация - приведение оценок теста к виду, сопоставимому с результатами других методик, измеряющих данный признак. Чаще всего это достигается или построением шкал процентилей, или шкал, основанных на z-оценках.
Шкала процентилей - разбиение выборки испытуемых на заданное число частей. Опираясь на кумулятивную кривую, процентильное шкальное значение показывает, какая часть выборки испытуемых обладает значением признака, не превосходящим заданное, т. е. с какой вероятностью можно ожидать такие значения признака.
Алгоритм построения шкалы. Проверяется гипотеза о нормальном распределении.
Если гипотеза не отклонена, то следовательно область изменения вероятности [0,1] разбивается на заданное число частей (4 части - шкала квартилей, 10 частей - шкала децилей, 100 частей - шкала собственно процентилей).
По таблице нормального распределения для границ разбиения находится соответствующий квантиль. Этот квантиль является искомым шкальным значением.
Z-оценки - выражение шкальных значений в единицах стандартного отклонения (среднеквадратичного отклонения).
При выполнении условия нормального распределения оценок, шкалы, основанные на z-оценках, являются шкалами интервалами. Линейное преобразование, допустимое для шкал интервалов, позволяет привести их к удобному виду:
S = А + В ´ Z,
здесь А - позволяет сдвинуть начало отсчета и освободиться от отрицательных шкальных значений, множитель В изменяет масштаб, что позволяет перейти от дробных к целым шкальным значениям.