ответа, выбрав его среди предложенных. Следующее преимущество в простом
критерии правильности ответа:совпадение номеров действительно правильного
ответа на вопрос теста и ответа, данного тестируемым. Однако такая организация
теста имеет и недостатки: наличие«скрытой» подсказки на вопрос – выбирать
ответ гораздо легче, чем писать его полностью самостоятельно;
организация теста по принципу «напиши правильный ответ» предполагает хорошую
начальнуюподготовку испытуемого как пользователя персонального компьютера.
Решение этих технических проблем может отвлечь испытуемого от предметной сути
работы спрограммой. Таким образом, скорость прохождения теста во многом
зависит от развития навыков работы за компьютером. Помимо этого, ответ на
каждый вопростеста может иметь различную степень подробности.[4]
1.2.2. Технология создания компьютерных тестов.
Учебный процесс, как сложная система, включает в себя четыре составные части:
учебный план, структуруи содержание курса, обучающую среду (педагог, средства и
технологии обучения) и контроль образовательного процесса. Первые две части
образуют педагогическуюмодель знаний предметной области.
Контроль обучения осуществляется путем оценки соответствия между педагогической
моделью знаний иличностной моделью знаний обучаемого с помощью промежуточных и
итоговых измерений уровней знаний, умений и навыков личностной модели знаний.
Педагогическая модель знаний является, как правило, линейной структурой которую
можно представить в виде совокупностипоследовательно взаимосвязанных модулей
знаний.
Каждый модуль предполагает входящую информацию из других модулей и генерирует
собственные новые понятия и свойства. Модуль можетбыть представлен в виде базы
данных, базы знаний, информационной модели.
Модульное представление знаний помогает:
организовать чёткую систему контроля с помощью компьютерного тестирования,
посколькудопускает промежуточный контроль (тестирование) каждого модуля и
итоговый по всем модулям и их взаимосвязям;
осуществлять наполнение каждого модуля педагогическим содержанием;
выявлять и учитывать семантические связи модулей и их отношения с другими
предметными областями.
Проектирование модели знаний играет важную роль для образовательного процесса.
От этого, в конечномсчете, зависит обучающая среда: преподаватель с его
квалификацией и опытом, средства и технологии обучения, а главное – контроль
обучения с помощьюкомпьютерных тестов.
Главная цель тестирования – обнаружение взаимного несоответствия этих моделей и
оценкауровня их несоответствия.
Сложной задачей эксперта по контролю является задача разработки тестовых
заданий, которые позволяют максимально объективнооценить уровень соответствия
или несоответствия педагогической модели знаний и личностной модели знаний.
Построение компьютерных тестов можно осуществить по следующим последовательным
шагам:
1. формализация экспертной целевой модели знаний;
2. нисходящее проектирование тестового пространства;
3. формирование и наполнение тестовых заданий;
4. формирование полного компьютерного теста;
5. тестовый эксперимент;
6. выбор эффективного теста;
7. анализ, корректировка и доводка теста до вида эксплуатации.
На рис.1.1 приводится схема создания теста. Множество тестовых заданий
(тестовоепространство), согласно принципу исчерпывающего тестирования, вообще
говоря, может быть бесконечным. Однако очевидно, что существует конечное
подмножество тестовыхзаданий, использование которых позволяет с большой
вероятной точностью оценить соответствие личностной модели знаний экспертным
моделям знаний (полный тест).Важнейшим элементом в подготовке тестов выступает
класс
эквивалентности тестовых заданий.
Для создания тестов по предметной области существуют и разрабатываются
специальные инструментальныепрограммы-оболочки, позволяющие
вырабатывать компьютерные тесты путём формирования базы данных из набора
тестовых заданий.
В большинстве случаев тестовые оболочки (ТО) построены на принципах
однозначногораспознавания ответов тестируемого: выбор, шаблонный ответ,
конструирование ответа.
Другим важным свойством ТО должно быть наличие возможности передачи результатов
и протоколатестирования какому-либо статистическому пакету для дальнейшей
обработки, что в некоторых существующих ТО представлено неполно.[5]
1.3. Критерии качества тестов
Научно обоснованный тест – это метод, соответствующий установленным стандартам
надежности ивалидности.
Традиционно выделяются два основных критерия качества тестов. Первый из них
связан спонятием точности измерений и известен, главным, образом, в виде
понятия надежности теста.
Качество педагогического контроля в вузе зависит не только от надежности
используемых методов, но и от их валидности. Валидность теста — его
пригодностьдля достижения поставленной цели: пригодность по содержанию,
пригодность к применению в конкретных обстоятельствах, пригодность по
какому-либо критериюили, что то же самое, характеристика его способности изучать
то, что он должен изучать по замыслу авторов.[1]
1.3.1. Надежность тестов.
Существует несколько практических способов определения надежности теста.
Самыйбезупречный со статистической точки зрения метод определения надежности –
это коррелирование двух параллельных тестов, созданных для измерения одного и
тогоже свойства.
Суть корреляции состоит в том, что из полученной каждым студентом суммы баллов
вычитаетсяровно то число, которое может быть угадано в соответствии с теорией
вероятностей. Корреляция осуществляется с помощью соотношения:
,
где - скорректированный на догадку тестовый балл испытуемого;
- число правильных ответов, полученных испытуемым в тесте;
- число неправильных ответов;
- число готовыхответов в заданиях теста.
Эта формула применяется к заданиям с одинаковым числом готовых ответов.
Интуитивно наиболее понятный и простой способ определения надежности теста –
это двукратное, по меньшей мере, использованиеодного и того же теста в той же
самой группе студентов. Результаты обоих опросов анализируются с целью поиска
корреляции между ними. Данный метод имеет своидостоинства и недостатки.
Достоинства заключаются в сравнительной простоте его использования, ясности
основных посылок, лежащих в определении надежности,простоте расчетов. К
недостаткам можно отнести неопределенность в выборе временного интервала
между первым и вторым опросами. Этот интервал может колебаться отнескольких
минут до нескольких дней, месяцев и даже лет.
Надежность тестов достаточно просто оценить в гомогенных тестах. Однако, оценка
надежности заметно осложняется в гетерогенных тестах.Осложнение вызвано главным
образом некоррелируемостью (или слабой коррелируемостью) гомогенных тестов между
собой. Соответственно ответыстудентов на задания одного гомогенного теста, как
правило, редко коррелируют с ответами на задания другого. Отсутствие же
корреляции мешает всякой надежде намало-мальски заметную надежность теста в
целом.
Все методы оценки надежности теста основаны на разных теоретических положениях,
но все они призваныответить на один и тот же вопрос – насколько точны
проведенные измерения? Само понятие "точность" в каждом случае оценки
приобретает несколько отличающийсясмысл.
Имеются, по меньшей мере, два источника погрешностей, мешающие говорить об
абсолютной надежности теста. Первый источниксвязан с выборкой испытуемых. Вряд
ли можно найти две такие выборки, в которых тестовый опрос был бы одинаково
надежным. Скорее всего, значения варьировалибы от выборки к выборке в некоторых
пределах в соответствии с законом нормального распределения. Уже одно это
призывает к осторожности в интерпретациикоэффициента надежности. Вместо
выражения «надежность теста» мы вынуждены использовать другое, более точное –
"полученная в данной выборке оценканадежности теста".
Второй источник погрешностей – в формулировании и отборе заданий. Если мы
примем небезосновательноепредположение о детерминации (в статистическом смысле)
или, иначе, о зависимости конкретных результатов измеренияот истинных,
присущих данным испытуемым в идеальных условиях, то коэффициент надежности
удобно интерпретировать как коэффициент детерминации.[1]
1.3.2. Валидность тестов.
в отличие от надежности, определение которой сводится к выбору одной из
множестварасчетных схем, обоснование валидности теста представляет собой задачу
методологического характера. Как и обоснование любой деятельности,
процессвалидизации начинается с уточнения цели и конкретных задач
педагогического контроля. Если ставится цель проверить знания студентов по
какой-либодисциплине и при этом не важно, каким методом это надо будет сделать,
то легко понять, что эта цель может быть достигнута посредством использования
зачетов,экзаменов, курсовых и дипломных работ. Эти и другие методы неравноценны
с точки зрения объективности и качества оценки, и потому вопрос о
валидностилегко переводится в прагматическую плоскость оценки сравнительной
пригодности того или иного метода длядостижения поставленной цели.
Тест может быть валидным, если помимо прочих требований средние результаты
соответствуютбольшей части студентов, а сами данные распределяются по
нормальному закону. Если это условие не выполняется, то тест считается