К вопросу о компьютерных программах учебного контроля знаний (стр. 4 из 5)

Рис. 1. Зависимость вероятности выполнения заданий испытуемым от отношения знаний к трудности

В) Модель с учетом неоднородности трудности заданий в наборе

Исключить требования, связанные с необходимостью составления наборов заданий одинаковой трудности можно в описываемой (предлагаемой) ниже модели контроля знаний. Ее суть состоит в том, что результаты выполнения задания учитывается не нулями и единицами, а начислением и сбросом баллов, равных (или пропорциональных) априори назначенной трудности заданий с последующим вычислением среднего набранного балла. Результат усреднения переводится (пересчитывается) в оценку в любой выбранной шкале отметок.

Для пояснения способа предположим, что имеется база заданий, охватывающая проверку знаний в рамках темы (курса). Каждому из заданий приписывается та или иная трудность в принятой шкале, например 0 –100 баллов, разбитой для простоты равномерно на 10 участков: 0-10, 10-20 и т.д. Положим вначале, что задания распределены равномерно на шкале трудности, симметрично относительно центрального значения Х (здесь Х= 50 баллов) и заполняют шкалу протяженностью 2А, а учет трудности производится с точностью до 10. Равномерно означает, что число упражнений в пределах каждого участка примерно одинаково. За каждое правильно выполненное задание испытуемому начисляется число баллов, равное трудности задания. За неверное решение – сбрасывается число, дополняющее трудность до 100 баллов. Таким способом учитывается положение: ошибка штрафуется тем выше, чем легче задание и, напротив, тем меньше, чем задание труднее. На рис. 2 показаны две утолщенные перекрещивающиеся опорные прямые, одна из которых соответствует правильным ответам (Верно), другая – неверным (Неверно). Для рассматриваемого частного случая уравнения прямых таковы:

а) для правильных ответов у=х

б) для неверных ответов у= - х+2Х

Задания предъявляются контролируемому лицу в следующем порядке. На каждом нечетном шаге участке А, расположенным, например, справа от значения Х датчиком случайных чисел задания выбирается задание с некоторой случайной трудностью. На каждом четном шаге трудность задания выбирается автоматически симметрично (зеркально) относительно значения Х (рис. 3), т.е. в соответствии с уравнением х_k+1= 2Х - х_k = 100-х_k, где х_k трудность нечетного задания (k=1,3,5,…). Использованные задания выбывают из числа предъявлемых в текущем сеансе испытаний.

После каждой пары выполненных заданий подсчитывается среднее значение накопленных баллов, которое в конце сеанса испытаний представляет собой отметку в шкале 100.

Рис. 2

При безошибочном выполнении испытуемым среднее число накопленных баллов равно Х = 50. Для испытуемых, совершающих ошибки, это число всегда меньше значения 50. Результат подсчитанных так многократных предъявлений пар пересчитывается в зачетную отметку в любой удобной шкале, например 100-балльной. Вопрос о переводе баллов в отметку определяется удобством и подробно не обсуждается.

Принятое в описании значение Х=50 определяет среднюю трудность набора заданий, симметрично расположенных на шкале трудностей относительно этого значения. Смещая это значение по шкале трудности, можно составлять наборы разных средних трудностей.

Требование симметрии может быть заменено более простым, а именно, число заданий на четной стороне должно быть не меньше числа заданий на нечетной при равномерном «заселении» сторон. Это всегда можно выполнить добавлением или удалением некоторых заданий. Желательно всегда иметь избыточное число заданий относительно предъявляемых, т.е. базу данных, большую чем число заданий. Если задания для некоторых участков трудности отсутствуют, то при выборе трудности датчиком случайных чисел на очередном нечетном шаге, выбирается задание с трудностью, ближайшей к значению Х.

Понятно, что всякие погрешности в назначении трудностей усредняются, и по мере увеличения числа выполненных заданий значимость в неравенстве трудностей ослабляется.

Описанный способ обладает известной гибкостью. Так, уменьшая наклон опорных прямых (по абсолютному значению), можно регулировать как бы «селективность» системы контроля (на рис. 2 ? тонкие опорные прямые). Меняя положение Х на шкале трудностей («центра трудности»), можно регулировать (устанавливать) среднюю трудность набора заданий. Меняя наклон прямых – «селективные» свойства – ослаблять зависимость начисляемых и сбрасываемых баллов от трудности заданий. Протяженность участка 2А соответствуют изменению диапазона заселения базы данных заданиями различной трудности. Его можно сделать как узким, так и достаточно протяженным.

Рис. 3

Удобно (хотя не обязательно) иметь общее число заданий в базе значительно превышающем число предъявляемых в сеансе испытаний. В этом случае не составляет труда автоматически задавать среднюю трудность Х испытания и передать требование реализации симметрии самой программе отбора заданий в каждом сеансе испытаний. Число вариантов конкретной реализации описанного алгоритма можно задавать заранее. Если число отобранных для предъявления заданий велико, то вместо описанного выше чередования четных и нечетных номеров, каждое очередное задание можно предъявлять простым случайным выбором. Таким образом, чем больше база данных, тем вся система получается более гибкой и удобной для программирования в виде оболочки, реализующей описанный способ.

Хотя ошибки в назначении трудностей упражнений вследствие самого принципа выбора заданий усредняются и не имеют решающего значения, существуют простые и не очень трудоемкие приемы снижения ошибок изначального назначения трудности каждого задания. Например, можно предложить нескольким преподавателям, ведущим занятия по одному и тому же курсу, расставить упражнения по трудности и затем сопоставлением выбрать наиболее подходящий вариант. Наконец, можно предложить это сделать группе студентов и соответствующим образом обработать результаты. Если данных много, то для корректировки набора применимы методы кластерного анализа.

Описанный метод достаточно гибок в том отношении, что здесь легко корректировать число начисляемых и сбрасываемых баллов на концах диапазона шкалы трудностей. Например, можно ввести корректировочные поправки, заменив близкие к границам отрезки перекрещивающихся прямых некоторыми плавными кривыми для изменения начисляемых и сбрасываемых баллов для очень трудных и очень легких заданий.

О требованиях к компьютерным программам контроля

Сделаю попытку сформулировать несколько общих требований к компьютерным программам контроля. Приведенный перечень не претендует на полноту и вполне может корректироваться.

Программу удобно (следует) выполнять в виде оболочки с двумя подпрограммами: «Учитель» и «Ученик».

Программа «Учитель» должна быть оформлена в виде базы данных, которая заполняется путем ввода заданий. Эта база, в зависимости от принятого способа контроля, может состоять из наборов равнотрудных заданий или (для последнего способа) просто иметь достаточно большой набор для «заселения» упражнениями нужных (разных) трудностей с указанием этих трудностей. Должен обеспечиваться автоматический выбор нужного преподавателю набора заданий по введенным к набору требованиям. Для каждого из способов организации контроля эти требования свои. В частности, для традиционного способа должны быть предусмотрены удобные средства, автоматизирующие процедуру «чистки» начальной таблицы испытаний, т.е. выполнении описанной выше процедуры.

Редакторы вводимых материалов должны быть простыми и доступными для большинства преподавателей. Представляется, что для этой цели подходит пакет офисных программ Microsoft, дополненный популярным графическим (растровым и/или векторным) редактором. Программа должна быть снабжена рекомендациями по организации вводимых заданий, равно как средствами, дающими наглядное представление о текущей (при заполнении) «заселенности» базы данных заданиями. Для способа с учетом трудностей заданий база может быть представлена, например, гистограммой, т.е. столбчатой зависимостью числа заданий от трудности.

В программе «Учитель» должна быть предусмотрена возможность обработки полученных данных, а также первоначального отбора равнотрудных заданий. Желательно не прибегать к необходимости установки специализированных программ статистики. Табличный процессор Excel для этого можно считать подходящими, хотя лучше, если будут программироваться дополнительные средства, упрощающие и автоматизирующие выполнение типовых процедур. К обработке также относятся средства получения свернутых (обобщенных, компактных) данных: вычисление средних значений результатов контроля, разбросов вокруг них (дисперсий), ранжировка испытуемых по результатам контроля и т.д.

В программе «Учитель» должны быть предусмотрены средства перевода накопленных баллов в отметку в выбираемой из списка шкале отметок.

В программе «Ученик» должен быть предусмотрен адекватный способ выдачи результатов контроля испытуемым. Здесь возможны разные варианты, выбор которых остается за преподавателем в программе «Учитель». Это выдача результатов выполнения задания контролируемому лицу или сразу после выполнения каждого задания или группы заданий, или всего набора заданий, т.е. после завершения сеанса контроля или текущей отметки и т.д. Должны быть предусмотрены разные формы выдачи этих результатов, выбор из которых делает преподаватель при составлении задания. Также можно предусмотреть вывод информации относительно текущего числа выполненных и числа оставшихся для выполнения заданий. Эта информация может или выдаваться или не выдаваться контролируемому лицу в процессе испытании, в зависимости от дидактических особенностей программы и мнения контролирующего лица.