Проблема всех систем с автоматической генерацией опросов заключается в том, как обеспечить надлежащий набор вопросов, составляющих опрос. Самый простой способ достижения этого состоит в организации специализированных баз данных вопросов для каждого урока. Этот подход, примененный, например, в WebAssessor [ComputerPREP 1998], уменьшает возможность повторного использования одного и того же вопроса на различных уроках. Многие продвинутые системы подобно TopClass [WBT Systems 1999] могут поддерживать многочисленные фонды вопросов и использовать несколько фондов для генерации каждого опроса. Имея такой уровень поддержки, преподаватель может организовать отдельный фонд для каждой темы или каждой степени сложности вопросов и определять желаемое количество вопросов в сгенерированном опросе, принадлежащих тому или иному фонду.
В настоящее время база данных, хранящая вопросы во внутреннем формате, является активно разрабатываемой технологией хранения. Исследовательские коллективы пытаются развивать ее в трех основных направлениях. Одно направление связано с параметризованными вопросами, используемыми, например, в CAPA [Kashy et al. 1997], EEAP282 [Merat & Chung 1997] или Mallard [Brown 1997; Graham, Swafford & Brown 1997]. Это позволяет создавать неограниченное число тестов из одного того же набора вопросов и фактически исключает возможность обмана [Kashy etal. 1997]. Второе направление исследований связано с развитием метаданных вопроса. Если система знает немного больше относительно вопроса (например, тип, тема, ключевые слова, часть курса, вес или сложность), тогда система может генерировать настроенные и индивидуализированные контрольные опросы по запросу системы или автора. Это означает, что авторы могли бы определить различные параметры опроса, в соответствии с потребностями конкретного обучаемого в конкретной точке курса: общее количество вопросов, относительная доля вопросов определенного типа или по определенной теме, трудность, и т.д., система генерирует настроенный опрос по требованию (который все еще случаен в пределах требований) [Byrnes, Debreceny & Gilmour 1995; Merat & Chung 1997; Rehak 1997; Rios, Pйrez de la Cruz & Conejo 1998]. Такой подход, несомненно, является более мощным, чем простые случайные контрольные опросы. Системы, широко использующие метаданные, действительно больше «знают» о вопросах и их функциональных возможностях. Третье направление исследований – адаптивная выдача вопросов. Такая функциональность основана на оверлейной модели обучаемого, в которой отдельно представлены знания обучаемым различных понятий и разделов курса. Интеллектуальные системы, такие как ELM-ART [Weber & Specht 1997], Medtec [Eliot, Neiman & Lamar 1997], [Lee и Wang 1997], SIETTE [Rios, Pérez de la Cruz & Conejo 1998], Self-Learning Guide [Desmarais 1998] могут генерировать вопросы и тесты, адаптированные к уровню знаний обучаемого, а также снижают число вопросов, требуемых для оценки знаний обучаемых.
Стадия выдачи
Тип интерактивной технологии, используемой для получения ответов обучаемого, является одной из наиболее важных характеристик WBE-систем. Он определяет всю функциональность на стадии выдачи вопросов, а также влияет на стадии создания и оценки вопросов. В настоящее время, различают пять технологий: HTML-ссылки, HTML/CGI-формы, скриптовые языки, внедрение (plag-in) и Java.
HTML-ссылки – самая простая технология взаимодействия, реализующая набор возможных ответов как список HTLM-ссылок. Каждая ссылка связана с определенной страницей обратной связи. При использовании этого подхода возникает две проблемы: сложность создания вопросов (логика вопроса должна быть жестко встроена в гипертекст курса) и поддержка всего двух типов вопросов: [да/нет] и [МВ/ОО]. Эта технология использовалась в основном на заре Web-основанного обучения, когда более продвинутые технологии взаимодействия, такие как CGI, JavaScript или Java еще не были разработаны [Holtz 1995].
Наиболее популярной технологией Web-тестирования, используемой в настоящий момент многочисленными коммерческими и университетскими системами является комбинация HTML-форм и CGI-скриптов. HTML-формы чрезвычайно удобны для представления основных типов вопросов. Вопросы типа [да/нет] и [МВ/ОО] представляются наборами иконок, списками выбора, всплывающими меню. Вопросы [МВ/МО] представляются списками множественного выбора или наборами переключателей. Вопросы открытого типа реализуются в виде полей редактирования. Более продвинутые вопросы, такие как вопросы на соответствие или на правильную последовательность, также могут быть реализованы, при помощи форм. Кроме того, скрытые поля могут использоваться для хранения дополнительной информации о тесте, в которой может нуждаться CGI-скрипт. Значительные преимущества от использования технологии «стороны сервера» (к которой относится и технология «форма/CGI») и схожей с ней технологии «карты стороны серверной» возникают при реализации графических вопросов на указывание. Разработка теста относительно проста и может быть осуществлена с помощью HTML-редактора. Секретная информация, необходимая для вынесения оценки (такая, как параметры вопроса, ответы, обратная связь) может для безопасности храниться на стороне клиента, обеспечивая защиту обучаемых от кражи вопросов (единственной внешней информацией, необходимой хорошо разработанной системе, для оценки теста является идентификатор теста и идентификатор студента). Организация оценки на стороне сервера облегчает реализацию всех функций, необходимых на стадии оценки (таких, как запись результатов, проставление бала, выдача обратной связи). Все эти функции могут выполняться одним и тем же скриптом на стороне сервера. Основная проблема технологии «стороны сервера» – малая выразительная мощность. Эта технология хорошо реализует только основные типы тестов. Более продвинутые и более интерактивные типы тестов (например, тесты, использующие технологию drag-and-drop – перетаскивание объектов) не могут быть реализованы с помощью только технологии «стороны сервера». Создать вопрос с оценкой на стороне сервера довольно непросто потому, что функциональные возможности вопроса распространены между его HTML-представлениям (создаваемым вручную или сгенерированным автоматически) и CGI-скриптом, реализующем оценку. Другая серьезная проблема заключается в том, что вопросы, основанные на CGI, не работают, когда связь пользователя с сервером нарушается или очень замедляется.
Более новая технология для выдачи вопросов и оценки ответов - JavaScript [McKeever, McKeever и Elder 1997]. Интерфейс, обеспечиваемый технологией взаимодействия, основанной на JavaScript, подобен интерфейсу, реализуемому с помощью технологии «форма/CGI». В то же время, функциональность JavaScript поддерживает более продвинутые интерактивные вопросы, например, нахождение релевантного фрагмента в тексте. При использовании «чистой» технологии JavaScript все данные для оценки вопроса и организации обратной связи, а также программа оценки, хранятся как часть вопроса. Это означает, что вопрос, реализованный с помощью JavaScript, может работать в автономном режиме. Это в свою очередь означает, что вопрос самостоятелен: все, необходимое для его представления и оценки находится в одном файле, что является очень привлекательной возможностью для создателей вопросов. Но это также означает, что обучаемые получают доступ к ресурсам вопроса и могут «вскрыть» его. Также, при использовании «чистой» технологии JavaScript, отсутствует возможность регистрации результатов и проставления бала. Все вышеперечисленное показывает, что JavaScript лучше использовать для самооценки, нежели в официальных тестах. По нашему мнению наилучшим выходом для JavaScript будет технология JavaScript/сервер, которая сможет занять достойное место в Web-основанном обучении. Комбинация JavaScript с технологией «стороны сервера» может быть использована для представления большего количества типов вопросов и повышения интерактивности процесса тестирования (Javascript), а также для реализации удобного пользовательского интерфейса, обеспечения оценки и ведения записи (CGI) [ComputerPREP 1998; WebCT 1999].
Более высокий уровень свободы интерфейса может быть достигнут, с помощью технологии внедрения (plug-in)[i]. Единственный пример серьезного использования этой технологии в образовании - Shockwaveplug-in [Macromedia 1998], который может запускать мультимедиа-презентации, подготовленные с помощью набора авторских средств Macromedia. В настоящее время, технология Shockwave используется в WBE главным образом для передачи анимационных роликов, однако эта технология обладает гораздо более мощными возможностями. В действительности, с помощью средств Macromedia при относительно малых затратах может быть разработано большое количество качественных вопросов, которые могут доставляться обучаемому с использованием технологии Shockwave. Некоторым примером может служить Medtec [Eliot, Neiman & Lamar 1997]. Недостатком этого подхода, как и в случае JavaScript, является то, что регистрация результатов оценки требует постоянного подключения к серверу. До недавнего времени, Shockwave не обеспечивала никакой Internet-функциональности, и ее пользователи должны были применять специальные приемы (например, сохранение результатов во временном файле). Из-за этих проблем некоторые коллективы, начинавшие работать с Shockwave, затем переориентировались на более мощную технологию Java [Eliot, Neiman & Lamar 1997]. Однако, Shockwave все еще может использоваться как платформа для доставки вопросов для самооценки.
На сегодняшний день самый высокий уровень технологии выдачи вопроса обеспечивается Java. Важное преимущество Java состоит в том, что она является полностью законченным языком программирования, разработанным для интеграции с функциональными возможностями браузера и Internet. Java объединяет сетевое преимущество технологии «форма/CGI» и интерактивность Shockwave и JavaScript. Java позволяет разработать любой интерфейс вопроса и в то же время, вопросы, созданные с помощью Java, могут легко взаимодействовать с браузером, также как с любым объектом Internet (сервер или Java-приложение). Примерами систем, которые широко используют Java-основанные вопросы являются FLAX [Routen, Graves & Ryan 1997], NetTest [Ni, Zhang & Cooley 1997], Mallard [Graham & Trick 1997], и Medtec [Eliot, Neiman & Lamar 1997]. Разработать интерфейс вопроса на Java гораздо сложнее, чем с помощью технологией «форма/CGI», поэтому не удивительно, что все перечисленные системы, были разработаны коллективами профессиональных программистов. Однако сложность вряд ли станет препятствием для этой технологии. С помощью Java в настоящее время разработано большое количество типов вопросов, которые не могут быть реализованы с помощью технологии «форма/CGI». К таким вопросам относятся, вопросы множественного указывания, графические вопросы и специализированные типы вопросов. Разработка вопросов на Java может стать доступной для обычных авторов с появлением Java-основанных авторских средств [Ni, Zhang & Cooley 1997; Routen, Graves & Ryan 1997].