Якість тесту традиційно зводиться до визначення міри його надійності і питань валідності отриманих результатів. Якісним, як і об'єктивним, можна назвати тільки той метод виміру, що обґрунтований науково і здатний дати необхідні результати.
Валідність означає придатність тестових результатів для тієї мети, заради чого проводилося тестування. Валідність залежить від якості завдань, їхнього числа, від ступеня повноти і глибини охоплення змісту навчальної дисципліни у завданнях тесту. Крім того, валідность залежить також від балансу і розподілу завдань за складністю, від методу добору завдань у тест із загального банку завдань, від інтерпретації тестових результатів, від організації збору даних, від підбора вибіркової сукупності випробуваних.
Специфічна форма тестових завдань говорить про те, що завдання тесту являють собою не питання і не задачі, а завдання, сформульовані у формі висловлювань, істинних чи помилкових, у залежності від відповідей.
Визначений зміст означає використання в тесті тільки такого контрольного матеріалу, що відповідає змісту навчальної дисципліни; інше в навчальний тест не включається.
Зміст тесту існує, зберігається і передається в одній з чотирьох основних форм завдань. Поза тестовими формами ні тест, ні його зміст не існують. Теоретично виправданим критерієм упорядкування змісту є критерій складності завдань. Позанавчальний зміст (наприклад, перевірка рівня інтелектуального розвитку) у навчальний тест не включається. Це предмет психологічного виміру.
Зростаючу складність завдань можна образно порівняти з бар'єрами на біговій доріжці стадіону, де кожен наступний вище попереднього. Пробігти дистанцію й успішно перебороти всі бар'єри зможе тільки той, хто краще підготовлений
Складність завдань можна визначати двома способами:
- шляхом логічного міркування, на основі передбачуваного числа і характеру розумових операцій, необхідних для вдалого виконання завдань;
- після емпіричної перевірки завдань, з підрахунком частки неправильних відповідей.
У класичній теорії тестів багато років розглядалися тільки емпіричні показники складності. У сучасних теоріях навчальних тестів, які використовуються в дистанційному навчанні, більше уваги стало приділятися характеру розумової діяльності у процесі виконання тестових завдань різних форм.
Показник складності завдання розглядається як важливий системо- і одночасно структуроутворюючий фактор тесту.
Можна додати ще один критерій - це критерій логічної визначеності тестового завдання. Його можна сформулювати словами, близькими до формулювання Х. Каррі: завдання є визначеним, якщо на нього можна відповісти позитивно чи негативно, і якщо існує ефективний процес для знаходження такої відповіді.
Відповідь на завдання навчального тесту являє собою коротке судження, пов'язане за змістом і за формою зі змістом завдання. Кожному завданню ставляться у відповідність відповіді правильні і неправильні. Критерії правильності заздалегідь визначаються авторами тесту. Ймовірність правильної відповіді на будь-яке завдання залежить від співвідношення рівня знань випробуваного і рівня складності завдання. При наявності порівняльної шкали цю ймовірність виражають значенням від нуля до одиниці.
Оцінка відповідей за ступенем їх правильності проводиться досить рідко, але при необхідності створюються завдання з такими відповідями, що правильні в різному ступені.
За допомогою тестування, частіше інших ознак, перевіряються знання, уміння, навички та уявлення. З погляду навчальних вимірів корисно ввести два основних показники якості знань - рівень і структура знань. Вони оцінюється за допомогою реєстрації оцінок, як за знання, так і за незнання всіх необхідних компонентів матеріалу, що перевіряється. Для об'єктивізації цього процесу усі компоненти повинні бути однакові.
Однаковими є і правила виставлення оцінок. Ці умови відкривають дорогу для об'єктивного порівняння індивідуальних структур знання і незнання.
Рівень знань виявляється при аналізі відповідей на всі завдання тесту. Чим більше правильних відповідей, тим вище індивідуальний тестовий бал. Звичайно в системах дистанційної освіти цей тестовий бал асоціюється з поняттям "рівень знань" і проходить процедуру уточнення на основі тієї чи іншої моделі виміру. Той самий рівень знань може бути отриманий за рахунок відповідей на різні завдання.
Наприклад, у тесті з тридцяти завдань студент одержав десять балів. Ці бали, скоріш за все, отримані за рахунок правильних відповідей на перші десять, порівняно легких завдань. Властиву для такого випадку послідовність одиниць, а потім нулів можна назвати правильним профілем знань учня.
Якщо тестовий бал нижче необхідного рівня (вимірюваного критерію), то виявлені при цьому знання, уміння, навички і представлення вказують на докритеріальний рівень підготовленості. Цей рівень є найпоширенішим і масовим. Для багатьох він виявляється цілком переборним у міру вивчення ними наук і оволодіння майстерністю. Однак деякі, переважно в силу недоліку здібностей і старанності, так і залишаються на цьому рівні.
Структура знань оцінюється на основі послідовності правильних і неправильних відповідей на завдання зростаючої складності. Формою представлення індивідуальної структури знання і незнання є профіль знань, що представляється послідовністю одиниць і нулів, одержуваних кожним студентом.
Профіль знань являє собою упорядкований набір оцінок (вектор-рядок) у матриці тестових результатів. Якщо випробуваний відповідає правильно на перші, порівняно легкі завдання, можна говорити про правильну структуру знань. Профіль називається правильним, якщо в рядку балів у випробуваного всі нулі випливають за всіма одиницями.
Якщо ж виявляється протилежна картина, (випробуваний правильно відповідає на важкі завдання і неправильно - на легкі), то це суперечить логіці тесту і тому така структура знань може бути названа інвертованою. Вона зустрічається рідко, і найчастіше, через порушення вимоги розташовувати завдання в міру зростаючої складності.
За умови, що тест зроблений правильно, кожен профіль свідчить про структуру знань. Цю структуру можна назвати елементарною (оскільки є ще факторні структури, що виявляються за допомогою методів факторного аналізу).
Роль структури знань багаторазово підкреслювалася видатним педагогом А. Дистервегом, а також психологом Д. Брунером. Останній вважає, що "виклад структури знань, оволодіння цією структурою, а не просте засвоєння фактів і технічних прийомів є центральним моментом".
Розробники систем дистанційного навчання повинні прагнути, у першу чергу, до формування правильних індивідуальних структур знань, у яких не було би пробілів (розривів у знаннях), і на цій основі підвищувати рівень підготовки. Рівень знань у значній мірі залежить від особистих зусиль і здібностей тих, хто навчається за допомогою таких систем, у той час як структура знань помітно залежить від правильної організації навчальної системи, від індивідуалізації навчання, від рівня поданого матеріалу, від об'єктивності контролю - загалом, від усього того, чого зазвичай не вистачає.
Як справедливо відзначав М. Мінський, людина не може добре вчитися, якщо розриви для нього між відомим і невідомим занадто великі. Рівень знань у значній мірі залежить від особистих зусиль і здібностей учнів. У той час як структура знань залежить від правильної організації навчального процесу, від індивідуалізації навчання, від майстерності педагога, від об'єктивності контролю. Загалом, від усього того, чого звичайно в нас не вистачає.
Традиційний тест являє собою єдність, щонайменше, трьох систем:
- змістовної системи знань, яка описується мовою навчальної дисципліни, що перевіряється;
- формальної системи завдань зростаючої складності;
- статистичних характеристик завдань і результатів.
Традиційний навчальний тест потрібно розглядати з двох сторін: як метод педагогічного виміру і як результат застосування тесту.
Обидва ці критерії характеризують тест із різних сторін, тому що тест треба розуміти одночасно і як метод, і як результат навчального виміру. Одне доповнює інше. Тест як метод не мислиться без результатів, що підтверджують якість його самого і якість оцінок виміру випробуваних різного рівня підготовленості.
Головна ідея традиційного тесту - мінімальним числом завдань, за короткий час, швидко, якісно і з найменшими витратами порівняти знання як можна більшого числа учнів.
Власне кажучи цим відбивається ідея ефективності навчальної діяльності в області контролю знань в системах дистанційного навчання.
2.1Гомогенні тести
До традиційних тестів відносяться тести гомогенні і гетерогенні.
Гомогенний тест являє собою систему завдань зростаючої складності, специфічної форми і визначеного змісту - система, створювані з метою об'єктивного, якісного, і ефективного методу оцінки структури і виміри рівня підготовленості учнів по одній навчальній дисципліні.
Легко бачити, що у своїй основі визначення гомогенного тесту збігається з визначенням традиційного тесту.