Під критеріально-орієнтованою інтерпретацією мається на увазі порівняння змісту атестаційних матеріалів з результатами тестування і висновок: що із заданого стандарту і на якому рівні, реально засвоєно.
При критеріально-орієнтованій інтерпретації потрібно трохи менше число завдань, за допомогою яких визначається - що випробуваний знає і чого не знає з заданого стандарту. Інакше кажучи, тут відповіді оцінюються щодо не всієї області (Domain) необхідних знань, а тільки з області, обмеженої конкретним стандартом чи рівнем (критерієм) знань.
При критеріально-орієнтованій інтерпретації для діагностики заздалегідь заданого рівня підготовленості використовуються, власне кажучи, не тести, у традиційному розумінні цього методу, а сукупності завдань у тестовій і в іншій формі. Слово одне, але зміст інший.
Зміст тесту можна визначити як оптимальне відображення навчального матеріалу в системі тестових завдань.
Слова "оптимальне відображення" припускають необхідність добору такого контрольного матеріалу, відповіді на який з високою імовірністю (більше 95%) свідчили б про рівень підготовленості кожного учня.
Досягнення обґрунтованого висновку про знання учнів на основі змісту тесту є головною метою тестології - науки про розробку якісних тестів і їхньому ефективному застосуванні.
Оптимальне відображення припускає також можливість вибору придатної форми і необхідного числа завдань.
Форм лише чотири. Це:
- завдання з вибором одного чи декількох правильних відповідей з числа запропонованих;
- завдання відкритої форми, де відповідь дописується, у відведеному для цього місця;
- завдання на встановлення відповідності;
- завдання на встановлення правильної послідовності дій.
Число завдань традиційного тесту звичайно буває не менше тридцяти. Банк завдань адаптивного тесту містить більше число завдань.
При тестуванні перевіряється не весь програмний матеріал, а лише та частина навчальної програми, що входить у зміст. Це знання, що підлягають обов'язковій перевірці в кожнім системі дистанційного навчання. Деякі елементи знань, що перевіряються, (переважно по окремих темах) використовуються тільки в поточному контролі. Інші елементи, що охоплюють знання декількох тем, використовуються в рубіжному контролі, наприклад, наприкінці навчальної чверті. І, нарешті, у підсумковому контролі використовуються завдання, правильні відповіді на який вимагають знання багатьох, а й іноді і всіх тем, вивчених протягом навчального року.
Сформулюємо критерії добору змісту тестового матеріалу:
Значимість. Цей принцип указує на необхідність включити в тест лише ті елементи знання, які можна віднести до найбільш важливих, ключових, без яких знання стають неповними, з численними пробілами. Такі елементи знання, через їхню важливість, можна назвати структурними. У тест, отже, потрібно включати тільки ті матеріали, що відіграють роль структурних елементів в індивідуальному знанні.
Наукова вірогідність. У тест включається тільки той зміст навчальної дисципліни, що є об'єктивно щирим і піддається раціональній аргументації. Відповідно, усі спірні точки зору, цілком нормальні в науці, не рекомендується включати в тестові завдання. Суть тестових завдань полягає саме в тім, що вони вимагають чіткого, заздалегідь відомого викладачам відповіді, визнаного ними в процесі розробки завдань об'єктивно щирим.
Відповідність змісту тесту рівню сучасного стану науки. Цей принцип випливає з природної необхідності готувати фахівців і перевіряти їхнього знання на сучасному матеріалі.
Репрезентативність. У тест не тільки включаються значимі елементи змісту, але звертається увага також на повноту і їхню достатність для контролю. Справді, можна взяти п'ять-шість елементів і перевірити по них знання студентів. Але де впевненість, що студент знає й інші важливі елементи змісту навчальної дисципліни? Шлях до появи такої впевненості лежить у найбільш повному відображенні необхідного знання в завданнях тесту.
Репрезентативність не означає обов'язкового включення в тест усіх значимих елементів змісту. Адже багато хто з них явно зв'язані між собою в загальній структурі знань, включені один в інший цілком чи частково. Крім того, багато елементів у структурі знань ієрархічно супідрядні. Цьому принципу відповідають основні завдання, що краще називати структурними.
Зростаюча складність навчального матеріалу. Цей принцип означає, що кожен навчальний елемент у процесі контролю володіє деякої усереднений, для студентів, мірою труднощів, на яку й орієнтуються викладачі. Практично всі підручники і посібники побудовані за принципом зростаючої труднощів. У таких навчальних дисциплінах, як логіка, математика, іноземні мови, статистика, філософія й ін., знання наступних елементів курсу жорстко залежить від знання попередніх навчальних елементів. Тому вивчати такі дисципліни можна тільки із самого початку, і без пробілів.
Варіативність змісту. Зміст тесту не може залишатися незмінним і незалежної від розвитку науки, науково-технічного прогресу, від нового змісту навчальної дисципліни і від нових підручників. В міру зміни змісту навчальної дисципліни повинний варіюватися і зміст тесту. При цьому приймається в увагу контингент, який проходить тестування. Зміст тесту для слабких студентів помітно відрізняється від змісту тесту для сильних студентів.
Системність змісту. Це означає підбор такого змісту тестових завдань, що відповідав би вимогам системності знань. Крім підбору завдань із системним змістом важливо мати завдання, зв'язані між собою загальною структурою знань. Це можливо лише в тих випадках, коли завдання тесту зв'язані із загальною факторною структурою знань. Такий зв'язок визначається методами факторного аналізу.
Комплексність і збалансованість змісту тесту. Тест, розроблений для підсумкового контролю знань, не може складатися з матеріалів тільки однієї теми, навіть якщо ця тема є самою ключовою у навчальній дисципліні. Необхідно шукати завдання, що комплексно відображають основні, якщо не всій теми навчального курсу.
У той же час існує прагнення збалансовано відобразити в тесті основний теоретичний матеріал-поняття, закони і закономірності, гіпотези, факти, структурні компоненти теорії разом з методами наукової і практичної діяльності, з уміннями ефективно вирішувати типові професійні завдання.
Такі завдання порівняно легко можуть трансформуватися у форму тестових завдань на встановлення відповідності чи правильної послідовності, перетворюючись, таким чином, у дидактичну модель, що використовується однаково вдало і для контролю, і для навчання.
Взаємозв'язок змісту і форми. При розгляді цього загального діалектичного принципу стосовно до тестів мимоволі виникає асоціація з мистецтвом. Дійсно мистецтво являє собою, за словами Гегеля, закінчене усередині себе з'єднання змісту з цілком відповідної йому формою.
Точно так само і дійсний тест можна охарактеризувати як результат взаємовпливу змісту завдань з найбільш придатною формою. При цьому на відміну від широко розповсюдженого філософського тлумачення активності змісту і пасивності форми тестову форму треба розглядати разом зі змістом як активну сторону їхньої взаємодії.
Уже на стадії задуму зміст завдання починає знаходити свою форму. Невідповідність завдання однієї з чотирьох форм допускає можливість тільки двох правильних суджень: чи це не тестове завдання, чи використовується якась нова недосліджена форма за умови, що група відомих форм визначена.
Не всякий зміст піддається представленню у формі тестового завдання. Докази, великі обчислення, багатослівні описи важко виражаються, а те і зовсім не виражаються в тестовій формі.
На відміну від філософської традиції розгляду форми через призму змісту, у теорії тестів справа обстоїть, можна сказати, навпаки: зміст контролю по кожній навчальній дисципліні розглядається крізь призму придатної форми. При цьому зміст тесту треба відносити до теорії тієї чи іншої навчальної дисципліни, у той час як пошук найкращої форми для вираження змісту є предметом теорії тестів.
І, нарешті, при правильному доборі контрольного матеріалу зміст тесту може бути використано не тільки для контролю, але і для навчання. Використання тестових завдань в автоматизованих контрольно-навчальних програмах дозволяє студенту самостійно виявляти пробіли в структурі своїх знань і вживати заходів для їхньої ліквідації. У таких випадках можна говорити про значний навчальний потенціал тестових завдань, використання якого стане одним з ефективних напрямків практичної реалізації принципу єдності і взаємозв'язки навчання і контролю.
Відповідність меті. Зміст тесту залежить від мети перевірки.
Якщо потрібно відібрати невелике число найбільш підготовлених студентів, скажемо, на олімпіаду, то ясно, що завдання повинні бути важкі, тому що лише за допомогою таких завдань можна відібрати кращих. Якщо ж, навпаки, потрібно відсіяти самих слабких, то зробити це краще за допомогою порівняно легких завдань; ті, хто не виконають ці завдання, і є самі слабкі. При необхідності оцінити студентів у всьому діапазоні знань - від нижчого до вищого, у тест доведеться включати завдання легкі, середні і важкі.
Якщо, нарешті, знадобиться оцінити відповідність знань випускників всіх освітніх заснувань вимогам мінімуму змісту навчальних дисциплін, зафіксованого в державних освітніх стандартах, то в засоби оцінки доведеться включати тільки легкі завдання, посильні більшості. Ні про якого тестя, у класичному розумінні цього поняття, у такому випадку говорити не приходиться.