Показник труднощів дуже важливий у тестах успішності: якщо дібрані дуже складні завдання, то валідність і надійність тесту різко знижується, підвищується вірогідність випадкової оцінки. Дуже прості завдання призведуть до одноманітності результатів (більшість справляється зі всім набором завдань тесту, а незначна варіативність ускладнює оцінювання, викликає негативне ставлення до тесту. Трудність завдань, як правило, повинна бути не дуже високою і приблизно однаковою. Показником труднощів є відсоток осіб з виборки, які виконали і не виконали завдання. Вважається, якщо тільки 20% досліджуваних виконали завдання, то його можна оцінити як складне для даної виборки, якщо 80 % - як просте. Цей показник (індекс труднощів) є відносним, оскільки залежить від особливостей самої виборки (вікові, професійні, соціокультурні відмінності тощо). Розраховується він за формулою:
N
U= 100 ( 1 - ---- ),
N
де U- індекс труднощів у відсотках, N– кількість досліджуваних, які правильно розв’язали задачу, N– загальна кількість досліджуваних. Для завдань із пропонованими варіантами відповідей, коли є можливість вгадування, пропонується інша формула:
N
N- ----
m- 1
U= 100 ( 1 - ----------- ),
N
де – Nкількість досліджуваних, які не розв’язали задачу, а m- кількість варіантів відповідей [ 2, с.152; 4].
У тестах успішності основним принципом розміщення завдань є зростання їх складності. Разом з тим, рекомендується добирати гомогенні тести, тобто сконструйовані на одній або аналогічній змістовій та логічній основі. Тому, як правило, тести успішності розробляються на матеріалі навчальних програм і використовуються для контролю за формуванням відповідних знань, умінь та навичок.
Встановлення змістової та структурної відповідності завдання тесту реальній задачі тестування передбачає такі етапи роботи:
1) змістовий аналіз критеріальної задачі, опис її можливих форм і особливостей;
2) систематизація знань, умінь і навичок, які забезпечують виконання критеріальної задачі;
3) зразки тестових завдань і опис стратегії їх конструювання.
Для тестів успішності актуальною є проблема форми і змісту. Якщо для створення тестів інтелекту важливим є винайдення такої форми завдання, яка б допомогла легко сформулювати шукану залежність, то у тестах успішності краще використовувати завдання у форму аналогій, виключення зайвого та виявлення послідовності. Форму завдань обумовлює вид матеріалу, його природа. Якщо йдеться про дітей шкільного віку, то важливим є той факт, що вони повинні знати з різних навчальних предметів, тобто цілі кожного з них. На такій основі визначається релевантність завдань стосовно конкретних цілей. Американський психолог Bloomз цією метою ставить перед вчителями завдання: слід говорити про цілі навчання даного навчального предмета у поведінкових, отже легко тестованих термінах. Детальний опис таких процедур для вчителів запропонували Thorndikeі Hagen(1977). Стосовно створення тестів успішності для вищої школи у зв’язку із вищезгаданим виникають проблеми, що потребують оперативного розв’язання:
1) чітке визначення переліку умінь (компетенцій) з кожної навчальної дисципліни для спеціаліста з даного фаху;
2) тестуватися повинні такі терміни, які пов’язані із професійною поведінкою (поведінкові), а не із змістом, отже орієнтація у структуруванні дисципліни за вимогами кредитно-модульної системи повинна бути спрямована не на змістові, а на діяльнісні аспекти професійної підготовки.
Найбільш доцільним типом завдань для тестів успішності вважається завдання з кількома варіантами вибору. Таке завдання складається з двох частин:
1) основна частина, яка містить твердження або запитання;
2) варіантів вибору або певної кількості можливих відповідей ( з дістракторів та недістрактора), з яких обирається правильна відповідь (недістрактор).
Дістрактори (distractors) – варіант відповіді, наближений до правильного (зазвичай таких варіантів чотири або п’ять). Досліджуваний під час тестування повинен обрати єдино правильну відповідь, яка не є дістрактором.
Пол Клайн та Служба тестування у системі освіти США пропонують ряд правил, які допоможуть сформулювати ефективні завдання з варіантами вибору [4]:
1) простота: завдання повинно бути сформульовано настільки просто і точно, щоб неможливо було зрозуміти його неоднозначно, або на розуміння цього завдання міг вплинути словниковий запас досліджуваних чи їх здібності;
2) всі дістрактори повинні бути такими, щоб кожен з них міг привернути увагу досліджуваного (повинні бути "схожими" на правильну відповідь, наближеними до неї). У доборі дістракторів може допомогти складання списку неповних відповідей і подальше використання неправильних відповідей, записаних самими досліджуваними. Разом з тим слід переконатися, чи не заплутують дістрактори тих досліджуваних, знання яких не є дуже міцними;
3) тільки один варіант зі всього набору є недістрактором (правильною відповіддю). Іноді різні точки зору на дану проблему можуть заплутати досліджуваних;
4) відповідь на одне запитання не може бути ключем до відповідей на інші запитання (не варто використовувати дістрактори одного завдання у переліку до інших завдань);
5) уникати тестування тривіальних питань через їх простоту.
Рекомендується також:
6) уникати заперечень у основній частині, оскільки: а) це призводить до суперечності під час читання завдання; б) негативні знання у більшості випадків не настільки важливі, як позитивні.
7) місце правильної відповіді серед дістракторів повинно визначатися випадковістю, щоб попередити вгадування.
З огляду на можливість угадування завдання із варіантами відповідей, де дістрактори приблизно рівноцінні, зводять величину цього негативного чинника до вірогідності 1/5 у порівнянні із альтернативними завданнями, де цей показник становить 50%.
Тести з варіантами відповідей мають ряд переваг у порівнянні із іншими видами тестів.
Кожне завдання може бути високонадійним, оскільки можлива тільки одна правильна відповідь і відсутні фактори, що знижують надійність через суб’єктивність відповіді та суб’єктивність оцінки осіб, що проводять тестування.
Для даного виду завдань легко обчислювати показники, чому сприяє стандартизація відповідей та можливість комп’ютерної обробки даних.
Оскільки тести з варіантами вибору оцінюються точними показниками, є можливість одержати точну оцінку змістовності. Це важливо для визначення відповідності тесту тій групі досліджуваних і тій меті, задля досягнення якої він був створений.
Дуже обмеженим, як вважають спеціалісти по конструюванню тестів, повинно бути використання тестів з альтернативними завданнями чи дістракторами. Вони містять певне завдання, яке досліджуваний повинен оцінити як істинне або хибне ("так" чи "ні"). Виконання таких тестів передбачає використання "лише одного фрагмента знань" [4, с.73].
Складності, які виникають із альтернативними завданнями, такі:
1) вірогідність правильного вгадування недістрактора становить 50%;
2) дуже складно сформулювати твердження, на яке можна дати однозначну відповідь "так" чи "ні";
3) точність формулювання твердження виключає використання слів "всі", "кожен",, "завжди" і "ніколи", оскільки вже вони містять суперечність; разом з тим такі слова, як" іноді" і "часто" досліджуваний сприймає дуже суб’єктивно, що також не робить даний тест надійним;
4) те, що є незаперечно істинним або хибним у твердженні сприймається як тривіальне.
Вказана форма тестів далеко не завжди є ефективною. Доцільніше буває замінити її еквівалентними за своєю ефективністю завданнями із варіантами вибору. Найбільш ефективними альтернативні завдання є у випадку, коли пред’являється інформація, певні дані або дається питання про них, щоб протестувати, як вони розуміються, наскільки досліджуваний вміє аналізувати сприйняте. У такому випадку до твердження додається серія альтернативних завдань.
Завдання на відновлення відповідності – це третя категорія завдань, у яких досліджуваному пропонується встановити відповідність між елементами двох списків, наприклад між прізвищами педагогів і назвами педагогічних творів. Найбільше такі завдання доцільні для виявлення фактичної інформації. Вони більш компактні за формою. Разом з тим, такого роду завдання повинні враховувати ряд вимог. Кількість елементів другого списку (наприклад, назви педагогічних творів) повинна бути більшою чи включати елементи, яким немає відповідних. Це зменшує вірогідність ситуації вгадування.
Як наголошує автор керівництва по конструюванню тестів Пол Клайн [4], для тестів досягнень, а у педагогіці – тестів успішності найбільш придатні завдання названих трьох типів. Для прийняття рішення щодо використання того чи іншого виду тестів слід враховувати певні чинники:
- різноманітність видів завдань (завдання одного типу формують у досліджуваного хибну навичку відповідати на завдання лише даного типу);
- значна концентрація уваги під час виконання завдань одного типу , монотонність діяльності викликають у досліджуваного втому;
- для більшості ситуацій придатним є вид завдань із вибором варіанту відповідей; для одержання детальної фактичної інформації, пов’язаної із змістом навчального матеріалу, доцільними є завдання на встановлення відповідності та альтернативні завдання.
- для тестування розуміння матеріалу, представленого у запитанні, більш доцільними є альтернативні завдання; доцільною є розробка завдань різних типів, але їх співвідношення повинно бути оптимальним;