При конструюванні анкет для експертизи учбової книги може бути застосований досвід соціологічних досліджень [7]. Використовуючи, наприклад, «Вимоги до шкільних підручників і інших учбових книг», складені в НДІ СиМО АПН СРСР, розробляється проект анкети типа ШП (нижче приведений її фрагмент) і прямує в експертні комісії з проханням проранжировать включені в неї показники якості ШП і виразити своє відношення до запропонованих варіантів відповідей на них.
Анкета ШУ
Індекс | Формулювання критерію | Ранг | ШУ | ШУ |
А | Відповідність змісту підручника сучасномурівню розвитку науки і техніки | |||
1 | Науковість учбового матеріалу | |||
2 | Комуністична спрямованість учбового матеріала | |||
3 | Внутрі- і міжнаочні зв'язки | |||
Б | Відповідність змісту підручника потребампромислового і сільськогосподарського виробництва | |||
4 | Політехнічна спрямованість учбового матеріала | |||
5 | Експериментальна спрямованість матеріалу | |||
6 | Генералізує матеріалу | |||
7 | Структуризація учбового матеріалу | |||
8 | Методична повнота | |||
9 | Логічність викладу матеріалу | |||
10 | Методична цінність ілюстративного матеріала | |||
11 | Управлінська функція підручника | |||
Примітки: 1) ШУ, ШУ – шифри порівнюваних підручників або розділів (глав, параграфів) одного підручника; 2) в приведеному фрагменті включені тільки основні критерії. |
Для ранжирування основних показників-критеріїв пропонується використовувати п-бальну шкалу, де п – число показників анкети (указується, що однакові ранги слід привласнювати не більше ніж 1/3 показників), а для оцінки допоміжних критеріїв (з подвійною індексацією) – 5 – або 10-бальну шкалу. Своя згода з варіантами відповідей на критерії якості пропонується дати з допомогою знаків: «+», «–» «?», що означає відповідно;«згоден», «не згоден», не «зрозуміло». Нижче приведений фрагмент анкети ШП, заповнений одним з експертів.
Індекс | Формулювання критерію, його змісті | Оцінка |
3 | Внутрі- і міжнаочні зв'язки | 6 |
3.1. | Наявність прямих посилань на раніше вивчений матеріал: | 5 |
– достатня кількість | + | |
– недостатня кількість | + | |
3.2. | Наявність комбінованих вправ, задач, прикладів: | 7 |
– достатнє | + | |
– недостатнє | + | |
3.3. | Наявність прикладів з інших предметів: | 8 |
– достатнє | + | |
– недостатнє | + |
Якщо при оцінці якості ШП використовуються анкети типу ШП-1, то по кожному критерію експерт виставляє оцінку в балах (або в рангах) кожному оцінюваному підручнику (під шифрами ШП-1, ШП-2 і т.д.). Потім ці оцінки підсумовуються по вертикалі (по всіх показниках анкети), тобто знаходиться загальна оцінка і-го ШП, проставлена j-м експертом, і по горизонталі (поодинці і-му показнику) для кожного ШП по всіх анкетах, тобто знаходиться загальна оцінка кожного ШП по окремих показниках якості, проставлена всіма експертами. В найпростішому випадку підсумовуються виставлені місця (ранги) і ШП (рукопис або діючий), що набрав якнайменшу суму місць (або найбільша кількість балів), признається кращим. Узагальнена оцінка і-го ШУ (або по і-му показнику анкети) обчислюється по формулах типу:
або 3)Тут: Qі – групова експертна оцінка і-го ШП або його розділу;
– індивідуальна експертна оцінка і-го ШП, поставлена j-м експертом; Kj– коефіцієнт компетентності j-го експерименту; Vi – ваговий коефіцієнт i-го ШП (розділу); N – чисельність експертної групи.При оцінці якості учбової книги часто виникає задача вибору кращої з числа діючих або поступили на конкурс. При цьому нерідко оцінки можуть бути близькі один до одного, тому виникає питання про помітність їх з необхідним рівнем значущості (L= 1-γ), інакше кажучи, виникає задача порівняння незалежних вибірок, для чого можуть бути використані різні критерії: параметричний t-критерій, медіанний, критерій Колмогорова і Смірнова і інші.
Відомо, що якщо 1-й ШП набрав Q1 балів, а 2-й – Q2, то при Q2>Q1 2-й ШП краще 1-го ШП, якщо виконується нерівність
Q2-
Q2>Q1 + Q2 (4)де
Q1 і Q2 – погрішності визначення величин Q1 і Q2 Можна показати, що два ШП, що набрали відповідно оцінки Q1 і Q2, помітні, якщо:(Q2-Q1)min>(Q1 + Q2)·(1 – γ). (5)
Хай при експертизі двох ШП прийнята така шкала, що розмах оцінок d = 2, а
Q = 0,5 бали. Припустимо, що в 15-ти актах з 20 (N = 20)) 1-е місце віддано ШП-1, а 2-е – ШП-2. Тоді сума місць, набрана ШП, рівна Q1 = 15 1+5·2 = 25, а ШП – 2 – Q2=5·1+15·2=35. Чи можна віддати перевагу ШП-1 (Q1<Q2)? Використовуючи формулу (2), знаходимо, що γ ≈0,9. Тоді AQ1 =25·0,1=2,5, а AQ2 =35–0, l=3,5. Видно, що Q1+ Q1<Q2 – Q2 (27,5<31,5). Таким чином, з довірчою вірогідністю не нижче 0,9 можна віддати перевагу ШП-1.Нерівності типу (4) або (5) необхідно використовувати при порівнянні якості двох підручників (якщо їх число більше два, то попарно), коли їх якість виражається кількісно (бали, сума місць).
На закінчення відзначимо, що експертні оцінки можуть бути використані і при експертизі навчально-методичних комплексів [9, 10].
Аналіз впливу підручника на перезагруження учнів
У зв'язку з перебудовою всієї системи народної освіти пройшли конкурси на нові підручники по багатьох предметах. При їх перевірці, окрім іншого, необхідно здобувати оцінку нових підручників з погляду витрат учбового часу.
Для вирішення цієї задачі пропонується система моделей, реалізована на ЕОМ і дозволяюча прогнозувати учбовий час, який необхідний для засвоєння підручника.
На першому етапі проводиться аналіз змісту підручника з метою з'ясування кількості логічних понять і відносин, які є в кожному розділі (параграфа) і в підручнику в цілому.
Трудність учбового тексту залежить як від його властивостей, так і від уміння школяра працювати з ним. Ми розглядатимемо тільки вплив властивостей тексту на його трудність, тобто складність тексту.
Складність тексту – його об'єктивна властивість, не залежна від рівня розвитку і підготовки читача. Спираючись, як це прийнято в психології, на три рівні розуміння тексту, розглянемо два компоненти його складності: інформативність і ясність структури тексту. Такий підхід, практично просто реалізовуваний, дозволяє всесторонньо і достатньо глибоко проаналізувати шкільний підручник, одержати ряд чинників, що впливають на перевантаження, допомогти вчителю у виборі оптимального варіанту вивчення учбового матеріалу.
Відомо, що складність тексту залежить від новизни його змісту, кількості інформації, що міститься в ньому, причому ніж інформативніший текст, тим він важчий для розуміння.
Природно, що нас цікавитиме семантична інформація, яка перш за все прагне врахувати значення повідомлення, що цілком відповідає загальним принципам дидактики. Для розрахунку семантичної інформації використовуватимемо тезаурус, під яким звичайно розуміють деякі знання, якими володіє суб'єкт.
Таким чином, семантична теорія інформації враховує, що значення повідомлення сильно залежить від того, якими знаннями володіє сприймаюче повідомлення особа. Це якраз і грає головну роль в дидактиці, оскільки очевидно, що по-різному підготовлені учні (іншими словами, мають різний тезаурус) засвоюють різну інформацію з одного і того ж тексту. Для педагогіки важливо уміти обчислити семантичну інформацію в різних повідомленнях, а значить, треба уміти будувати тезаурус.
Пропонована методика дозволяє не тільки побудувати тезаурус підручника на різних етапах процесу навчання, але і з'ясувати відносну доступність різних частин підручника. На його основі далі будується матриця відносин між різними розділами підручника, вживана для аналізу ясності структури тексту.
Якщо результати аналізу задовільні, то встає задача оптимального розподілу відведеного на вивчення цього змісту учбового часу між параграфами, яка дозволяє прогнозувати очікуване перевантаження, породжене цим підручником, а значить, і необхідний учбовий час (другий етап).
У тому разі коли зміст подібно тому, що раніше вивчалося в школі, розподіл проводиться на підставі статистичних даних (1). Нас цікавитиме більш важливий випадок – зміст підручника носить експериментальний характер і повних аналогів не має.
Як параметри моделі виступають:
— керовані чинники – час навчання на кожну тему;
— спостережувані результати – прогнозоване перевантаження учнів по кожній темі і предмету в цілому і вірогідність вивчення
предмету за вказаний час.