Директор Українського центру оцінювання якості освіти Ігор ЛІКАРЧУК: «Проблема не в тестових завданнях, а в рівні підготовки абітурієнта»

Емоційний градус дебатів довкола цьогорічного зовнішнього незалежного оцінювання, поєднаного з державною підсумковою атестацією з української мови та літератури, був високим. Коли опублікували відповіді, виявилося, що значна частина випускників не осилила кілька завдань, що стосувалися тексту сучасної письменниці Галини Пагутяк. Сама авторка, втрутившись у дебати, долила оливи до вогню. Дійшло то того, що суперечки почали кидати тінь на систему ЗНО — єдину нашу ефективну реформу за останні кільканадцять років.

Нині вже є висновок психометричного аналізу щодо спірних питань, встановлено пороговий бал «склав/не склав» для цього тестування та оголошено результати проведення першого ЗНО. Низка важливих питань — як вийти з цієї ситуації, чи буде наступного року поширено практику поєднання ЗНО та ДПА й на інші предмети — лишаються відкритими. «УК» обговорив їх із директором Українського центру оцінювання якості освіти Ігорем ЛІКАРЧУКОМ.

Директор Українського центру оцінювання якості освіти Ігор ЛІКАРЧУК.— Ігоре Леонідовичу, як прокоментуєте те, що сталося?

— Я відверто радий, що суспільство активно обговорює зміст тестів. Колись бачив, як воно відбувається на сторінках британської преси. Це хороший сигнал: значить людям небайдуже.

Слід пояснити, що тести за своєю структурою складаються із завдань різного рівня складеності. Базовий: 20% складних завдань, 20 % — простих, 60% — середнього рівня. Завдання з категорії складних, включене до цього тесту, — так званого когнітивного типу, яке вимагає не відтворення, а використання знань. У цьому випадку слід було не проаналізувати твір, а прочитати й показати, що зрозуміли прочитане. Для цього завдання обрали художній твір Галини Пагутяк. Воно знаходилось у банку тестових завдань з 2011 року. Сформоване фахівцями, завдання здобуло позитивні експертні оцінки та було апробовано.

— Уточніть, будь ласка, яким чином відбувається процедура відбору завдань із банку до складу тестів.

— Це завдання могли включити до тесту й через п’ять, десять років. Коли ми опублікували правильні відповіді, виявилося, що дуже багато абітурієнтів не впоралися з ним. Почався рух у соцмережах, підключилися частина вчителів, репетитори. Ми вирішили нічого не коментувати, доки не отримаємо результатів експрес-аналізу завдань. Цей аналіз показує основні психометричні характеристики завдань. Основними із них є три: складність, дискримінація та кореляція.

З’ясувалося, що два з п’яти завдань мають хороші характеристики, інші два — незадовільні. Про такі ми кажемо: абітурієнт їх не взяв. Одне завдання — десь посередині.

Крім того, ми проаналізували, як з цим завданням упоралися абітурієнти, які обрали поглиблений рівень тесту, тобто вважаються краще підготовленими. Виявилося, що для них ці завдання не становлять проблеми. Так, вони складні, але ми цього й не приховували. Вочевидь справа не в завданнях, а в рівні підготовки вступника.

Ще один висновок: укладачі тесту переоцінили пересічних вступників. Але винуваті не вони, а ті, хто їх навчав чи готував до складання ЗНО. Адже завдання не виходять за межі шкільної програми й Державного стандарту загальної середньої освіти.

Наголошую, у міжнародній практиці оцінювання і в тестологічній науці є правило: після проведення оцінювання обов’язково визначати психометричні характеристики кожного тестового завдання. Коли виявляється, що вони незадовільні, то такі завдання або видаляються з тесту, або всім учасникам зараховується однакова оцінка. Що, власне, зробили і ми. Між іншим, так робилося й у попередні роки. Але нині знайшлися сили, які використали ситуацію з провокативною метою. Гадаю, цьому є кілька причин.

Передовсім йдеться про високу цьогорічну вартість атестата про загальну середню освіту. Як проходила донині державна підсумкова атестація (ДПА)? Абсолютно формально. Іншими словами: її складали всі, незалежно від результатів навчання. Тепер на цьому поставлена крапка. Чи не вперше з’являться ті, хто за ДПА отримає один бал. Інше питання — шкільні медалісти. Торік в Україні понад 8% школярів отримали золоті й срібні медалі. Хоч така відзнака нині радше засіб морального заохочення, але в багатьох школах навколо них створена корупційно-кумівська обстановка. Тепер може статися так, що ЗНО/ДПА не складено, отже, і медалі не буде. У Києві, скажімо, є дуже крутий ліцей, в якому намічалося 20 медалістів. Після тестування може бути один. Як їм це пережити?

Результати тестування з української мови та літератури визначають і кількість тих, хто апріорі в цьому році не зможе стати студентом вишу. Йдеться про поріг «склав/не склав», встановлення якого ми розпочали цього року. Так ми перейшли певний рубікон: за допомогою незалежної оцінки зможемо говорити про справжні результати роботи освітньої системи загалом та кожного закладу зокрема. Чи всім це сподобається?

Є і суб’єктивні чинники, що зумовили провокативні дії навколо тесту. Розумні батьки, отримавши результати тесту, справедливо починають висувати претензії закладам освіти і вчителям на кшталт: «А чого ви навчили за 11 років?». Гадаю, що це нормальне цивілізоване явище. Але не для величезної кількості вчителів і закладів освіти, які не звикли відповідати за результати своєї роботи. Чи не тому в деяких із них було організовано масове написання листів протесту. За однаковісіньким зразком. Ми отримали до 300 таких ідентичних за змістом листів. Причому, в окремих ми нарахували до 50 помилок! То на які бали вони претендують? Звертаюся до організаторів такого скаргописання: «Ви хоча б перевіряйте те, що пишуть ваші вихованці». Окремо скажу про репетиторів. В Україні сформувалася дуже потужна армія людей, що займаються індивідуальною педагогічною діяльністю. І це дуже добре, бо є альтернатива нашій не дуже якісній шкільній освіті. Та, на жаль, у багатьох випадках репетиторство перетворилося на елементарне заробітчанство. За кілька днів до тестування з української мови і літератури київські репетитори почали брали 50 євро за годину. Стверджували навіть, що знають зміст тестів та мають джерела в УЦОЯО. Після тестування виявилося, що ні завдань не знають, ні підготувати учнів належним чином не можуть. Тому батьки до багатьох репетиторів почали висувати претензії. А ті закликати до акцій спротиву, мовляв, завдання не такі.

Гадаю, що з репетиторством щось потрібно робити. Люди, які займаються цією діяльність, очевидно, повинні отримувати ліцензії, платити податки тощо. Наголошую: у цій сфері обертаються дуже великі гроші.

— Повідомлялося, що цього року на спробі списати тести попалися й учасники Малої академії наук, і потенційні золоті медалісти...

— Так, подібні ситуації мали місце. І це — знову підстава для висновків.

— Ситуація також показала: до реформи багато хто ставиться позитивно, доки зміни не торкнуться їх самих. Мине рік, прийде час нового тестування. Що робити, аби проблема не повторилася?

— Надалі вся справа — у руках Міносвіти. УЦОЯО не приймає політичних рішень. Можна злякатися й на наступний рік відмовитися від поєднання ЗНО та ДПА. Або поширити цю практику на інші предмети. Якщо ми хочемо реальних реформ, то повинні не кивати, що завдання погані, а шукати причину. Термометр не винуватий, коли у хворого температура.

До речі, завдання когнітивного типу широко використовуються в міжнародних порівняльних дослідженнях якості освіти — PISA, PILS, які дають змогу порівняти рівень знань учнів тих країн світу, що беруть у них участь. Україна не брала жодного разу! Й, можливо, тому такі завдання нам видаються дивними.

Треба думати над змістом навчання, запроваджувати систему моніторингу якості освіти, проводити міжнародні порівняльні дослідження. Потрібно не готувати учнів до складання ЗНО, а навчати так, щоб вони могли його скласти.

— Засідання експертної комісії з визначення порогового балу «склав/не склав» для тесту з української мови та літератури вперше транслювалося онлайн — дискусія була емоційною...

 — УЦОЯО на основі статистико-математичних розрахунків запропонував визначити пороговим — 25 балів. Тоді його не подолали б 13,3% учасників ЗНО. На жаль, експерти з цим не погодилися й знизили поріг до 22 балів. Тепер його подолають 91,5% абітурієнтів. Пропозицію знизити бал внесли представники університетів. Відверто кажучи, це зроблено для того, аби прийняти до університетів якомога більше вступників, незалежно від рівня їхніх знань. Фактично експерти підтримали ідею навстіж відчинених дверей до університетів. Таке рішення може завдати шкоди тим абітурієнтам, які мають кращі результати.

— Уже відомі результати цьогорічного тестування. Прокоментуйте їх.

— На жаль, вони невтішні. Високий рівень навчальних досягнень після державної підсумкової атестації з української мови і літератури показали всього 11% випускників шкіл, а 19 % — отримають оцінки «1», «2» або «3». Якщо до цих 19 % додати 41% тих, хто має середній рівень, то маємо картину дуже невтішну. Між іншим, кількість тих, хто нічого не знає, однакова у місті й у селі.

Показово, що найбільша кількість абітурієнтів набрали всього 34 тестових бали із 104 можливих. Уявляєте, про який рівень йдеться? Максимальну кількість тестових балів набрали лише 12 осіб із 275 тисяч учасників оцінювання. 15 осіб із 20 тисяч отримали 200 рейтингових балів за тест поглибленого рівня.

— Опоненти можуть сказати, що тест поганий чи неякісний. Тому й такі результати.

— Тест і окремі його завдання можуть комусь подобатися чи не подобатися. Але є чіткі показники якості тесту, які визначаються методами статистико-математичного аналізу. Один із них — показник надійності. У міжнародній практиці для тестів високих ставок (це дуже важливі та якісні тести) він є прийнятним, коли дорівнює 0,90 та більше. Цьогорічний тест із української мови та літератури має показник надійності 0,94. Тож будь-яких підстав говорити про низьку якість тесту немає. Якщо хтось не вірить цьому показнику і має бажання його перерахувати, то за кілька тижнів ми підготуємо офіційний звіт про результати оцінювання і там будуть усі первинні дані для такого перерахунку.

Тетяна МОІСЕЄВА
"Урядовий кур'єр" 

МОВОЮ ЦИФР

♦ Лише 158 учасників за тест базового рівня отримали 200 рейтингових балів, що становить 0,06 % від загальної кількості тих, хто брав участь в оцінюванні.

♦ Серед 21 тисячі абітурієнтів, які складали тест поглибленого рівня не виявилося жодного, хто набрав 136 балів — максимальну кількість тестових балів.

♦ Більшість абітурієнтів не може письмово висловлювати свою думку. 20 відсотків учасників оцінювання навіть не розпочинали виконувати відповідне завдання тесту. Лише 334 учасника із 275 тисяч за виконання цього завдання отримали максимальну кількість тестових балів. 

♦ Результати оцінювання засвідчили, що багато освітніх закладів, які мають гучні назви не забезпечують належний рівень знань своїх випускників: у спеціалізованих школах 6,7 % випускників показали початковий рівень знань з української мови і літератури, в колегіумах — 7,5%, гімназіях — 4,9% випускників.