Авторы разобрали результаты школьного этапа олимпиады «Природа России» — 15 заданий по биологии и географии, 115 девятиклассников — методами описательной статистики, тетрахорических корреляций, кластеризации и сетей Изинга. Главный методический вывод: сильные связи между заданиями образовались не потому, что одни и те же дети знали материал, а потому, что многие одинаково не справились с трудными вопросами; самый сложный вопрос на определение растения не взяли около 80% участников. Отдельно отмечено, что шесть заданий из пятнадцати были с выбором одного ответа из трёх и допускали угадывание. Часть приведённых чисел между собой не сходится, поэтому материал требует проверки.
Практические выводы
- Самые трудные задания — на определение объекта по фотографии и по описанию: вид растения узнали 19% участников, следующий по трудности вопрос — 29%
- С двумя самыми лёгкими заданиями справились 92% и 91% участников — разброс трудности по набору очень велик
- Ни один участник не взял самый трудный вопрос, провалив первый, — пустая клетка в таблице и даёт корреляцию около 0,8
- Шесть заданий из пятнадцати были закрытого типа с тремя вариантами ответа, то есть допускали высокую вероятность угадывания
- Предложенная схема разбора адресована не победителям, а тем, кто не прошёл порог: мотивированным, но ещё недостаточно подготовленным детям
Связи между заданиями школьного этапа олимпиады возникли из-за общего незнания, а не общего знания: разбор пятнадцати вопросов на выборке девятиклассников
Авторы: Жукова Е.С., Артеменков С.Л., Баранов К.А.
Оригинал: Оценка предметных знаний учащихся по результатам олимпиады «Природа России»
Год и выпуск: 2025, № 2
Кому и для какого вопроса пригодится
Психологу и методисту, которые участвуют в разборе результатов школьного этапа олимпиад или любых внутренних диагностических работ. Основная мысль статьи прикладная и переносимая: набор заданий стоит анализировать не только по числу набравших проходной балл, но и по тому, какие задания оказались трудны совместно, — и именно эта картина показывает пробелы в подготовке.
Второй адресат — тот, кто составляет задания. Работа наглядно демонстрирует, что делает с результатом присутствие вопросов с выбором из трёх вариантов и что происходит, когда трудность заданий разбросана от 19% до 92% успешности.
Наконец, авторы формулируют не самую обычную для олимпиадного движения задачу: использовать данные отборочного этапа не для выявления сильнейших, а для поддержки тех, кто мотивирован, но порог не взял.
Что именно изучали
Материал — результаты школьного этапа олимпиады «Природа России» 2023/24 учебного года: 15 вопросов по программному материалу биологии и географии, онлайн-формат. Участники — 115 учеников девятых классов школ, лицеев и учреждений дополнительного образования одного из округов Москвы. Ответ кодировался бинарно: верно или неверно.
Методы: описательная статистика по каждому заданию, тетрахорические корреляции между заданиями, кластерный анализ с тепловой картой и сетевое моделирование методом Изинга — в двух вариантах, нерегуляризованном и с регуляризацией eLasso при разных значениях параметра разреженности. Всё выполнено в R.
Отдельно авторы разобрали форму заданий: девять требовали дать прямой ответ, шесть были закрытого типа с выбором одного варианта из трёх.
Что обнаружили
- Разброс трудности очень велик. Самые сложные задания — определение вида растения (успешность 19%) и следующий за ним вопрос (29%); у обоих нулевые медиана, мода и третий квартиль. Самые лёгкие взяли 92% и 91% участников.
- Ни один участник не ответил правильно на самый трудный вопрос, провалив при этом более лёгкий: в таблице сопряжённости соответствующая клетка пуста (47 не справились с обоими, 46 взяли только лёгкий, 22 взяли оба).
- Именно эта пустая клетка и порождает тетрахорическую корреляцию около 0,8 между двумя заданиями.
- Кластерное дерево объединяет задания то по теме (систематика; предметная номенклатура; охрана природы), то по форме (определение объекта по фотографии), то по сложности формулировки.
- Сеть Изинга без регуляризации выделяет группу из восьми связанных заданий — преимущественно тех, где нужно определить природный объект по описанию, рисунку или фотографии. Оставшиеся семь между собой почти не связаны и требуют не столько памяти, сколько сопоставления условий и межпредметных ходов.
- При сильной регуляризации в сети остаются лишь три ребра, и все три идут от самого трудного задания.
- Главный вывод авторов о природе этих связей: они образовались «по принципу совместного незнания» — большая группа участников одинаково не справилась с рядом заданий, при этом будучи заметно успешнее в остальных.
- Среди проблемных зон названы работа с тематическими текстами и терминологией и определение объекта по визуальному образцу; отсюда рекомендация — практические работы и выездные биологические практики.
Что из этого следует — и не следует
Ценность работы — в самом ходе рассуждения, а не в цифрах по конкретной олимпиаде. Высокая корреляция между двумя заданиями обычно читается как «эти задания меряют одно и то же» или «кто знает одно, знает и другое». Здесь показано, как та же корреляция возникает из противоположного: почти все не справились с трудным заданием, поэтому распределение по нему почти вырождено, и статистика связи взлетает. Пустая клетка в таблице сопряжённости — прямое тому подтверждение, и она же означает, что тетрахорическая оценка в этом месте неустойчива. Практический перевод: прежде чем толковать сеть связей между заданиями, надо посмотреть на их трудность.
Второе, что стоит взять: замечание о шести закрытых заданиях из пятнадцати. На отборочном этапе, где решается, кто пройдёт дальше, вопрос с выбором из трёх вариантов даёт заметную вероятность правильного ответа при полном незнании предмета, и авторы справедливо называют это требующим пересмотра.
Теперь оговорки.
Числа между собой не сходятся. Распределение участников по баллам приведено так: 7 человек ответили на все вопросы (6%), 42 человека (36%) набрали от 11 до 15 баллов, 59 человек (51%) — от 6 до 10, 16 человек (14%) — от 2 до 5. Три последние группы в сумме дают 117 человек и 101%, тогда как участников 115; если же семерых, ответивших на всё, считать отдельно, расхождение становится ещё больше.
Средняя успешность не согласуется с распределением баллов. В обсуждении сказано, что средняя успешность по закрытым заданиям составила 90%, а по остальным — 69%. Из этих величин средний результат участника получается около 11,6 балла из 15, то есть большинство должно было бы попасть в диапазон 11—15. Но по приведённому распределению в этот диапазон попала лишь треть выборки, а половина набрала от 6 до 10 баллов, что соответствует среднему около 9 баллов. Одновременно верными обе эти сводки быть не могут.
Описание тепловой карты противоречит таблице корреляций. Сказано, что максимальное значение корреляции равно 0,8, а минимальное 0,2. В таблице же есть отрицательные значения — до −0,2 — и один нуль.
Выборка ограничена и не случайна. Это 115 девятиклассников одного округа, добровольно вышедших на школьный этап предметной олимпиады, то есть заведомо более мотивированных к предмету, чем девятиклассники в среднем. Выводы о «проблемных областях в освоении знаний детьми 9-х классов» на всю возрастную группу не переносятся, а сравнения с другими округами, регионами или годами в статье нет.
Рекомендации шире полученного. Вывод о необходимости практических работ и выездных практик авторы делают из того, что задания на узнавание объекта по фотографии оказались трудными. Само по себе это разумно и поддержано ссылками на других педагогов, но данными этого исследования не проверялось: сопоставления результатов детей с практикой и без неё здесь нет.
Полезнее всего читать статью как образец процедуры: разбор набора заданий по трудности, затем по совместной решаемости, затем — содержательное толкование получившихся групп. Эту схему можно применить к собственным диагностическим работам, не завися от выводов про конкретную олимпиаду.
Ограничения
Авторы указывают, что наборы данных хранятся у организаторов олимпиады и опубликованию не подлежат, то есть независимая перепроверка расчётов по этим данным невозможна.