Обзор соединяет две темы, которые обычно обсуждают порознь: методологические трудности проективных рисуночных методик и возможности машинного обучения в психологическом оценивании. Авторы показывают, что нейросетевые модели уже дают высокую точность в формальных задачах — распознавании, классификации, предсказании возраста и пола по рисунку, — но предупреждают: перенос функции оценки на алгоритм не снимает исходных проблем метода, а наследует их, потому что модель обучается на тех же спорных экспертных разметках. Отдельно разбирается систематическая ошибка измерения в машинном обучении, когда обученная модель даёт разные оценки для подгрупп при одинаковом истинном уровне конструкта. Практических инструментов для российской школы обзор не предлагает — это карта направления и перечень требований к валидации.
Практические выводы
- Главное предупреждение обзора: проблемы валидности и неоднозначности трактовок рисуночных методик нужно учитывать при передаче оценки алгоритму, а не считать решёнными.
- Систематическая ошибка измерения в машинном обучении — разные прогнозы или разная точность для подгрупп при одинаковом истинном уровне конструкта.
- В тесте «Нарисуй ребёнка» регрессионные модели предсказывают возраст и пол с точностью свыше 80%, а вот с когнитивными и моторными характеристиками картина сложнее.
- По части шкал стандартные индикаторы объясняли большую долю дисперсии, чем новые метрики, хотя их добавление улучшало качество модели.
- На выборке более 13 000 рисунков детей 2—10 лет рост узнаваемости изображений с возрастом не объяснялся полностью развитием зрительно-моторной координации.
Нейросети для рисуночных тестов: что уже умеют модели и почему автоматизация не решает главную проблему проективных методик
Авторы: Сорокова М.Г., Филиппова Е.В., Булыгина М.В., Алексейчук А.С.
Оригинал: Применение методов искусственного интеллекта и машинного обучения в психологическом оценивании и анализе детских рисунков: обзор исследований
Кому и для какого вопроса пригодится
Педагогу-психологу, который пользуется рисуночными методиками и слышит обещания «нейросеть расшифрует рисунок за вас», и специалисту, оценивающему предложения цифровых сервисов психодиагностики. Обзор отвечает на два вопроса: что алгоритмы на детских рисунках действительно умеют сегодня и какие требования нужно предъявлять к такому инструменту, прежде чем допускать его до практики.
Отдельная ценность — первая часть обзора, где собраны методологические претензии к проективным рисуночным методикам. Это полезно само по себе, независимо от темы искусственного интеллекта: там названо, почему результат рисуночного теста считается ориентировочным и требует сопоставления с другими данными.
Что именно изучали
Обзор публикаций о применении методов искусственного интеллекта и машинного обучения в психологическом оценивании, с фокусом на рисуночных тестах. Работа построена как междисциплинарный анализ и разделена на три части: теоретические основания и полемика вокруг проективных рисуночных методик; общая характеристика методов машинного обучения; применение нейросетей для оценки индивидуальных особенностей и мониторинга психического развития детей. Формализованной процедуры поиска с числом найденных и отобранных публикаций авторы не приводят.
Что обнаружили
Исходная проблема не в технологии, а в методе. Авторы фиксируют, что интерпретация рисуночных тестов затруднена, сопряжена с риском произвольной трактовки и требует высокой квалификации. Большая часть современных зарубежных работ посвящена надёжности, валидности и новым системам формальной оценки, а критическому осмыслению теоретических оснований проективных методов — крайне мало работ. Отдельно называется риск механических результатов, когда психологи соединяют в одну батарею разные проективные методики без анализа структуры каждой, и то, что при публикации результатов часто не описывается ни ситуация проведения, ни процесс коммуникации с обследуемым, хотя значение имеет не только материал, но и способ его получения. Итоговая позиция, которую авторы приводят со ссылкой на отечественные работы: данные рисуночной диагностики следует рассматривать только как ориентировочные, требующие проверки сопоставлением со стандартизованными методиками.
Спор о валидности не закрыт. Часть исследователей считает невозможным оценивать интеллект по рисунку человека, другие приводят доказательства высокой надёжности и валидности — и для когнитивных способностей, и для скрининга эмоциональных и поведенческих проблем. Приведены показатели согласованности для одной из систем оценки: внутренняя согласованность 0,83—0,89, ретестовая 0,60—0,89, между оценщиками 0,86—0,89. Авторы перечисляют основные варианты методики «Нарисуй человека» с их возрастными диапазонами и назначением (когнитивная сфера, эмоционально-личностная либо обе), а также три подхода к оценке — поэлементный, глобальный и типологический, — не раскрывая содержания самих интерпретаций.
Что уже делают модели. В обзоре описаны инструменты автоматического распознавания и классификации для тестов «Нарисуй человека», «Рисование часов», «Нарисуй ребёнка». Заявленные применения — оценка когнитивного развития, перцептивных и моторных способностей, социального поведения, характеристика расстройств аутистического спектра, выявление лёгких когнитивных нарушений. Для одной ансамблевой модели на архитектурах VGG16, VGG19 и MobileNet сообщается о точности свыше 99% в классификации по данным о движении рук детей.
Наиболее содержательный результат — из теста «Нарисуй ребёнка». Регрессионные модели на новых метриках предсказывали возраст и пол с точностью более 80%. С двигательными и когнитивными характеристиками картина сложнее: по трём субшкалам скринингового опросника (коммуникация, крупная и мелкая моторика) стандартные индикаторы объясняли большую долю дисперсии, чем новые метрики; при этом добавление новых метрик к стандартным значимо улучшало качество модели — как для показателей, прямо связанных с рисованием, так и для некоторых, очевидной связи с ним не имеющих.
Применение к оценке благополучия детей в тяжёлых обстоятельствах. В одном исследовании методом LASSO по оцифрованным рисункам детей-беженцев искали связь закодированных особенностей рисунка с пережитой травмой и с возможностью реинтеграции; отдельные формальные признаки — отсутствие деталей, тёмные цвета, нечёткие и слабые линии — оказались связаны с более низкими уровнями реинтеграции. В другой работе состояние перемещённых детей оценивали с привлечением больших языковых моделей через извлечение формальных признаков, классификацию и кластеризацию; авторы этой работы считают, что такой подход снижает субъективность и повышает масштабируемость оценок.
Развитие рисунка как отдельная исследовательская линия. На выборке более 13 000 рисунков детей 2—10 лет обнаружен устойчивый рост и различимости категорий объектов, и узнаваемости изображений с возрастом, причём этот рост не объяснялся полностью параллельным развитием зрительно-моторной координации; узнаваемость измерялась предобученной свёрточной сетью с линейным классификатором.
Риск, специфичный для машинного обучения. Систематическая ошибка измерения возникает, когда обученная модель даёт разные прогнозируемые уровни для подгрупп, имеющих одинаковый истинный уровень конструкта, либо разную точность прогноза по подгруппам. Источников два — смещённые данные и ошибки обучения алгоритма; для смягчения, по мнению цитируемых авторов, нужны новые статистические и алгоритмические процедуры.
Что из этого следует — и не следует
Выводы авторов: применение этих методов в психологическом оценивании — устойчивый тренд; разработка инструментов требует особого внимания к объёму и качеству данных, выбору предобученных моделей и обязательной проверке валидности, надёжности и параметров качества; инструменты анализа детских рисунков перспективны для оценки развития и индивидуальных особенностей.
Практический вывод для специалиста осторожный. Сильные результаты получены там, где есть объективный критерий для обучения модели — возраст, пол, узнаваемость изображения, моторные показатели. Там, где критерием служит экспертная интерпретация эмоционального состояния, модель воспроизводит именно эту интерпретацию со всеми её спорными основаниями; высокая точность классификации в таком случае означает согласие с разметкой, а не валидность вывода о ребёнке. Заявленные 99% точности следует читать именно так — как показатель на конкретном наборе данных, а не как надёжность психологического заключения.
Чего из обзора не следует. Он не рекомендует ни одного готового инструмента и не содержит сведений о том, что какой-либо из описанных сервисов прошёл независимую валидацию на российской выборке. Он не отменяет исходного правила: результат рисуночной методики остаётся ориентировочным и требует сопоставления с другими данными — автоматизация оценки этого правила не меняет. И он не даёт оснований использовать рисунок для выводов о травматическом опыте конкретного ребёнка: приведённые работы описывают групповые статистические связи формальных признаков с обстоятельствами жизни детей, а не индивидуальную диагностику.