Как собирать обратную связь от участников инклюзивной программы, когда участник не может её дать: три уровня оценки и рабочие инструменты

База знаний Профессиональное развитие
, , , , ,
1

Материал разбирает, как оценивать результат программы для участников с ментальными особенностями, когда сами участники не могут заполнить анкету, а отзывы сопровождающих комплиментарны и малоинформативны. Ключевой приём — заранее перевести цель в наблюдаемые признаки (время на экспозиции, число эпизодов нежелательного поведения, участие в интерактивных элементах, желание вернуться) и разложить обратную связь по трём уровням: непосредственная реакция, усвоенное и пережитое, изменения поведения. Приведены рабочие инструменты — листы наблюдения с конкретными параметрами, чек-листы, анализ домашних заданий — и правило сравнивать данные с замерами до изменений в программе.

Практические выводы

  • Цель программы нужно заранее перевести в наблюдаемый признак, иначе оценивать будет нечего
  • Три уровня обратной связи — реакция, усвоенное и пережитое, изменения поведения — дают готовую рамку для сбора данных
  • Лист наблюдения с подсчётом вопросов и ответов работает там, где анкета невозможна; участникам без речи предлагают поднимать руку
  • Данные без точки сравнения малоинформативны: нужен либо замер до изменений, либо другая группа
  • Отзывы сопровождающих и яркие единичные истории годятся для гипотез и обучения специалистов, но не для вывода об эффективности

Как собирать обратную связь от участников инклюзивной программы, когда участник не может её дать: три уровня оценки и рабочие инструменты

Материал подготовлен по статье специалистов ФРЦ МГППУ и ИКОМ России о принципах организации исследования инклюзивных музейных программ.

Когда пригодится

Когда специалист ведёт цикл занятий для группы детей или взрослых с ментальными особенностями — в музее, центре, школе — и должен показать, что программа работает, а привычные способы оценки не годятся. Участники часто не могут заполнить анкету или сформулировать отзыв из-за речевых или интеллектуальных нарушений, а отзывы сопровождающих взрослых, как отмечают авторы, обычно комплиментарны и малоинформативны для оценки результата.

Типичная картина, которую авторы обнаружили при разборе заявок на грантовый конкурс: заявленные в сценарии цели слабо связаны с полученными результатами, критерии оценки не зафиксированы или сформулированы нечётко, а выводы о качестве программы делаются без собранных данных. Материал помогает выстроить оценку заранее — на этапе, когда программа ещё проектируется.

Педагогу-психологу школы он пригодится и в смежной ситуации: когда класс выезжает на внешнее мероприятие и нужно договориться с принимающей стороной о том, что считать успешным посещением.

Основное содержание

Разбор построен на опыте исследования 2022 года, в котором 30 отобранных по конкурсу музейных специалистов адаптировали свои программы с экспертами ФРЦ МГППУ, а затем собирали обратную связь по индивидуально спроектированному дизайну.

1. Ставьте цель, достижимую в рамках запланированного взаимодействия, и переводите её в наблюдаемый признак. При работе с участниками с ментальными особенностями целью чаще всего оказывается снижение ограничений для участия. Признаками её достижения авторы называют: увеличение времени пребывания на экспозиции, желание вернуться, снижение числа эпизодов нежелательного поведения, более активное участие в интерактивных элементах, отсутствие различий в том, что узнали и пережили участники с ментальными нарушениями и без них.

2. Заранее договоритесь с организаторами группы. Предварительное взаимодействие с педагогами или родителями, которые приведут группу, нужно, чтобы уточнить запрос и скорректировать программу под конкретных участников. По данным опроса 160 музейных специалистов, 80% считают пожелания сопровождающих основным источником сведений о потребностях участников.

3. Адаптируйте саму программу и среду. Это выбор экспонатов и материала, упрощённое изложение, приемлемые формы взаимодействия, приёмы предупреждения нежелательного поведения и отдельный анализ среды на сенсорную безопасность.

4. Разложите обратную связь по трём уровням (авторы опираются на первые три уровня модели Киркпатрика). Первый — непосредственная реакция: понравилось или нет. Это простой способ получить большой объём данных, и он информативен в динамике: если снижена сенсорная нагрузка, растёт доля участников и сопровождающих, для которых посещение прошло успешно. Второй — то, что участники должны были узнать, почувствовать или пережить: ответы на вопросы во время и после занятия, реакции на вопросы ведущего, участие в интерактивных элементах, замечания, связывающие увиденное с собственным опытом. Третий — изменения поведения: число и продолжительность эпизодов нежелательного поведения, желание вернуться, вопросы, выходящие за пределы увиденного.

5. Используйте структурированные инструменты, а не только впечатления. Рабочий набор: анкетирование в разных формах, наблюдение (непосредственное и опосредованное), листы наблюдения и чек-листы, анализ диагностических домашних заданий и специфики их выполнения. Пример параметров листа наблюдения из практики участника исследования: количество вопросов ведущему по теме занятия, количество вопросов на отвлечённые темы, количество открытых и закрытых ответов на вопросы ведущего (участникам без речи предлагалось поднимать руку), соблюдение норм социально приемлемого поведения, эмоциональное состояние, общая активность.

6. Сравнивайте с чем-нибудь. Информативность данных резко растёт, если они сопоставляются с данными других участников или с замерами до внесения изменений в программу. Иначе остаётся набор цифр, из которого не следует вывод.

7. Яркие единичные истории не выбрасывайте, но не используйте как доказательство. Авторы прямо перечисляют, почему: их отсутствие не означает неуспешность программы; часть участников не выражает положительные эмоции привычным способом, а их сопровождающие слишком заняты поведением подопечного, чтобы делиться впечатлениями; неструктурированные впечатления невозможно сравнивать между группами и программами.

Ограничения

Авторы сами называют границы предложенного подхода. Объективная оценка изменений, напрямую связанных с состоянием участника (снижение гиперактивного или навязчивого поведения), доступна только клиническому специалисту, и такое улучшение редко входит в цели посещения — интерпретировать его музейному или педагогическому работнику не следует. Сбор данных на момент публикации не был завершён, методические рекомендации и «библиотека» инструментов обратной связи только готовились. Вывод заключения о росте интереса, вовлечённости и самостоятельности участников опирается на обратную связь от родителей и сопровождающих без сравнительных условий, поэтому он относится к тому, что наблюдали взрослые, а не к доказанному эффекту программ.

Источники