Позитивные изменения. Том 2, № 2 (2022). Positive changes. Volume 2, Issue 2 (2022)

В качестве своих ключевых показателей эффективности организаторы проекта называют количество участников и волонтёров, количество проведённых мероприятий, охват социальных сетей, активность публикаций в СМИ, размер привлечённых средств (Вайнер, 2021). Представляется, что данные показатели полезны для оценки операционной деятельности проекта, но лишь отчасти связаны с оценкой достижения поставленной цели в виде увеличения осведомлённости и вовлечённости граждан в тематику экологической повестки.

ОПЫТ УЧАСТНИКОВ И ОРГАНИЗАТОРОВ ПРОЕКТА «ЧИСТЫЕ ИГРЫ»: МОТИВЫ, УСТАНОВКИ, ОЖИДАНИЯ

В 2021 году Центр оценки общественных инициатив ИППИ НИУ ВШЭ провёл проект-исследование «Мотивы и экологические установки волонтеров проекта Чистые игры», результатом которого стал аналитический отчет.

Среди опрошенных респондентов – участников «Чистых игр» – более двух третей имели опыт волонтёрства и до участия в проекте, однако, как отмечается, это было событийное волонтёрство и адресная помощь. Более половины участвовали в проекте в первый раз. Как указывают исследователи, судя по вовлечённости окружения, участие в «Чистых играх» стало одобряемой деятельностью, о которой стремятся рассказать близким.

Участие в «Чистых играх» стало одобряемой деятельностью, о которой стремятся рассказать близким.

Региональные организаторы проекта выступили в качестве интервьюируемых. Они в гораздо большей степени относятся к полю экологического активизма: у всех был опыт проектного участия в социальной деятельности и их всех беспокоят проблемы окружающей среды.

Однако в собранных в рамках пилотного исследования данных есть особенность: опрос невозможно интерпретировать в статистических категориях из-за малой и нерепрезентативной выборки. Причем, проведение репрезентативного опроса для генеральной совокупности в виде всех участников «Чистых игр» представляется чрезвычайно трудозатратным (размеры выборки были бы сопоставимы с общероссийскими, а выборка бы предполагала районирование по командам-участникам). Представления об экологической повестке также требуют серьёзной методики с «удорожанием» опроса для прохождения респондентом. Поэтому одним из самых рациональных способов использования качественных данных является их вторичный анализ в рамках методологии контрибутивной оценки.

АНАЛИЗ ВКЛАДА

В центре исследовательского дизайна, основанного на контрибутивной оценке, ставится агент изменений с описанием истории изменений от самого информанта. Через взаимодействие с интервьюером выясняется, какое значение имело вмешательство для объекта социального воздействия.

Внутри методологии контрибутивной оценки существует метод протокола качественной оценки воздействия (Центр технологических инноваций, Институт социально-экономического проектирования НИУ ВШЭ, 2020). Его суть заключается в том, чтобы спросить у информанта о том, какие изменения в его жизни произошли за время проведения проекта, но без акцентирования внимания на самом проекте и его содержании. Так, через биографическую информацию достигается доступ к причинно-следственным связям в представлениях информанта, которые используются для качественного описания социального воздействия. Например, этот метод использовался во время оценки проектов развития в сельскохозяйственных сообществах Африки.

Наряду с протоколом качественной оценки воздействия существует метод «наиболее значимых изменений». Это партиципаторный качественный метод, который, в частности, использовался командой (Polet et al., 2015) исследователей для оценки социального воздействия программ доступной медицины в Филиппинах, Палестине, Демократической Республике Конго и Сальвадоре. Метод состоит в сборе персональных историй участников программ, где они не анонимно, от своего имени, высказываются о своём восприятии проекта, своей роли в нём. Это позволяет наполнить контекстом формальные показатели, поняв социальное значение и воспринимаемый смысл проведённого вмешательства.

В центре исследовательского дизайна, основанного на контрибутивной оценке, ставится агент изменений с описанием истории изменений от самого информанта.

НАИБОЛЕЕ ЗНАЧИМЫЕ ИЗМЕНЕНИЯ «ЧИСТЫХ ИГР»

Результаты проведённого проекта-исследования «Мотивы и экологические установки волонтеров проекта «Чистые игры» можно использовать для демонстрации логики контрибутивной оценки. Среди мотиваций организаторов авторы отчёта выделяют игровой формат, масштаб и известность проекта, волонтерство как способ развлечения. И только часть опрошенных говорит о своём желании развить экологическое просвещение в своём регионе.

Дополнительно, повторный взгляд на интервью показывает, что большая часть опрошенных региональных организаторов не знает о мотивах других организаторов, отмечая, что эти мотивы могут быть разными. Социальная значимость, в представлениях организаторов, сводится к собственно уборке мусора как таковой, без внимания к культурному аспекту. При этом, при обращении к теме «экопросвещения», опрошенные в большинстве своём начинали говорить о других проектах, а не о «Чистых играх». Наиболее приближенное к предполагаемому результату представление о том, какую просветительскую роль играют «Чистые игры» сформулировано так:

«[Это] можно назвать таким агрессивным просвещением. То есть человека вытаскивают на место, показывают, что есть антропогенный мусор. Вот, пожалуйста, убирайте – это не стыдно».

После такого описания образовательной задачи остаётся вопрос – какие ценностные установки, помимо важности уборки мусора, предлагается усвоить участнику проекта?

Социальная значимость, в представлениях организаторов, сводится к собственно уборке мусора как таковой, без внимания к культурному аспекту.

Организаторы выделяют следующий набор мотиваций для присоединения к проекту: интересное занятие, которое приносит пользу, получение призов/баллов, желание самореализоваться, харизматичный организатор. Эта информация является показательной на двух уровнях. Само по себе отсутствие осознания важности участия в экологических проектах среди причин участия говорит о проблеме со стороны «спроса» – установки участников не включают эту мотивацию. Однако это же характеризует ситуацию со стороны «предложения» – по-видимому, исходя из таких установок, организаторы не позиционируют проект для участников как возможность быть вовлечённым в экологическую повестку и сами воспринимают эту возможность не как первостепенную причину для участия.

В рамках внутреннего опроса региональных организаторов при ответе на вопрос «Что вы любите в «Чистых Играх?» только 14 человек из 93 опрошенных (15 %) указали социальную значимость проекта. Например, были даны образцовые ответы для ответственного экоактивиста:

«Чистые Игры учат детей бережно относиться к природе, учат основам раздельного сбора мусора. Есть категории людей, которых уже не научить. Чистые Игры позволяют достучаться до детей, молодежи, привить им любовь к месту, где они живут. И я все-таки, надеюсь, что те люди, которые в них поиграли, будут более ответственными за свое поведение»

«Благодаря Чистым Играм меняется отношение и мышление людей к экологии и экологическим проблемам и всё это в игровой и увлекательной форме»

В основном ответы на этот вопрос несли отсылку к игровой форме, соревновательности, командообразованию – без упоминания экологических тематик. Например:

«Азарт, праздник и позитивное настроение и общение, которое люди начинают ощущать в процессе»

«Интересный формат. Чувствую себя организатором большого и важного события»

«Дело хорошее. Позволяете почувствовать причастность к большому полезному делу».

Однако целью проекта заявлено не просто убрать мусор или провести развлекательное мероприятие для горожан, но и увеличить осведомлённость и вовлечённость людей в проблемы заботы об окружающей среде. И если на уровне организаторов преимуществами проекта называются не социальный эффект, а опосредующие качества вроде формата и атмосферы, то получается, что социальное воздействие остаётся лишь второстепенным фактором.

Благодаря Чистым Играм меняется отношение и мышление людей к экологии и экологическим проблемам и всё это в игровой и увлекательной форме.

Логика контрибутивной оценки состоит в том, чтобы посмотреть на ситуацию глазами участника проекта и через его нарратив увидеть фактор изменений его установок. И на основании имеющихся данных представляется затруднительным констатировать сам факт того, что организаторы проекта на местах осознают его в терминах социального воздействия. А потому при отсутствии наблюдаемого позитивного эффекта в установках, выявление его причины становится нецелесообразным.

Таким образом, несмотря на ограниченное количество и качество данных, имеющихся выводов достаточно для того, чтобы констатировать неполное соответствие полученных результатов заявленным целям проекта социального воздействия.

ПЕРСПЕКТИВЫ ИСПОЛЬЗОВАНИЯ МЕТОДОЛОГИИ КОНТРИБУТИВНОЙ ОЦЕНКИ В КЕЙСЕ «ЧИСТЫХ ИГР»

Что можно сделать для более глубокой оценки социального воздействия проекта средствами контрибутивной оценки?

В соответствии с методом «наиболее значимых изменений» (Davies & Dart, 2005), применительно к рассматриваемому кейсу, исследовательский дизайн мог бы выглядеть следующим образом:

1. Концептуализация «осведомлённости и вовлечённости людей в проблемы заботы об окружающей среде» как предмета изменения.

2. Разработка гайда качественного опроса для региональных организаторов и для участников, с целью исследования восприятия предмета изменения и роли респондента в этом изменении.

Предлагаемый способ использования методологии контрибутивной оценки включает не просто качественную оценку результатов, но дизайн исследования, действие которого само по себе является инструментом позитивных социальных изменений.

3. Определение отчетного периода, в рамках которого предполагается достичь изменений.

4. Неанонимные интервью об опыте участия в проекте собираются, как минимум, в двух точках – до участия в проекте и после него. В них участники проговаривают своё восприятие к предмету изменения, а исследователь старается зафиксировать изменения в этом восприятии, произошедшие в ходе проекта.

5. Отбор «наиболее значимых историй» – тех, в которых позитивные изменения проекта были наибольшими, и которые были бы выражением общих тенденций.

6. Обратная связь с участниками для уточнения деталей историй.

7. Контент-анализ материалов интервью в соответствии с полученными из историй кодами. Предполагается, что значимые истории изменят понимание самого проекта и приведут к формулировке новых концептов, которые используются для интерпретации опыта участников.

8. Внесение организационных изменений в проект на основании выводов исследования.

Предлагаемый способ использования методологии контрибутивной оценки включает не просто качественную оценку результатов, но дизайн исследования, действие которого (participatory action research) само по себе является инструментом позитивных социальных изменений. Он позволяет и организаторам, и участникам проекта глубже понять свои собственные цели и представления о социальном проекте.

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ:

1. Вайнер, В. (2021). Новая жизнь издательского проекта «Каталог «Социальное предпринимательство России». Позитивные изменения. № 1. С. 79–117.

2. Вайнер, В., Низаметдинова Н. (2019). Информационно-справочный каталог «Социальное предпринимательство России. 2020». Москва: Wowhouse.

3. Центр технологических инноваций, Институт социально-экономического проектирования НИУ ВШЭ. (2020, октябрь). Исследование современного зарубежного и российского опыта проведения оценки проектной деятельности некоммерческих организаций.

4. Copestake, J. G. (2014). Full guidelines for the Qualitative Impact Protocol (QUIP). (pp. 1-47). Centre for Development Studies, University of Bath.

5. Davies, R. J., & Dart, J. (2005). the 'Most Significant Change' (MSC) Technique: a Guide to Its Use.

6. Polet, F., Malaise, G., Mahieu, A., Utrera, E., Montes, J., Tablang, R., Aytin, A., Kambale, E., Luzala, S., Al-Ghoul, D., Darkhawaja, R. A., Rodriguez, R. M., Posada, M., De Ceukelaire, W., & De Vos, P. (2015). Empowerment for the Right to Health: the Use of the «Most Significant Change» Methodology in Monitoring. Health and Human Rights, 17(2), 71–82.