Позитивные изменения. Том 1, №1 (2021). Positive changes. Volume 1, Issue 1 (2021)

Социальный эффект можно определить как относящийся к широкому спектру неэкономических результатов, влияющих на благополучие людей, социальный капитал, развитие сообщества и окружающую среду. С позиции доноров и инвесторов социальный эффект может быть определен как результат от вложения средств, который выражается не только количественно, но и качественно – в виде новых практик, знаний и информации.

Чтобы полностью понять концепцию воздействия, необходим сдвиг от перспективы результата деятельности (outputs) к перспективе итога деятельности (outcomes). Результаты деятельности (outputs) – это результаты, которые организации могут непосредственно измерять или оценивать (например, количество обученных людей, процент новых сотрудников в рабочей силе), в то время как итоги деятельности (outcomes) – это более широкие изменения, преимущества и знания, которые можно получить в среднесрочной и долгосрочной перспективе (например, сокращение социальной изоляции, уменьшение неравенства).

Поскольку итоги относятся к изменениям в обществе, они определяются воздействием широкой аудитории, а также влиянием внешних условий, которые могли бы им способствовать. Организации могут играть ключевую роль в стимулировании изменений, но их вклад не следует переоценивать. По этой причине понятие социального воздействия (social impact) относится к той доли общего результата, которая достигнута в результате деятельности организации, помимо того что произошло бы в любом случае [Grieco, 2015].

Результаты деятельности (outputs) – это результаты, которые организации могут непосредственно измерять или оценивать, в то время как итоги деятельности (outcomes) – это более широкие изменения, преимущества и знания, которые можно получить в среднесрочной и долгосрочной перспективе.

Возможные области измерений социального воздействия приведены в таблице 1.

Еще одним важным аспектом определения непосредственных результатов является отделение их от характеристик выполненной деятельности. На это обращает внимание А. И.

Рисунок 1. Цепочка результатов проекта (по А. И. Кузьмину)

Кузьмин в одной из своих публикаций в профессиональном блоге. Автор приводит следующую схему для иллюстрации данного тезиса (рис. 1).

Кузьмин отмечает, что «в социальном проектировании непосредственными результатами (outputs) называют прямое следствие череды действий в рамках проекта. Казалось бы, все просто: выполнил действие – получил непосредственный результат. Однако, как ни странно, и в зарубежных, и в российских публикациях мнения о том, что считать непосредственным результатом, расходятся радикальным образом. И похоже, что у нас ошибочная позиция становится все более и более популярной. Она заключается в том, что к непосредственным результатам относят характеристики выполненной деятельности. Автор приводит следующий пример: «Предположим, в рамках проекта проводится обучение. Собственно обучение является деятельностью в рамках проекта. Здесь вопросов ни у кого не возникает. А теперь внимание! Непосредственными результатами обучения называют следующее: сколько учебных курсов организовали, сколько часов длились занятия, сколько человек приняли участие в обучении. Но все перечисленное относится к самой деятельности, характеризует ее масштабы, отвечает на вопрос о том, сколько мы всего сделали. Все это характеристики (показатели) выполненной деятельности, но никак не ее непосредственные результаты. Что же является непосредственным результатом обучения, его прямым следствием? То, что происходит с обучаемыми: изменение их знаний, умений, навыков, отношения к чему-либо».

Стоит отметить, что описанная выше проблема интерпретации понятия непосредственных результатов с точки зрения характеристик деятельности является достаточно распространенной. Более того, можно сказать, что в большинстве рассмотренных в рамках данного анализа источников непосредственные результаты понимаются именно так – как характеристики деятельности.

Таким образом, в качестве рекомендованной позиции по этому вопросу видится та, что учитывает, с одной стороны, необходимость оценки результатов на уровне соотнесения с заявленными задачами проекта, но при этом – с включением компонента масштаба данных результатов, а следовательно, указания на характеристики самой деятельности (количество оказанных услуг, охваченная аудитория и т. п.).

Обращаясь к современным российским интерпретациям ключевых понятий, связанных с оценкой, приведем позицию экспертов одного из объединений игроков рынка оценки, активно работающих в направлении разработки системных решений в области государственных программ и проектов, – Счетной палаты РФ, а также Центра перспективных управленческих решений. В пособии по теории изменений, подготовленном в партнерстве экспертами данных организаций, приводятся следующие определения [Ким А. И. и др., 2020]:

• непосредственные результаты (outputs) – конкретные продукты, формируемые вследствие прямого государственного воздействия и возможные для использования целевыми аудиториями (благополучателями);

• отклик (react) – реакция благополучателей по использованию непосредственных результатов (в том числе в виде изменения поведения);

• конечные результаты (outcomes) – совокупность значимых изменений, возникающих у благополучателей после использования непосредственных результатов;

• итоговые эффекты (impacts) – желаемые средне- и долгосрочные социально-экономические изменения.

Таблица 2. Основные термины и определения в сфере импакта и оценки

Нельзя не упомянуть в данном контексте подход Global Impact Investing Network (GIIN) в связи с публикацией этой организацией в ноябре 2020 года новой методологии оценки, представленной как первая в таком роде рекомендация, позволяющая использовать унифицированные подходы и сравнивать любые проекты между собой (Methodology for Standardizing and Comparing Impact Performance). Стоит отметить, однако, что данная методология применима к использованию социальными инвесторами в целях выбора проектов для инвестиций. В рамках данного методического руководства предлагается выделение следующих уровней оценки: outputs – short term outcomes – long terms outcomes. Анализ outcomes в рамках данной методологии должен быть построен на нескольких уровнях:

• масштаб: количество/охват стейкхолдеров, получивших результат (outcome);

• глубина воздействия: степень изменений, полученных стейкхолдерами;

• продолжительность воздействия: период времени, в течение которого стейкхолдер продолжает испытывать полученный результат;

• волатильность: степень вариативности (изменений) результатов с течением времени.

Стоит обратить внимание на вынесение категории «импакт» за границы оценки цепочки воздействия в описанном выше подходе GIIN. Можно говорить о том, что подобная позиция является распространенной и представляет собой тренд в современном понимании данного термина. Это, в частности, отмечает один из ведущих международных экспертов в области академических исследований оценки проектов и программ, автор концепции «4 стратегий» Алнур Эбрахим [Ebrahim, 2019].

Таким образом, если исходить из общемировых современных трендов в определении данного понятия, можно говорить о том, что термин impact становится все более «нарицательным», определяющим в целом весь спектр понятий, связанных с описанием результатов проекта, за исключением непосредственных результатов. Данное понимание мы также рекомендуем использовать в словарном корпусе для разработки модели оценки социально-экономического воздействия социальных проектов. Именно это определение использовано в данной статье.

Одним из наиболее исследованных и описанных в научной литературе базовых конструктов и оснований оценки является понятие теории изменений (ТИ) проекта, представляющей собой четкое и ясное описание предполагаемых взаимосвязей между причинами (действиями) и ожидаемыми эффектами (результатами), которых планируется достичь в рамках проекта, с указанием условий достижения каждого из уровней результатов. Теория изменений объясняет причины того, почему используются те или иные подходы к решению проблемы, а также как эти подходы приведут к желаемым изменениям.

Как отмечает А. И. Кузьмин, автор первого русскоязычного издания по теории изменений, ТИ может быть использована как инструмент решения целого спектра задач [Кузьмин А.И, Кошелева Н. А., 2014]:

• как инструмент описания результатов проекта;

• инструмент проектирования (разработки замысла проекта);

• способ визуализации замысла проекта;

• способ обоснования причинно-следственной связи между деятельностью в рамках проекта и ее результатами;

• способ определения границ воздействия проекта;

• основа для формирования системы мониторинга проекта;

• основа для оценки проекта;

• способ «архивирования» хороших практик в обобщенном виде.

Традиционно и в самом общем виде теория изменений чаще всего представляется в виде карты ожидаемых результатов, показывающей, как действия в рамках проекта приведут к достижению цели проекта, и перечня допущений или условий, при соблюдении которых сработает данная «теория». На соблюдение этих условий авторы проекта рассчитывают, тем не менее эти допущения и условия находятся за пределами их влияния.

Теория изменений – один из наиболее распространенных инструментов, используемых для описания социальной технологии проекта, для целей его последующей оценки. То есть терминологически его можно отнести именно к области оценки проектов и программ. Там же он изучался особенно активно. Так, можно встретить различные классификации видов ТИ, подходов к ее разработке, включая специализированное программное обеспечение, авторские подходы проведения оценки, основанные на ТИ, и т. п.

Разработку теории изменений можно назвать одним из универсальных инструментов, используемых при проведении оценки проектов.

С темой теории изменений тесно связан другой основополагающий термин – доказательность используемой социальной технологии. Если говорить в целом, доказательный подход – это подход, основанный на применении исследовательских методов, на поиске и изучении аргументов, подтверждающих, что комплекс осуществляемых в рамках подхода действий действительно приводит к желаемым изменениям.

Доказательный подход в социальном проектировании является одним из активно развиваемых и внедряемых в настоящее время. Об этом свидетельствует рост как числа научных публикаций, так и внеакадемических дискуссий и даже создание образовательных программ в русле доказательного подхода (пример такой инициативы – магистерская программа «Доказательное проектирование и оценка программ в области управления социальными рисками в сфере детства», открытая пять лет назад в МГППУ).

В качестве обоснования важности использования доказательного подхода в социальной сфере можно привести две отмечаемые экспертами эвристики: иллюзия «чистого поля» и «абсолютного блага». Первая состоит в том, что, приступая к разработке социального проекта, предлагая новое (свое) решение социальной проблемы, авторы зачастую игнорируют существующий опыт в решении данной проблемы. Такая эвристика невозможна в ситуации, например, коммерческого проекта, где важным условием его эффективности является учет рыночного контекста. Но она вполне возможна, и вероятность ее возникновения является высокой – в общественном секторе. Изучение рынка, анализ потребностей целевой аудитории, выделение ведущих игроков и существующих технологий, анализ эффективности имеющихся решений часто не рассматриваются как обязательные при разработке социального проекта.

Теория изменений чаще всего представляется в виде карты ожидаемых результатов, показывающей, как действия в рамках проекта приведут к достижению цели проекта.

Суть второй эвристики: что «какую социальную услугу мы бы ни оказывали – это точно хорошее и правильное дело». Отсюда возникло распространенное шутливое понятие «причинять добро». Если услуга оказывается недостаточно качественно, не соответствует современным представлениям (в том числе научным) о причинах и возможных подходах к решению социальной проблемы и т. п., нельзя говорить о том, что проект действительно способствует решению данной проблемы.

Особенно остро этот вопрос ставится в ситуации, когда благополучателями проекта являются социально незащищенные группы граждан, которые по разным причинам не могут выразить свое мнение в отношении качества оказываемой им социальной услуги и в целом – отношения к проектной интервенции. Это, в частности, дети, люди с ментальной инвалидностью, бездомные и т. п. В связи с этим обоснованным является то, что тема доказательности практик в нашей стране получила свое развитие в контексте именно детских программ. В частности, группой российских экспертов создан стандарт доказательности практик в сфере детства – первый в своем роде документ, описывающий как требования, так и методические рекомендации для описания проектов в сфере детства. Рассмотрим на примере данного стандарта направления его возможного развития и использования [Стандарт доказательности практик в сфере детства (Версия № 2. 31 августа 2018)].

1. Courtney Paul Conceptualising Social Value for the Third Sector and Developing Methods for Its Assessment [Журнал]. – [б.м.]: International Society for Third-Sector Research Voluntas, 2018. – https://doi.org/10.1007/s11266–017–9908–3: Т. 29.

2. Ebrahim Alnoor Measuring Social Change: Performance and Accountability in a Complex World – [Книга]. – 2019.

3. Grieco Cecilia Assessing Social Impact of Social Enterprises. Does One Size Really Fit All? [Книга]. – [б.м.]: Springer, 2015.

4. Takyi Stephen Appiah REVIEW OF SOCIAL IMPACTS ASSESSMENT (SIA): APPROACH, IMPORTANCE, CHALLENGES AND POLICY IMPLICATIONS [Журнал]. – [б.м.]: International Journal of Arts & Sciences, 2014. – Т. 07(05):217–234 (2014).

5. Ким А. И., Копыток В. К., Филиппова Ю. А., Цыганков М. В. Применение теории изменений для стратегического аудита и стратегического планирования в России / Счетная палата Российской Федерации, Центр перспективных управленческих решений – М., 2020. – 28 с.

6. Кузьмин А. И. Оценка программ: методология и практика. / Под ред. А. И. Кузьмина, Р. О'Салливан, Н. А. Кошелевой // М.: Издательство «Престо-РК». – 2009.

7. Кузьмин А. И. Глокальные проблемы в развитии оценки (https://evaluationconsulting. blogspot.com/2020/10/blog-post.html).

8. Кузьмин А. И., Кошелева Н. А. Теория изменений: общие рекомендации к применению (из опыта БДФ «Виктория») // М.: Изд-во «Проспект. – 2014.

9. Рождественская Н. В., Богуславская С. Б., Боброва О. С. Оценка эффективности проектов некоммерческих организаций, социального предпринимательства и гражданских инициатив [Книга]. – СПб.: Издательство Политехнического университета, 2016.

10. Стандарт доказательности практик в сфере детства (Версия № 2. 31 августа 2018) [В Интернете]. – http://www.ozenka. info/about/dokazatelniy_podhod/standart_dokazatelnosti_praktik/402_file_2.pdf.

В данном обзоре проведен очень краткий анализ ряда ключевых терминов, входящих в языковой корпус предметной области, связанной с оценкой социальных проектов и программ. Надеемся, что представленный анализ будет способствовать выработке общих подходов и единого понятийного аппарата в области импакт-инвестиций и содействовать как формированию стандартов, так и более широкому внедрению в практику системы оценки благотворительных проектов и социального воздействия в целом.

Impact as an Object of Evaluation: Basic Concepts[2]

In 2019, Russia approved the Concept for Promoting the Development of Charitable Activities for the Period up to 2025, which provides for the inclusion of social impact evaluation as a necessary stage in the implementation of charitable programs and projects. Thus, today the evaluation of social and economic impact is becoming an indispensable element of social projects.

Natalia Gladkikh,

Ph.D. in Psychology, Leading Expert of the Institute of Socio-Economic Design, Higher School of Economics

Zoya Talitskaya,

Expert, Gladway Foundation for the Development of Media Projects and Social Programs

The development of methodology and practical application of evaluation tools in the field of social projects and programs in Russia began more than 15 years ago. Since then quite a number of Russian-language manuals and methodological manuals for social projects evaluation have emerged created, digests of international publications on this topic have been published, several specialized organizations engaged in the evaluation of projects and programs have begun working, and the Association of Evaluation Specialists (AES) forming a community of specialists in the field of evaluation. In general, evaluation of projects and programs in Russia is an actively developing field of scientific and practical activity, and it has acquired a fairly long history and valuable experience.

An indicator of such experience is the thesaurus that has been formed for this subject area. It is available at least within the professional community of evaluation specialists. For example, the terms as “the Theory of Change”, “the Project Logical Model”, “the separation of categories of results and the impact of projects and programs” are established and shared by most specialists.

However, a number of difficulties is associated with defining and understanding basic terms. This is largely due to the fact that the language corpus of this branch of knowledge was originally borrowed from English and is often used as a language calque. For example, the terms “impact” and “assessment” are often used as direct transfer from English, and their definitions therefore require closer attention.

Let’s try to conduct a comparative analysis of the key terms included in the language corpus of the subject area of projects and programs evaluation.

BASIC CONCEPTS USED IN SOCIAL PROJECTS EVALUATION

The basic concept used in evaluating is expected to be the term “Evaluation" used in Russia in the direct meaning of its translation: “determination of value". One of the most popular and basic definitions of evaluation is the following definition proposed by A. I. Kuzmin [Kuzmin, 2009], based on the translation of a dictionary article by Michael Patton in 1997: “Program evaluation is a systematic collection of information about the activities of a program, its characteristics and results, which is carried out in order to make a judgment about the program, increase the effectiveness of the program and/or develop plans for the future." Note that in the context of this definition, the terms “program" and “project" could be considered synonymous, and thus it can be assigned to both categories.

Another common concept is “Monitoring", the meaning of which is also quite clearly defined in the Russian literature. Referring to one of the most classical definitions, also proposed by A. I. Kuzmin [Kuzmin, 2009], it is possible to define monitoring as “one of the types of program evaluation, which consists in constantly monitoring the progress of the program and comparing it with the plan… Monitoring of in-depth analysis does not imply, but provides operational information about the current status on the basis of comparing the actual values of a number of key figures (indicators) with their planned values."

The concept of “Assessment" is no less important, but the matter of its translation is more complicated. If you look at the second definition of this concept in the dictionary, you can designate its content as “assessment, determination of value", which does not give us grounds to determine its specificity in comparison with the previous one. However, the third definition is “definition, assessment (of viability)" – still allows you to determine this specificity. So, the main difference between this concept and the concept of “Evaluation" is the predictive nature of assessment – conditionally, you can characterize it as a “predictive" or “predictive" assessment, i.e. assessment of the present activity in the context of forecasting the development of this activity in the future, as well as forecasting the results of this activity. It is important to note here that for the second case there is an even more specific concept of “Impact Assessment", which can be translated into Russian as “прогнозирование влияния" (impact forecasting).

The International Association for Impact Assessment (IAIA) defines “Impact Assessment" as “the process of determining the future effects of current activities." As one of the modern examples of this term definition can be given the following: The Social Impact Assessment is “the process of preliminary assessment of the social consequences of certain social or political projects. It is a predictive procedure for assessing social effect" [Takyi, 2014].

The main difference between this concept and the concept of “Evaluation” is the predictive nature of assessment – conditionally, you can characterize it as a “predictive” or “predictive” assessment, i.e. assessment of the present activity in the context of forecasting the development of this activity in the future.

Thus, we can say that the term “assessment" (“assessment of influence"; predictive assessment) should be used in a situation when assessment is conducted even before the program launch, when we can determine the possible consequences and effects of our program, “monitoring" – when we assess the program compliance by a number of indicators in its implementation, with the possibility of prompt intervention. The assessment that is conducted after the program implementation is traditionally considered as the actual “program assessment" (“program impact assessment").

The key issues in this context are everything related to the definition of “outcome" and “impact" – social impact and the project impact, respectively. In many ways, the definition of the concept of social impact (effect) depends on the approach to its measurement. It can be noted that often the concept of social impact is considered as synonymous with the concept of “efficiency", as well as “social value".

The concept of social value, in turn, combines four components: the common good (for key stakeholders), the services provided, personal well-being (emotional well-being, increased self-evaluation, finding purpose), and community development [Courtney, 2018]. Different definitions also can be given to “Social efficiency". Thus, it can be defined as the ability to achieve the goal, the satisfaction of all stakeholders' interests, the optimal ratio of inputs and outputs, uninterrupted provision of resources, compliance with international standards [N. V. Rozhdestvenskaya, S. B. Boguslavskaya, O. S. Bobrova, 2016].

“Social impact" can be defined as referring to a wide range of non-economic outcomes affecting people's well-being, social capital, community development, and the environment. From the perspective of donors and investors, the social effect can be defined as the result of investing funds, which is determined not only quantitatively, but also qualitatively – in the form of new practices, knowledge and information.

Full understanding of the impact concept requires a shift from the expected activity results (outputs) to the expected final results (outcomes). Outputs are the results that organizations can directly measure or evaluate (e.g., number of trained people, percentage of new employees in the workforce), while outcomes are broader changes, benefits, and knowledge that can be gained in the medium to long term (e.g., reducing social exclusion, reducing inequality).