Позитивные изменения. Том 2, № 2 (2022). Positive changes. Volume 2, Issue 2 (2022)

• Сравнения «до и после» (рефлексивного сравнения): сравнивают результаты одной и той же группы до и после участия в программе.

• Сравнения зарегистрированных и незарегистрированных (или самостоятельно выбранных) групп лиц: сравнивают результаты группы, которая решила участвовать в программе, с результатами группы, которая решила не участвовать.

Сравнение «до и после» пытается установить влияние программы путем отслеживания изменений результатов для участников программы с течением времени. По сути, это сравнение предполагает, что, если бы программа никогда не существовала, результат (Y) для участников программы был бы точно таким же, как и их ситуация до программы. К сожалению, для многих программ, реализуемых в течение нескольких месяцев или лет, это предположение может не выполняться.

Рассмотрим для примера оценку программы микрофинансирования для сельских фермеров. Программа предоставляет фермерам микрозаймы, позволяющие им покупать удобрения для увеличения производства риса. Можно увидеть, что за год до начала программы фермеры собирали в среднем 1000 килограммов риса с гектара (точка В на Рисунке 2).

Запущена схема микрофинансирования, и год спустя урожайность риса увеличилась до 1100 кг с гектара (точка А на рисунке 2). Если оценить воздействие, используя сравнение «до и после», то нужно опираться на базовый результат в качестве оценки контрфактного сценария. Применяя общую формулу оценки воздействия, мы бы пришли к выводу, что программа увеличила урожайность риса на 100 кг с гектара (A-B).

Однако представьте, что за год до запуска программы количество осадков было нормальным, но в год действия программы произошла засуха. Из-за засухи средняя урожайность фермеров без схемы микрозаймов, вероятно, будет ниже, чем В: скажем, на уровне D. В этом случае истинное воздействие программы будет A-D, что больше, чем 100 кг, оцененные с использованием сравнения до и после.

Количество осадков было одним из множества внешних факторов, которые могли повлиять на интересующий результат программы (урожайность риса) со временем. Аналогичным образом, многие результаты, на улучшение которых направлены программы развития, такие как доход, производительность, здравоохранение или образование, подвергаются влиянию множества факторов с течением времени. По этой причине базовый результат является не самым точным вариантом оценки контрфактного сценария.

Сравнение группы лиц, добровольно подписавшихся на участие в программе, с группой лиц, решивших не участвовать, является еще одним рискованным подходом к оценке воздействия. Группа сравнения, которая самостоятельно выбрала программу, предоставит еще одну «поддельную» контрфактную оценку. Выбор происходит, когда участие в программе основано на предпочтениях или решениях каждого участника. Такое предпочтение является отдельным фактором, от которого возможно зависит результат участия в ней. Говорить о сравнимости подписавшихся с теми, кто не подписался, в таких условиях нельзя.

Консультанты-оценщики пилота HISP в попытках математического осмысления полученных результатов совершили и первую, и вторую ошибки в оценке контрфакта, но организаторы программы, понимая риск предвзятости, решили найти методы для более точной оценки.

МЕТОД РАНДОМИЗИРОВАННОГО РАСПРЕДЕЛЕНИЯ

Этот метод похож на проведение лотереи, которая решает, кто входит в программу в данный момент времени, а кто нет. Данный метод также известен как рандомизированные контролируемые исследования (РКИ). Этот метод не только предоставляет команде проекта справедливые и прозрачные правила распределения ограниченных ресурсов между одинаково заслуживающими этого группами населения, но также представляет собой надежный метод оценки воздействия программы.

«Случайность» используется в применении к большой группе населения, имеющей однородный набор качеств. Чтобы решить, кому будет предоставлен доступ к программе, а кому нет, мы можем сгенерировать и базу для надежной оценки контрфакта.

При рандомизированном распределении каждая подходящая единица (например, физическое лицо, домохозяйство, предприятие, школа, больница или сообщество) имеет одинаковую вероятность быть отобранной для участия в программе. При избыточном спросе на программу рандомизированное распределение считается понятным и справедливым для всех участников процесса.

Во Вставке 1 представлены примеры использования рандомизированного распределения на практике.

Вставка 1: РАНДОМИЗИРОВАННОЕ РАСПРЕДЕЛЕНИЕ КАК ЦЕННЫЙ ИНСТРУМЕНТ ИССЛЕДОВАНИЯ

Рандомизированное распределение может быть полезным правилом для определения выгод от программы даже вне контекста оценки воздействия. Это правило иллюстрируют следующие два случая из Африки.

В Кот-д'Ивуаре после периода кризиса правительство ввело программу временного трудоустройства, которая первоначально была ориентирована на бывших участников вооруженного конфликта, а затем была распространена на молодежь в целом. Программа предоставляла молодежи возможности краткосрочного трудоустройства, в основном в национальное дорожное агентство для очистки или восстановления дорог. Молодежь в охваченных программой муниципалитетах была приглашена на регистрацию. Учитывая привлекательность льгот, заявки подало гораздо больше молодых людей, чем было свободных мест. Дуя того чтобы придумать прозрачный и справедливый способ распределения благ между заявителями, исполнители программы задействовали процесс публичной лотереи. После окончания регистрации и получения информации о количестве претендентов (скажем, N) в том или ином населенном пункте была организована публичная лотерея. Всех, кто подал заявление, вызывали в общественное место и помещали в коробку листочки бумаги с цифрами от 1 до N. Затем претендентов вызывали по одному, чтобы они подошли и вытянули номер из ящика перед всеми остальными претендентами. После того как участник вытянул номер, его зачитывали вслух. После того, как все претенденты были вызваны, назначенный человек по очереди проверял оставшиеся в ящике номера, чтобы убедиться, что они соответствуют претендентам, которые не явились на розыгрыш. Если для участия в программе было доступно N мест, то в программу отбирались кандидаты, вытянувшие наименьшие номера. Лотерея была организована отдельно для мужчин и для женщин. Участники хорошо отнеслись к процессу публичной лотереи. Эта процедура придала программе образ справедливости и прозрачности в постконфликтной обстановке, характеризующейся социальной напряженностью. После нескольких лет работы исследователи использовали это правило случайности, уже интегрированное в работу программы, для проведения оценки ее воздействия.

В Нигере правительство при поддержке Всемирного банка в 2011 году приступило к реализации программы финансовой помощи. Нигер – одна из беднейших стран в мире, и в первые годы работы программы количество бедных домохозяйств, заслуживающих вступить в нее, значительно превышало объем доступных пособий. Департаменты и коммуны, в которых программа денежных трансфертов будет реализована в первую очередь, отбирались исполнителями программы по географическому принципу. Это было возможно, потому что имелись данные для определения относительной бедности или уязвимости различных департаментов или коммун. Однако, в силу объективных факторов, в каждой коммуне участвовать в программе могло весьма ограниченное число жителей. На первом этапе проекта исполнители программы решили использовать публичные лотереи для отбора деревень-бенефициаров в целевых коммунах. Это решение было принято отчасти потому, что имеющиеся данные для объективного определения приоритетности деревень были ограничены, а отчасти потому, что в проект была встроена оценка воздействия. Для проведения публичных лотерей в муниципальный центр приглашали старост всех деревень, названия деревень писали на листе бумаги и помещали в ящик. Затем ребенок в случайном порядке вытягивал из ящика названия деревень-бенефициаров, пока квоты не были заполнены. Процедура проводилась отдельно для оседлых и кочевых деревень, чтобы обеспечить представительство каждой группы. После выбора деревень был задействован отдельный механизм для выбора беднейших домохозяйств, которые впоследствии назначили бенефициарами. Прозрачность и справедливость публичной лотереи была высоко оценена местными властями, а также исполнителями программы – настолько, что эта процедура использовалась во втором и третьем циклах проекта для отбора более 1000 деревень по всей стране. Даже если публичная лотерея на тот момент не была необходима для оценки воздействия, ее ценность как прозрачного, справедливого и широко признанного операционного инструмента для распределения благ между одинаково достойными группами населения оправдывала ее дальнейшее использование в глазах исполнителей программы и местных властей.

    Источник: Bertrand, Marianne, Bruno Crеpon, Alicia Marguerie, and Patrick Premand. Impacts ? Court et Moyen Terme sur les Jeunes des Travaux ? Haute Intensitе de Main d’oeuvre (THIMO): Rеsultats de l’еvaluation d’impact de la composante THIMO du Projet Emploi Jeunes et Dеveloppement des compеtence (PEJEDEC) en C?te d’Ivoire. Washington, DC: Banque Mondiale et Abidjan, BCP-Emploi. 2016
    Premand, Patrick, Oumar Barry, and Marc Smitz. «Transferts monеtaires, valeur ajoutеe de mesures d’accompagnement comportemental, et dеveloppement de la petite enfance au Niger. Rapport descriptif de l’еvaluation d’impact ? court terme du Projet Filets Sociaux.» Washington, DC: Banque Mondiale. 2016

ПОЧЕМУ РАНДОМИЗИРОВАННОЕ РАСПРЕДЕЛЕНИЕ ДАЕТ ХОРОШИЙ РЕЗУЛЬТАТ?

Как уже обсуждалось, идеальная контрольная группа должна быть максимально похожа на экспериментальную во всех отношениях, за исключением ее участия в оцениваемой программе. Когда мы случайным образом назначаем единицы, случайная выборка сама по себе создает экспериментальную и контрольную группу, которые с высокой вероятностью будут статистически идентичными – при условии, что количество выборки достаточно велико.

Рисунок 3 иллюстрирует, почему рандомизированное распределение дает группу сравнения, которая статистически эквивалентна экспериментальной группе.

Чтобы оценить влияние программы при рандомизированном распределении, мы берем разницу между результатом эксперимента (средний результат случайно выбранной экспериментальной группы) и оценкой контрфакта (средний результат случайно выбранной контрольной группы). Мы можем быть уверены, что наше предполагаемое воздействие представляет собой истинное влияние программы, поскольку устранили наблюдаемые и ненаблюдаемые факторы, которые в противном случае могли бы правдоподобно объяснить разницу в результатах.

Во Вставках 2 и 3 приведены примеры использования рандомизированного распределения для оценки воздействия ряда различных вмешательств по всему миру.

Вставка 2: РАНДОМИЗИРОВАННОЕ РАСПРЕДЕЛЕНИЕ КАК ПРАВИЛО ДЛЯ ВЫБОРА БЕНЕФИЦИАРОВ ПРОГРАММ: УСЛОВНЫЕ ДЕНЕЖНЫЕ ТРАНСФЕРТЫ И ОБРАЗОВАНИЕ В МЕКСИКЕ

Программа Progresa, которая сегодня называется Prospera, предусматривает денежные трансферты бедным матерям в сельских районах Мексики при условии, что их дети будут посещать школу и регулярно проходить медицинские осмотры. Денежные трансферты для детей с 3 по 9 класс покрывают от 50 % до 75 % от частных расходов на обучение и гарантируются в течение трех лет. Общины и домохозяйства, имеющие право на участие в программе, были определены на основе индекса бедности, созданного на основе данных переписи населения и сбора первичных данных. В связи с необходимостью поэтапного внедрения широкомасштабной социальной программы около двух третей населенных пунктов (314 из 495) были случайным образом отобраны для участия в программе в первые два года, а оставшийся 181 населенный пункт использовался в качестве контрольной группы до начала реализации программы на третий год. Пользуясь методом рандомизированного распределения, Шульц (2004) обнаружил среднее увеличение посещаемости на 3,4 % для всех учащихся 1–8 классов. В наибольшей степени увеличилась доля девочек, закончивших 6 класс, – на 14,8 %. Вероятная причина заключается в том, что девочки имеют тенденцию бросать школу с возрастом, поэтому им предоставлялся несколько больший трансферт, чтобы они могли остаться в школе после начальных классов. Затем эти краткосрочные результаты были экстраполированы для прогнозирования долгосрочного влияния программы Progresa на продолжительность обучения в школе и размер заработка.

    Schultz, Paul. «School Subsidies for the Poor: Evaluating the Mexican Progresa Poverty Program.» Journal of Development Economics 74 (1): 199–250. 2004.

Вставка 3: РАНДОМИЗИРОВАННОЕ РАСПРЕДЕЛЕНИЕ ЗАЩИТЫ ВОДЫ ИЗ ПРИРОДНЫХ ИСТОЧНИКОВ ДЛЯ УЛУЧШЕНИЯ ЗДОРОВЬЯ ЖИТЕЛЕЙ КЕНИИ

Связь между качеством воды и здоровьем в развивающихся странах уже доказана. Менее очевидна, однако, ценность улучшения инфраструктуры вокруг источников воды для здоровья населения. Кремер и другие (2011) измерили результаты программы по предоставлению технологии защиты природных источников для улучшения качества воды в Кении, случайным образом определяя источники воды, на которые оказывалось воздействие.

Приблизительно 43 % домохозяйств в сельской местности Западной Кении получают питьевую воду из природных источников. Технология защиты источника герметизирует его, чтобы уменьшить загрязнение воды.

Начиная с 2005 года, НПО «Международная поддержка детей» (International Child Support, ICS) реализовала программу защиты природных источников воды в двух районах на западе Кении. Из-за финансовых и административных ограничений ICS решила поэтапно внедрять программу в течение четырех лет. Это позволило специалистам по оценке использовать в качестве контрольной группы источники, на которые еще не оказывалось воздействие.

Из 200 источников, отвечающих требованиям, 100 были случайным образом отобраны для воздействия в течение первых двух лет. Исследование показало, что защита источников снизила фекальное загрязнение воды на 66 %, а диарею у детей среди пользователей источников – на 25 %.

    Источник: Kremer, Michael, Jessica Leino, Edward Miguel, and Alix Peterson Zwane. «Spring Cleaning: Rural Water Impacts, Valuation, and Property Rights Institutions.» Quarterlyjournal of Economics 126: 145–205. 2011

КОГДА МОЖНО ИСПОЛЬЗОВАТЬ РАНДОМИЗИРОВАННОЕ РАСПРЕДЕЛЕНИЕ?

Рандомизированное распределение может использоваться в одном из двух сценариев:

1. Когда количество людей, имеющих право на участие, превышает количество доступных мест в программе. Когда спрос на программу превышает предложение, можно использовать «лотерею» для выбора экспериментальной группы в пределах соответствующей категории населения. Группа, выигравшая в «лотерею», является экспериментальной группой, а остальная часть населения, которой не предлагается программа, является группой сравнения. До тех пор, пока существует ограничение, препятствующее распространению программы на все население, можно поддерживать группы сравнения для измерения краткосрочных, среднесрочных и долгосрочных результатов программы.

2. Когда необходимо постепенно внедрять программу до тех пор, пока она не охватит всю генеральную совокупность. Когда программа вводится в действие поэтапно, случайный порядок, в котором участники получают доступ к участию в программе, дает каждому одинаковые шансы на участие в ней на первом этапе или на более позднем этапах. До тех пор, пока последняя группа еще не была поэтапно включена в программу, она служит контрольной группой. Такой подход также может позволить выявить эффект от участия в программе в течение большего или меньшего времени.

ЭТАПЫ РЕАЛИЗАЦИИ МЕТОДА РАНДОМИЗИРОВАННОГО РАСПРЕДЕЛЕНИЯ

Шаг 1 – определить группы, которые имеют право на участие в программе. Помните, что в зависимости от конкретной программы единицей измерения может быть человек, медицинский центр, школа, бизнес или даже целая деревня или муниципалитет.

Шаг 2 – выборка единиц из совокупности для включения в оценочную выборку.

Этот второй шаг делается главным образом для ограничения затрат на сбор данных. Если для оценки можно использовать данные из существующих систем мониторинга, которые охватывают всю совокупность подходящих единиц, тогда вам не потребуется составлять отдельную оценочную выборку.

Шаг 3 – формирование экспериментальной и контрольной групп и группы из единиц в оценочной выборке путем рандомизированного распределения.

На Рисунке 4 отображены основные шаги реализации метода рандомизированного распределения.

Когда данные шаги реализованы, остается уже сравнительно простой этап. После того, как программа будет запущена, необходимо будет измерить результаты как для экспериментальной, так и контрольной группы. Воздействие программы – это разница между средним результатом (Y) для экспериментальной группы и средним результатом (Y) для контрольной группы.

Рандомизированное распределение является наиболее надежным методом оценки контрфактных данных и в определенной степени – золотым стандартом в области оценки воздействия.

ОЦЕНКА ВОЗДЕЙСТВИЯ HISP: РАНДОМИЗИРОВАННОЕ РАСПРЕДЕЛЕНИЕ

Вернемся к оценке пилота программы HISP, в котором участвуют 100 экспериментальных деревень.

Проведя две оценки воздействия с использованием потенциально предвзятых оценок (о которых речь шла ранее), команда проекта решила получить более точную оценку – с использованием рандомизированного распределения. Было определено, что для построения достоверной оценки контрфакта потребуется идентифицировать группу деревень, которые во всех отношениях максимально похожи на 100 деревень, где проводится эксперимент. Поскольку 100 экспериментальных деревень для HISP были выбраны случайным образом из всех деревень в стране, экспериментальные деревни имели те же характеристики, что и сельские деревни в стране в целом. Оставалось оценить разницу между этими двумя группами. Таким образом, были собраны данные еще о 100 деревнях, которые не были охвачены программой.

В Таблице 2 показаны средние расходы домохозяйств на здравоохранение в контрольной и экспериментальной группах по одинаковым критериям. Средние расходы домохозяйств на здравоохранение до эксперимента в двух группах статистически не отличаются, как и следовало ожидать при рандомизированном распределении. Математический анализ показал, что результатом эксперимента стало сокращение расходов домохозяйств на 10,14 доллара США за два года.