Новые цели и системные изменения: как оценка социальных программ меняет работу НКО
Помочь участникам справиться с «грантовым травматизмом» и «постгрантовым синдромом», увеличить число заявок на грантовый конкурс в два раза, представить результаты работы на международных площадках, обновить стратегию организации, ввести новые виды социальных услуг, дать рекомендации по теме сиротства для государственных органов власти — все это результаты оценки, которую провели некоммерческие и донорские организации. Кто и за что получил премию — в материале «Филантропа».
О премии «За содействие развитию культуры оценки социальных программ в России»
Премия «За содействие развитию культуры оценки социальных программ в России» учреждена в 2016 г Ассоциацией специалистов по оценке программ и политик (АСОПП) и Ассоциацией грантодающих организаций «Форум доноров». Миссия премии – это повышение полезности оценки и практическое использование её результатов в НКО.
В 2021 г премия проводилась в четвертый раз. Уполномоченной организацией является АНО «Эволюция и Филантропия», а стратегическим партнером – Благотворительный фонд Елены и Геннадия Тимченко. Победителей назвали на ежегодной конференции АСОПП.
«Мы поддерживаем конференцию АСОПП и премию «За содействие развитию культуры оценки социальных программ в России», потому что заинтересованы в том, чтобы в России формировалась культура оценки, чтобы мы обсуждали, сравнивали и анализировали устойчивые социальные результаты нашей деятельности. Благодаря оценке, профессиональные команды благотворительных организаций демонстрируют свою ответственность перед обществом. И это не формальный отчет, а инструмент постоянной самопроверки, корректировки и развития. Это ответ на растущий интерес общества к результатам деятельности благотворительных организаций», — говорит Мария Морозова, генеральный директор Благотворительного фонда Елены и Геннадия Тимченко.
В этом году конкурс проходил в двух номинациях: «За практическое использование результатов оценки в деятельности некоммерческой организации» и «За достижения в развитии культуры оценки в донорских организациях».
На конкурс поступило 20 заявок из Москвы, Санкт-Петербурга, Перми, Екатеринбурга, Новосибирска, Кирова, Димитровграда (Ульяновская область), Череповца, Красноярска.
«Мы видим довольно большой разброс по стране среди участников, но стоит сказать, что у нас и раньше организации из регионов присылали свои заявки. В этом году среди участников появились не очень крупные региональные НКО. В целом все заявки были хорошими. Жюри довольно трудно было выбрать победителей. Я надеюсь, что премия будет развиваться и в ней будет участвовать большее количество организаций», — говорит Елена Малицкая, председатель жюри премии, президент Сибирского центра поддержки общественных инициатив.
Доноры задают правила игры
С первого года существования премии существует отдельная номинация для донорских организаций. Жюри и эксперты премии отмечают в ней компании и фонды, которые играют важную роль во внедрении культуры оценки у своих благополучателей. По словам экспертов, быть донором – колоссальная ответственность, поскольку в силу своих ресурсов и статуса доноры задают правила игры, показывают пример. Их вклад в развитие сектора в целом, и в сфере оценки в частности сложно переоценить.
«Мы видим, что все участники номинации «За достижения в развитии культуры оценки в донорских организациях» сильные, прогрессивные организации, которые сами используют оценку в своей деятельности при разработке своих программ, вовлекают стейкхолдеров для оценки, измеряют свой вклад. Они готовы рассказывать о своем опыте, делиться своими подходами, извлеченными уроками, поддерживают своих гранто- и благополучателей, которые также развивают практику оценки. Я уверена, что таких доноров становится все больше и потому призываю участвовать и подавать свои заявки в этой номинации в следующих конкурсах», — говорит Наталия Фреик, член правления АСОПП, эксперт премии.
Любая заявка – это ревизия, импульс к тому, чтобы пересмотреть свою деятельность и в направлении оценки, и в направлении взаимодействия со своими благополучателями.
«С точки зрения экспертизы заявок хотелось бы отметить, что в представленных практиках была показана регулярность и системная работа с благополучателями, уделялось внимание повышению качества и результативности деятельности, говорилось об уникальности используемых инструментов. Хотелось бы пожелать заявителям делать больше ссылок на открытые источники, чтобы эксперт мог более глубоко оценить проведенную работу и посмотреть, насколько благополучатели ощущают поддержку от своих донорских организаций», — говорит Ирина Субботина, член правления АСОПП, руководитель программы «НКО-СОКРАТ» Агентства социальной информации, эксперт премии.
Задача — сделать грантовые конкурсы дружественными
Кейс: «Добрый город Петербург»
«Бронзу» в номинации «За достижения в развитии культуры оценки в донорских организациях» получил Благотворительный фонд «Добрый город Петербург». Большое внимание фонд уделяет оценке клиентского опыта и стремиться сделать свои грантовые конкурсы максимально комфортными и дружественными для участников.
На конференции по оценке, предшествующей церемонии награждения победителей премии, прозвучали такие фразы, как «грантовый травматизм» и «постгрантовый синдром», которые обобщают негативный опыт участия в грантовых конкурсах. Это могут быть: непонятные формулировки в положении и заявке, в которые нужно вникать и перепроверять; невозможность получить консультацию в удобном формате; сложная процедура подачи заявки и последующая процедура отчётности, а также неудачный опыт участия в конкурсе (когда заявку не поддержали и человек разочаровывается). Все это может стать барьером для потенциальных участников, поэтому важно с этим работать.
Оценка клиентского опыта позволила сотрудникам фонда «Добрый город Петербург» проанализировать через метрики и сбор обратной связи у участников конкурса, в какие моменты возникают барьеры, сложности, разрыв коммуникаций.
«По части нашей работы с участниками (консультации, быстрая обратная связь, гибкость) все было достаточно неплохо. Но были и недочеты в части формулировок на сайте, в конкурсных документах: участникам конкурса было недостаточно информации о том, как мы будем заключать договоры и принимать отчетность, плюс не хватало обратной связи по заявкам после объявления победителей. Благодаря такой обратной связи стало понятно, как исправить ошибки и выстроить процесс более эффективно», — рассказала Наталия Канальцева, грантовый менеджер благотворительного фонда «Добрый город Петербург».
Результаты оценки легли в основу конкурсной платформы, которую создал фонд для участников и экспертов конкурсов. На платформе работает система подсказок и автопроверки бюджета и автоматически публикуются результаты в баллах по критериям, чтобы участник мог увидеть зоны роста и сделать работу над ошибками.
Оценка клиентского опыта позволяет становиться более системными и гибкими, не теряя своей доступности даже для небольших НКО и людей, которые впервые реализуют проект, уверены в фонде.
«Для нас это особенно важно, потому что мы работаем и поддерживаем проекты, в том числе и из небольших территорий, и от инициативных групп, у которых совсем нет опыта, а иногда и уверенности в своих силах. Поэтому мы стараемся как можно сильнее минимизировать барьеры для участия, с опорой на обратную связь», — добавляет Наталия Канальцева.
Задача — создать возможности для тиражирования опыта
Кейс — благотворительный фонд компании Amway «В ответе за будущее»
«Серебро» в донорской номинации у благотворительного фонда компании Amway «В ответе за будущее». Фонд, как донорская организация, не только финансирует, но и реализует совместные проекты с другими НКО. На сегодняшний день это два проекта – «Всеобуч» с Институтом развития семейного устройства (ИРСУ) и «Федеральная дистанционная служба поддержки приемных семей» с благотворительным фондом «Найди семью».
«Всеобуч» — это программа обучения специалистов социальной сферы. Фонд проводит регулярную оценку эффективности программы обучения, чтобы подтвердить ее качество, востребованность и влияние на компетенции специалистов. Выводы и результаты оценки обсуждаются всеми заинтересованными сторонами (ИРСУ, фонд «В ответе за будущее», региональные администрации, тренеры) и подтверждают актуальность программы, показывают зоны развития, позволяют уточнить стратегию развития программы.
«Также эти результаты важны нам для того, чтобы иметь возможность тиражировать программу, «заходить» с ней в другие регионы, показывать ее эффективность государству», — говорит Екатерина Молюкова, член правления фонда Amway «В ответе за будущее», руководитель программы «С любовью к детям» и проекта #ЯвОтвете.
В 2020 году фонд инициировал проведение внешней оценки для второго проекта – дистанционной службы поддержки приемных семей. К этому моменту Служба работала чуть больше года и было важно понять эффективность работы консультационного направления и работы ресурсных групп, увидеть зоны развития. Проведенная оценка позволила разработать инструменты для регулярного мониторинга и оценки службы. Промежуточные и итоговые результаты оценки фонд обсуждал с фондом «Найди семью».
«Поскольку мы корпоративный фонд, нам важно показывать эффективность поддерживаемых нами программ. При этом мы являемся фандрайзинговым фондом и привлекаем частные пожертвования на реализацию программ профилактики сиротства, поэтому так же в той или иной степени мы показываем качество и эффективность программ нашим донорам. Наш фонд целенаправленно выступает как инициатор и последовательно поддерживает внедрение инструментов оценки в проектах НКО – партнеров, создание и апробацию новых инструментов оценки, стремится, чтобы результаты оценки способствовали повышению качества помощи для благополучателей», — говорит Екатерина Молюкова.
Задача — развивать культуру оценки, передать успешные инструменты
Кейс: фонд «Навстречу переменам»
«Золото» в донорской номинации жюри присудило Фонду поддержки социальных инициатив в сфере детства «Навстречу переменам». Члены жюри отметили, что организация развивает, внедряет в текущую работу инструменты оценки, а также активно передает их в работу благополучателям – участникам образовательных программ. Кроме того, фонд часто презентует результаты работы на международных площадках, что способствует формированию образа культуры оценки в России.
«Фонд с самого начала деятельности придерживался принципов венчурной филантропии, один из которых – управление и измерение социального воздействия. Так что я бы сказала, что оценка всегда была в самом ядре нашей работы», — говорит София Шагинян, руководитель программы поддержки социальных предпринимателей фонда «Навстречу переменам».
Ежегодно фонд проводит конкурс для социальных стартапов, финалисты которого получают участие в программе профессионального развития «Инкубатор», а победители еще и грант. Уже на этапе полуфинала фонд предоставляет участникам обучающую поддержку: учит вычленять социальную проблему, аргументировать ее с помощью статистических данных, сегментировать целевую аудиторию, планировать социальное воздействие. Для отработки и фиксации пройденного материала полуфиналисты заполняют специальную рабочую тетрадь. Таким образом, даже если участник не пройдет дальше по конкурсу, у него будет база для более глубокой и структурной работы над проектом. В «Инкубаторе» финалисты глубже погружаются в планирование социального воздействия и разрабатывают индикаторы и показатели для его измерения, а также мониторят их в течение 1-3 лет.
«Очень приятно претендовать на премию в такой компании участников и невероятно гордо стать победителем. Все это было бы невозможно без экспертизы и наших грантополучателей», — говорит София Шагинян.
По ее словам, среди задач, которые помогла решить оценка внутри организации, — передать наработанные инструменты участникам, тем самым помогая им внедрить культуру оценки в свои организации.
Задача — увеличить число заявок и объем средств
Кейс — фонд «Дорога к дому»
Еще одна номинация премии – для некоммерческих организаций. Жюри и эксперты премии отмечают в ней НКО, которые используют результаты оценки на практике, например, улучшают программы помощи.
3 место в номинации «За практическое использование результатов оценки в деятельности НКО» получил Благотворительный фонд «Дорога к дому» компании «Северсталь». В результате проведенной оценки фонд получил отчет со списком рекомендаций по развитию грантового конкурса и внедрил эти изменения. Среди них – создание конкурсного совета (с привлечением представителя донора) и утверждение трехуровневой системы оценки грантовых заявок.
Результаты оценки позволили выстроить объективную понятную процедуру отбора проектов, сохранив включенных и заинтересованных специалистов. Внедрение происходило через обсуждения с ключевыми группами стейкхолдеров, информационную кампанию, подготовку нового пакета документов, перераспределения и выделения новых ролей в процессах проведения конкурса.
Фонд «Дорога к дому» начал целенаправленно собирать обратную связь от заявителей и экспертов, чтобы своевременно вносить необходимые изменения в конкурсные процедуры. Кроме того, определил функционал по сопровождению конкурса (администраторы, тематические консультанты, программисты) и привлек к оценке независимых экспертов, чтобы исключить конфликт интересов.
Все эти изменения привели к росту числа заявок и увеличению средств на конкурс. Так, в 2019 году на конкурс поступило 33 заявки, победили – 9, в 20200-м поступило 64 заявки, победили — 16, в 2021-м поступило 65 заявок, победили — 14. Выросла и привлекательность фонда для грантодающих организаций: в 2020 году было привлечено 25,8 млн. руб., что в два раза больше, чем в 2019 году (в том числе благодаря публичности процесса внедрения результатов оценки).
В период внедрения результатов оценки и происходящих системных изменений управленческая команда пришла к необходимости обновления стратегии организации, чему посвящен 2021 год. Изменения дали толчок к цифровизации. Прием заявок и экспертиза организованы через сайт (ранее — в бумажном виде), внедряется CRM-система, проводятся онлайн встречи со специалистами региональных проектов фонда, онлайн группы поддержки для специалистов. Цифровизация позволила расширить географию деятельности, выделить новую целевую группу — специалисты сферы детства.
«Фонд идет в ногу со временем, примеряя на себя современные тенденции. Что признается приносящим результаты – входит в повседневную практику. С 2006 года на постоянной основе для оценки привлекаются профессиональные социологи. В январе 2008 году был сформирован отдел «Социологическое сопровождение реализации программы «Дорога к дому» (до 2017 года эта была единственная программа Фонда). Летом 2010 года был разработан первый внутренний регламент оценки проектов и программ Фонда, в 2013 году – его вторая редакция. К 2021 году мы подошли с многоуровневой системой мониторинга и оценки, сопровождающей на постоянной основе большинство активностей Фонда», — рассказала Алена Богомолова, руководитель ресурсно-методического центра фонда «Дорога к дому».
Задача — сделать проект устойчивым
Кейс — «Аистенок»
2 место заняла Межрегиональная общественная организация по содействию семьям с детьми в трудной жизненной ситуации «Аистенок». Как отметили эксперты премии, тема создания и сохранения родной семьи для ребенка требует большого внимания к каждому благополучателю. И команда организации находит время, ресурсы, возможности, чтобы делать свою практику устойчивой, в том числе через инструменты оценки, и активно делится своим опытом с коллегами.
Вплотную темой оценки «Аистенок» начал заниматься с 2016 года, но систему мониторинга и оценки настраивал в организации с момента основания, чтобы отслеживать изменения. В 2019 г организация стала участником инициативы Фонда Тимченко «Пойдемте в Банк» и попала в Реестр (Банк) доказательных практик.
Кроме того, «Аистенок» является стажировочной площадкой для организаций, имеющих приюты для мам с детьми в трудной жизненной ситуации, и организатором всероссийской конференции «Приюты для матерей с детьми. Новый этап профилактики социального сиротства». «В 2018 и 2021 гг у нас на конференции была отдельная секция, которая была посвящена мониторингу и оценке, описанию практик доказательного подхода. В 2021 г в конференции участвовали 49 регионов, у всех была возможность познакомиться с доказательным подходом и понять, что за ним будущее», — говорит Алла Осипова, психолог МОО «Аистёнок».
По ее словам, благодаря оценке произошли изменения в самой практике. «Мы проводили исследование, которое было посвящено оценке устойчивости результатов, и общались с нашими подопечными женщинами, которые выехали из кризисных отделений 1,5 года назад. Мы спрашивали у них, как дела обстоят сейчас, что им было важно, когда они находились в приюте. И очень многие отметили, что работа с психологами и индивидуальная работа имела ключевое значение. Конечно, крыша над головой – это самое основное, но на втором месте именно работа с психологом. Поэтому сейчас мы усиливаем эту часть работы», — говорит Алла Осипова.
Оценка также помогает отслеживать изменения в семьях благополучателей, видеть шире свою деятельность и выявлять те потребности, которые могут лечь в основу новых видов услуг. Так, исходя из потребностей мам-отказниц, которые на стадии роддома заявляли о том, что оставят ребенка, появилась услуга социального склада в далеком 2006 году. А когда в городе были сложности с путевками в детсады, была создана группа дневного пребывания детей, которая до сих пор функционирует.
«Таким образом, выявляя потребности, мы можем создавать актуальные услуги, развивать нашу практику», — подчеркивает Алла Осипова.
Задача — оценить социальный результат
Кейс — «Волонтеры в помощь детям-сиротам»
1 место занял Благотворительный фонд «Волонтеры в помощь детям-сиротам». Все эксперты премии отметили, что организация внедряет результаты оценки во все аспекты своей работы, т.е. и в программах, и в доказательные практики, делает рекомендации по теме сиротства для государственных органов власти на основании своих исследований. Эксперты премии особо отметили интересный опыт просчитывания стоимости социальных результатов.
В 2019 году фонд «Волонтеры в помощь детям-сиротам» при содействии АНО «Эволюция и Филантропия» провел социально-экономическое исследование работы центра временного пребывания для мам с детьми «Теплый дом». Исследование помогло понять, как та помощь, которую оказывают в приюте, повышает шансы на благополучие женщины с ребенком на несколько лет вперед.
«Любые подобные результаты интересны не только сами по себе, но и с точки зрения оценки своей работы по отношению к кому-то. Например, по сравнению со стоимостью пребывания ребенка в детском доме. Оказалось, что наша поддержка намного дешевле обходится, к тому же этичнее. По данным Министерства просвещения, на содержание ребенка в учреждении для детей-сирот тратится в год около 1 миллиона рублей (и эта поддержка длится долгие годы). А в «Теплом доме» на одну семью – 533 409 рублей за весь период работы с ней», — говорит Олеся Деснянская, координатор программы «Профилактика социального сиротства» фонда «Волонтеры в помощь детям-сиротам».
В 2019-2020 годы при поддержке благотворительного фонда Елены и Геннадия Тимченко была проведена оценка проектов «Профилактика отказов от новорожденных» и «Теплый дом», в результате чего практики попали в Реестр (банк) доказательных практик.
Очень полезно делать любое описание практики, а создание системы мониторинга и оценки позволяет лучше понимать, что вы делаете, зачем, какие процессы за этим стоят. Кроме того, оценка дает регламентацию работы, идет налаживание административной отчетности. Когда вы формулируете результаты, то лучше понимаете, что реально важно измерять, а что можно не измерять. Оценка помогает демонстрировать свои достижения, уверены в фонде «Волонтеры в помощь детям-сиротам».
«В последние несколько лет мы сделали большой рывок во внедрении оценки в свою работу. Та же стоимость социального результата – для меня это итог нашей серьезной большой работы. Всегда приятно, когда видят твой результат, это стимулирует работать дальше», — говорит Олеся Деснянская.
Церемонию награждения победителей премии «За содействие развитию культуры оценки социальных программ в России» можно посмотреть по ссылке.
