Мониторинг и оценка: в чем разница, пример проекта

Люди часто произносят «M&E» как одно слово, будто мониторинг и оценка — это одна и та же работа. Это не так. Оба процесса используют данные и помогают улучшить проект, но они отвечают на разные вопросы, в разное время и предназначены для разных читателей. Смешивание этих понятий — одна из самых частых причин, почему проект собирает массу данных, но так и не может сказать, был ли он эффективен.

Мониторинг в одном предложении

Мониторинг — это регулярное отслеживание проекта в процессе его реализации. Вы собираете небольшое количество данных на регулярной основе согласно графику и сравниваете их с планом: выполняются ли запланированные действия? Охватываем ли мы целевую аудиторию? Соответствуют ли расходы бюджету? Не происходит ли что-то, что можно исправить прямо в этом месяце?

Мониторинг предназначен в основном для команды, которая ведет проект. Его ценность — в скорости: проблему, замеченную на третьей неделе, можно исправить на четвертой.

Оценка в одном предложении

Оценка — это более глубокое и редкое суждение о том, чего достиг проект и почему. Она отходит от еженедельных цифр и задает более масштабные вопросы: было ли это правильным решением? Сработало ли оно? Для кого? Что стоит изменить? Оказались ли изменения устойчивыми?

Многие оценки используют критерии, принятые в руководствах ОЭСР: актуальность, согласованность, эффективность, результативность, влияние и устойчивость. Не обязательно использовать их все каждый раз, но это полезный чек-лист для серьезной оценки.

Оценка обычно проводится в середине проекта, в конце или спустя некоторое время после завершения. Часто ее проводит или проверяет кто-то со стороны, чтобы суждение было независимым. Ее читатели — более широкая аудитория: руководители, партнеры, доноры и заинтересованные сообщества.

Сравнение

Эти процессы дополняют друг друга. Хорошие данные мониторинга — это сырье для качественной оценки. Хорошая оценка подсказывает, какие показатели вообще стоило отслеживать.

Небольшой пример

Представьте программу обучения грамотности для женщин в одном районе. План состоит из трех частей: набор участниц, проведение занятий и измерение навыков чтения.

Мониторинг выглядит так: каждый месяц команда записывает, сколько женщин записалось, сколько посетило каждое занятие, какие занятия были отменены и почему. Цифры показывают, что посещаемость резко падает в двух деревнях. Команда выезжает на место, узнает, что время занятий совпадает с набором воды, и переносит сессии на вторую половину дня. Посещаемость восстанавливается. Это и есть работа мониторинга: проблема замечена рано и исправлена в ходе проекта.

Оценка выглядит так: в конце программы человек, не участвовавший в ее реализации, сравнивает навыки чтения в начале и в конце, беседует с участницами и их семьями и задает вопрос, была ли программа изначально правильно спроектирована. Выводы могут показать, что навыки чтения улучшились, что дневное расписание помогло, что женщины, которые не могли выйти из дома, остались неохваченными, и что следующую программу стоит дополнить визитами на дом. Это и есть оценка: суждение о результатах и взгляд на то, что делать дальше.

Цифры в этом примере иллюстративны, это не реальные данные.

Где здесь Подотчетность и Обучение

MEAL добавляет два слова к M&E: Подотчетность и Обучение.

• Подотчетность означает ответственность перед людьми, которым вы помогаете, и перед теми, кто финансирует проект. Данные мониторинга и записи о жалобах или отзывах — это то, что вы показываете; оценка — это то, как вы объясняете результаты.
• Обучение означает, что выводы меняют ваши действия. Отчет, который написали и положили в архив, — это не обучение. Изменение следующего плана на основе полученных данных — это обучение.

В таком виде мониторинг, оценка, подотчетность и обучение представляют собой единый цикл: сбор, проверка, объяснение, адаптация. Подробнее читайте в нашем руководстве о том, что такое MEAL.

Типичные ошибки

• Относиться к мониторингу как к оценке. Подсчет мероприятий и участников говорит о том, что было сделано, а не о том, принесло ли это результат.
• Ждать оценки, чтобы найти проблемы. Если в деревне перестали посещать занятия на второй месяц, вы должны узнать об этом на второй месяц.
• Слишком много показателей. Длинный список, который никто не читает, хуже, чем пять показателей, которые команда просматривает каждый месяц.
• Отсутствие базового уровня. Без начальных значений вы не сможете показать изменения в будущем.
• Данные, которые не ведут к решениям. Задавайте вопрос по каждой цифре: кто будет на это смотреть и что он сделает иначе?

Делаем и то, и другое в одном месте

В Pulseform у каждого показателя есть базовое значение, цель и направление, а его статус сравнивает ваше последнее значение с целевым — это часть мониторинга. Те же записи вместе с действиями, рисками и жалобами можно собрать в один момент в отчете для донора, что дает оценщику четкую отправную точку. См. показатели и планы мониторинга и дашборд мониторинга в руководстве.