Замер эффекта через месяц: база, сезон, решение по итогам

Кому и когда это нужно

Вы запустили бота на заявки, сайт или учёт, а через месяц не можете ответить, помогло ли это. До запуска ничего не записывали, поэтому «вроде стало лучше» и «заявок как будто больше» остаются ощущениями. Решение о доработках и новых вложениях тогда принимается по настроению.

Замер нужен, когда у запуска есть конкретное ожидание и в месяц набирается хотя бы несколько десятков событий: заявок, заказов, обращений. Если их пять в месяц, цифры будут прыгать, разбирайте отдельные случаи. Без базы любая цифра после запуска ничего не доказывает.

Как это делается: 7 шагов

1. До запуска напишите ожидание одной фразой: «обращения обрабатываются быстрее» или «меньше ручной сверки». Нет фразы, нет метрики.
2. Выберите три-четыре метрики, не больше пяти (таблица ниже).
3. Запишите определения: что считается заявкой, пропущенным обращением, оплатой, за какие дни. Потом не меняйте.
4. Соберите базу за четыре недели до запуска. Неделя случайна, две недели хуже месяца. Если запуск уже был, восстановите базу из переписок, журнала звонков и таблиц и пометьте «восстановлено»: такой вывод слабее.
5. Запишите критерии решения (ниже) до запуска, пока результат неизвестен.
6. После запуска две недели не оценивайте: идёт обкатка, ловятся ошибки, люди привыкают. Это не эффект.
7. Замерьте следующие четыре недели теми же определениями и из тех же источников, сложите затраты и примите решение.

Что мерить, что считать эффектом и как читать

Пятой строкой всегда идут затраты: разработка, поддержка, подписки и серверы, время ваших сотрудников на обучение и сопровождение. Как считать их до запуска и срок возврата, разобрано в статьях про стоимость автоматизации и про честный расчёт окупаемости. Здесь я их не повторяю.

Эффект это разница между «после» и базой, из которой убрано то, что менялось само. Сравнивайте с тем же периодом прошлого года, если данные есть. Если запуск совпал с рекламой, праздниками, новой ценой или отпуском менеджера, запишите это в колонку «что ещё менялось». Когда есть контроль, например точка или канал без изменений, сравнивайте динамику, а не абсолютные числа. Контроля нет, пишите прямо: «эффект не отделён от сезона».

Честное сравнение на условном примере, бот приёма заявок, цифры условные.

Читаем так. Первые две строки сдвинулись заметно и без внешних причин. Третья в пределах шума и совпала с акцией, эффектом её не называем. По часам разница четыре, но три уходят на сопровождение, чистый выигрыш один час в неделю.

Инструменты, отчёт и решение

Нужен один лист. Столбцы: неделя, метрика, значение, источник, что ещё менялось. Одна строка на метрику, десять минут раз в неделю. Как собрать пять цифр без аналитика, описано в статье про метрики на каждую неделю, а как ставить показатели, в статье про KPI.

Отчёт владельцу на одну страницу: что ожидали; база и «после» в таблице; что ещё менялось; затраты за период; решение и дата следующей проверки.

Критерии решения, пример формулировок. Продолжать, если ключевые цифры улучшились, а остальные не упали. Доработать, если одна цифра в плюсе, а ради неё вы тратите больше часов, чем раньше. Остановить, если за два периода ничего не сдвинулось и причина понятна. Пороги задайте под себя до запуска.

Если месяца мало, как при сделке в два-три месяца, смотрите промежуточные индикаторы: число заявок, долю дошедших до следующего этапа, скорость перехода. Итог по оплатам оценивайте, когда цикл прошёл, и назначьте дату проверки заранее. При малом потоке берите скользящее окно в четыре недели.

Где ошибаются чаще всего

• Выбирают метрики после запуска: берут те, что выросли. Список фиксируют до.
• Сравнивают неделю запуска с обычной. В ней тестовые обращения и интерес «посмотреть, как работает».
• Не учитывают время на сопровождение и подписки: выигрыш в часах кажется больше.
• Считают «сэкономленные часы» деньгами. Если часы ушли в другие дела и никто не решил, чем их заняли, например взять больше заказов, денег не появилось. Ответьте, куда пошло время.
• Нет базы. Тогда честнее сказать «не измерено», чем изображать вывод.

Где здесь поможет автоматизация

Сводка по расписанию в Telegram или MAX: цифры из CRM и таблицы приходят в пятницу без ручной сборки. Отметка даты запуска и событий вроде акций, чтобы колонка «что ещё менялось» не терялась. Сравнение двух периодов по одним и тем же определениям. Учёт эффекта: таблица «до и после» с затратами на одном листе.

В моих проектах есть близкие куски. В CRM под одну компанию считается статистика заявок по источникам и этапам и доля дошедших до сделки за выбранный период. В семейном ассистенте есть итоги недели. В админке склада самообслуживания считается, сколько в месяц не приносят простаивающие боксы. Готового продукта «замер эффекта» не заявляю, собираю под вашу схему в рамках ИИ-аналитики и отчётности. На старте хватит листа и напоминания в календаре. Пример качественных изменений есть в статье про до и после автоматизации, здесь описан метод замера.

Частые вопросы

Сколько ждать после запуска?

Две недели обкатки и четыре недели замера. При длинном цикле сделки дольше, смотрите промежуточные индикаторы.

Что делать, если базу не собрали?

Восстановите её по старым перепискам и таблицам и пометьте. Если нечего восстанавливать, начните замер сейчас: эти четыре недели станут базой для следующих изменений, оценка запуска будет слабее.

Цифры не изменились. Запуск бесполезен?

Не обязательно. Проверьте поток событий, определения и обкатку. Решайте по критериям, записанным до запуска, а не по настроению.

Коротко о главном

База за четыре недели до запуска, три-четыре метрики с записанными определениями, замер теми же способами, сравнение с учётом сезона и затрат, критерии решения до результата. Любой вывод без базы помечайте как «не измерено».

Хотите, чтобы я настроил замер до и после, сводку в мессенджере и учёт эффекта для вашего бота или сайта? Напишите мне в Telegram слово «ЭФФЕКТ».