Сканер ошибок для портала на Битрикс24 и сторож в Telegram
Портал на Битрикс24 с самописными модулями ломается тихо, и о поломке узнают по жалобе пользователя. Я собрал сканер, который каждые 10 минут ищет такие вещи, нумерует проблемы и чинит только безопасное, и внешнего сторожа, который пишет в Telegram. Работает с 18 ноября.
Коротко (TL;DR)
- Для портала на Битрикс24 с самописными модулями я собрал сканер ошибок: один PHP-файл около 280 строк, который каждые 10 минут проверяет журналы, расписания, страницы, сертификат, диск, резервные копии, бизнес-процессы и ещё около десятка вещей.
- Найденное сканер записывает в таблицу с номерами. Безопасное чинит сам (зависшие агенты, недописанные архивы, старые сеансы), всё, что касается денег, заданий сотрудникам и документов, только записывает.
- Снаружи работает отдельный сторож на другой машине: каждые 5 минут читает сводку сканера и пишет в Telegram о новой проблеме, о молчании сканера и о том, что портал не отвечает.
- Работает с 18 ноября. Статистики найденного для этого текста я не снимал, цифр по ним не даю.
Сделаю под ключ: разберу задачу, назову срок и цену. Чтобы начать, напишите в Telegram одной фразой.
Обсудить автоматизациюПортал на Битрикс24 с собственными модулями ломается тихо. Не падает целиком, а где-то перестаёт отрабатывать расписание, зависает агент, пропадает задание у отключённого сотрудника. Узнают об этом по жалобе пользователя. Я хотел узнавать раньше, поэтому написал сканер, который ищет такие вещи сам и сообщает мне.
Задача
Портал компании стоит на Битрикс24 на отдельном сервере. Поверх штатного функционала я написал несколько модулей: бизнес-процессы, работа с корреспонденцией, табель, мобильное приложение для выездных сотрудников, ИИ-разбор документов и бот в MAX. Модули пишут свои журналы, у каждого есть расписание, и чем их больше, тем больше мест, где что-то может сломаться без шума.
Условия я поставил такие:
- проверка идёт без участия человека, раз в 10 минут;
- каждая проблема получает номер, чтобы разбирать их по очереди и отмечать разобранными;
- сканер сам не трогает ничего рискованного: деньги, задания и документы остаются как есть;
- о находках я узнаю сразу в Telegram, а не при следующем входе на сервер;
- сканер не должен быть единственным звеном: если он сам остановился, об этом тоже надо узнать.
Что я сделал
Сканер на сервере портала
Сканер запускается из cron каждые 10 минут от того же пользователя, под которым работает сайт. От root нельзя: тогда кэш Битрикса получает владельца root и портал начинает сыпать ошибками доступа. В Битрикс сканер входит штатно, через ядро, и читает базу тем же способом, что и сам портал. Работает он в нескольких режимах: полный прогон, пробный без записи, отчёт об открытых проблемах и отметка о разборе.
Проверок пятнадцать групп, вот основные:
- журналы модулей и веб-сервера: новые строки с ошибками с прошлого прогона;
- живость расписаний: журнал скрипта должен обновляться не реже, чем заложено;
- ответы страниц и срок сертификата: предупреждение за 14 дней, тревога меньше чем за 5;
- диск и иноды, свежесть резервных копий: базы и настроек не старше 27 часов, файлов не старше 51;
- зависшие агенты Битрикса, ошибки бизнес-процессов, задания без исполнителя или у отключённого сотрудника;
- письма корреспонденции в статусе «В работе» без задания, смены, открытые больше 16 часов;
- ошибки и расход лимита ИИ-модулей, приход почты в рабочие часы, владельцы файлов модулей, состояние бота MAX;
- нагрузка, память, срабатывание защиты ядра от нехватки памяти, ответы 5xx и медленные ответы по журналу веб-сервера, очередь исходящих писем.
Что сканер чинит сам
Только то, что чинится безопасно и штатно: агент Битрикса, зависший в рабочем состоянии больше часа, сбрасывается; недописанные архивы резервных копий старше суток удаляются; старые неудачные входы и сеансы мобильного приложения чистятся. Каждое исправление записывается в отдельную таблицу, и в отчёте видно, что и когда сделано. Остальное сканер не трогает и только записывает как проблему.
Номера и отчёт
Проблема хранится в таблице с номером, степенью (критично, ошибка, заметка), временем первого появления и счётчиком повторов. Состояние закрывается само, когда перестаёт обнаруживаться. Событие, например строка в журнале, закрывается через трое суток без повторов. Отчёт по команде выводит открытые проблемы по убыванию важности и автоисправления за сутки, а отметка о разборе принимает номер или слово «всё» с заметкой. Так я разбираю проблемы по номерам, а не по памяти.
Внешний сторож
Сводка сканера отдаётся наружу отдельным адресом, закрытым ключом: без ключа он отвечает пустым ответом и кодом 404. В сводке только счётчики и короткие заголовки, без содержимого документов. Забирает её сторож на другой машине. Он запускается по таймеру каждые 5 минут и пишет ботом студии в Telegram:
- портал не отвечает два раза подряд, и когда он снова отвечает, с длительностью;
- новая проблема в сканере, по каждой один раз;
- сканер молчит больше 40 минут;
- портал отвечает, а сводка не приходит два раза подряд;
- раз в сутки утром короткое «жив» со списком открытых критичных проблем: если оно не пришло, значит, не работает сам сторож или бот.
Сам принцип «проверять снаружи и с другой машины» я описывал в кейсе про внешний сторож серверов. Здесь он расширен: сторож смотрит не только, отвечает ли портал, но и что про себя говорит сканер.
Что было сложно
Первое: шум. Журналы полны одинаковых строк, которые отличаются датой и числами. Из строки убираются даты и числа, и однотипные ошибки собираются в одну проблему со счётчиком. Из прогона исключены шаблонные вещи вроде запросов к несуществующим файлам, а собственный журнал сканер не читает, иначе он нашёл бы в нём слово «ошибка» и пошёл бы по кругу.
Второе: ложные срабатывания по расписаниям. Часть скриптов пишет в журнал только когда есть новая работа, и молчание у них нормально. Поэтому живость проверяется лишь у скриптов, которые пишут строку на каждом запуске, а расписание, которое выключено вручную закомментированной строкой в cron, пропускается. Ответ 503 от защиты от ботов не считается аварией.
Третье: окружение. На сервере выключен PHP-модуль curl, поэтому запросы к страницам портала я делаю штатным HTTP-клиентом Битрикса. Часть проверок зависит от формата журнала веб-сервера, и после смены формата её придётся поправить.
Четвёртое: что считать срочным. Для сертификата, диска и нагрузки заданы две границы: предупреждение и критично. Нагрузку я оцениваю по числу ядер сервера, а оценка резервных копий учитывает, что файлы портала копируются реже, чем база. Границы заданы в коде, и подстраивать их придётся по опыту работы.
Что получилось
| Что | Состояние |
|---|---|
| Сканер на сервере портала | работает с 18 ноября, запуск каждые 10 минут |
| Внешний сторож в Telegram | работает с 18 ноября, проверка каждые 5 минут |
| Проверок в сканере | 15 групп |
| Автоисправления | три безопасных вида, все в журнале |
| Отключение сторожа | одной командой |
| Статистика найденного | для этого текста не снималась |
Сколько проблем сканер нашёл с момента запуска и что из этого оказалось настоящей поломкой, назвать не могу: отчёт за период для этого текста я не выгружал.
Что дальше
В планах сводка за неделю одним сообщением и разбор повторяющихся проблем: если один и тот же номер возвращается, это сигнал чинить причину, а не отмечать разобранным. Ещё стоит добавить второго получателя оповещений, чтобы всё не держалось на одном чате. Про устройство такой защиты от сбоев есть общая статья про отказоустойчивость, мониторинг и копии, а про простые проверки сайта про мониторинг сайта и домена.
Частые вопросы
Подойдёт ли такой сканер для обычного портала на Битрикс24 без своих модулей?
Часть проверок универсальна: агенты, очередь писем, бизнес-процессы, диск, сертификат, копии, журналы. Проверки модулей пишутся под конкретный портал.
Не опасно ли, что сканер что-то чинит сам?
Список автоисправлений короткий и ограничен тем, что штатно безопасно: сброс зависшего агента, удаление недописанных архивов и старых сеансов. Всё, что затрагивает деньги, задания и документы, сканер только фиксирует. Каждое действие попадает в журнал.
Сколько стоит такая защита?
Зависит от числа модулей и того, какие проверки нужны. Рассчитываю после знакомства с порталом, цену по описанию не называю.
Коротко о главном
Сканер находит тихие поломки до жалобы пользователя, нумерует их и чинит только безопасное. Внешний сторож проверяет, жив ли портал и жив ли сам сканер, и раз в сутки подтверждает, что работает. Дежурная связка из двух частей надёжнее одной, потому что каждая страхует другую.
Если вам нужен сканер ошибок для портала на Битрикс24 или собственный мониторинг с оповещением в мессенджер, я соберу такой под ваш портал. Напишите в Telegram, MAX или VK.
Что я делаю для бизнеса
Напишите одной фразой, что нужно. Отвечу, что подойдёт, сколько займёт и сколько стоит. Сообщение уже подготовлено.
- Боты в Telegram, MAX, VK
- Автоматизация процессов и CRM
- Аналитика и дашборды
- Сайты и лендинги под ключ
Разборы, кейсы и практика — без воды. Выходит регулярно, читать 3–5 минут.

