Кейсы 6 мин чтения

Сканер ошибок для портала на Битрикс24 и сторож в Telegram

Портал на Битрикс24 с самописными модулями ломается тихо, и о поломке узнают по жалобе пользователя. Я собрал сканер, который каждые 10 минут ищет такие вещи, нумерует проблемы и чинит только безопасное, и внешнего сторожа, который пишет в Telegram. Работает с 18 ноября.

кейсБитрикс24мониторингTelegramPHPавтоматизация

Коротко (TL;DR)

  • Для портала на Битрикс24 с самописными модулями я собрал сканер ошибок: один PHP-файл около 280 строк, который каждые 10 минут проверяет журналы, расписания, страницы, сертификат, диск, резервные копии, бизнес-процессы и ещё около десятка вещей.
  • Найденное сканер записывает в таблицу с номерами. Безопасное чинит сам (зависшие агенты, недописанные архивы, старые сеансы), всё, что касается денег, заданий сотрудникам и документов, только записывает.
  • Снаружи работает отдельный сторож на другой машине: каждые 5 минут читает сводку сканера и пишет в Telegram о новой проблеме, о молчании сканера и о том, что портал не отвечает.
  • Работает с 18 ноября. Статистики найденного для этого текста я не снимал, цифр по ним не даю.
Хотите внедрить это у себя?

Сделаю под ключ: разберу задачу, назову срок и цену. Чтобы начать, напишите в Telegram одной фразой.

Обсудить автоматизацию

Портал на Битрикс24 с собственными модулями ломается тихо. Не падает целиком, а где-то перестаёт отрабатывать расписание, зависает агент, пропадает задание у отключённого сотрудника. Узнают об этом по жалобе пользователя. Я хотел узнавать раньше, поэтому написал сканер, который ищет такие вещи сам и сообщает мне.

Задача

Портал компании стоит на Битрикс24 на отдельном сервере. Поверх штатного функционала я написал несколько модулей: бизнес-процессы, работа с корреспонденцией, табель, мобильное приложение для выездных сотрудников, ИИ-разбор документов и бот в MAX. Модули пишут свои журналы, у каждого есть расписание, и чем их больше, тем больше мест, где что-то может сломаться без шума.

Условия я поставил такие:

  • проверка идёт без участия человека, раз в 10 минут;
  • каждая проблема получает номер, чтобы разбирать их по очереди и отмечать разобранными;
  • сканер сам не трогает ничего рискованного: деньги, задания и документы остаются как есть;
  • о находках я узнаю сразу в Telegram, а не при следующем входе на сервер;
  • сканер не должен быть единственным звеном: если он сам остановился, об этом тоже надо узнать.

Что я сделал

Сканер на сервере портала

Сканер запускается из cron каждые 10 минут от того же пользователя, под которым работает сайт. От root нельзя: тогда кэш Битрикса получает владельца root и портал начинает сыпать ошибками доступа. В Битрикс сканер входит штатно, через ядро, и читает базу тем же способом, что и сам портал. Работает он в нескольких режимах: полный прогон, пробный без записи, отчёт об открытых проблемах и отметка о разборе.

Проверок пятнадцать групп, вот основные:

  • журналы модулей и веб-сервера: новые строки с ошибками с прошлого прогона;
  • живость расписаний: журнал скрипта должен обновляться не реже, чем заложено;
  • ответы страниц и срок сертификата: предупреждение за 14 дней, тревога меньше чем за 5;
  • диск и иноды, свежесть резервных копий: базы и настроек не старше 27 часов, файлов не старше 51;
  • зависшие агенты Битрикса, ошибки бизнес-процессов, задания без исполнителя или у отключённого сотрудника;
  • письма корреспонденции в статусе «В работе» без задания, смены, открытые больше 16 часов;
  • ошибки и расход лимита ИИ-модулей, приход почты в рабочие часы, владельцы файлов модулей, состояние бота MAX;
  • нагрузка, память, срабатывание защиты ядра от нехватки памяти, ответы 5xx и медленные ответы по журналу веб-сервера, очередь исходящих писем.

Что сканер чинит сам

Только то, что чинится безопасно и штатно: агент Битрикса, зависший в рабочем состоянии больше часа, сбрасывается; недописанные архивы резервных копий старше суток удаляются; старые неудачные входы и сеансы мобильного приложения чистятся. Каждое исправление записывается в отдельную таблицу, и в отчёте видно, что и когда сделано. Остальное сканер не трогает и только записывает как проблему.

Номера и отчёт

Проблема хранится в таблице с номером, степенью (критично, ошибка, заметка), временем первого появления и счётчиком повторов. Состояние закрывается само, когда перестаёт обнаруживаться. Событие, например строка в журнале, закрывается через трое суток без повторов. Отчёт по команде выводит открытые проблемы по убыванию важности и автоисправления за сутки, а отметка о разборе принимает номер или слово «всё» с заметкой. Так я разбираю проблемы по номерам, а не по памяти.

Внешний сторож

Сводка сканера отдаётся наружу отдельным адресом, закрытым ключом: без ключа он отвечает пустым ответом и кодом 404. В сводке только счётчики и короткие заголовки, без содержимого документов. Забирает её сторож на другой машине. Он запускается по таймеру каждые 5 минут и пишет ботом студии в Telegram:

  • портал не отвечает два раза подряд, и когда он снова отвечает, с длительностью;
  • новая проблема в сканере, по каждой один раз;
  • сканер молчит больше 40 минут;
  • портал отвечает, а сводка не приходит два раза подряд;
  • раз в сутки утром короткое «жив» со списком открытых критичных проблем: если оно не пришло, значит, не работает сам сторож или бот.

Сам принцип «проверять снаружи и с другой машины» я описывал в кейсе про внешний сторож серверов. Здесь он расширен: сторож смотрит не только, отвечает ли портал, но и что про себя говорит сканер.

Что было сложно

Первое: шум. Журналы полны одинаковых строк, которые отличаются датой и числами. Из строки убираются даты и числа, и однотипные ошибки собираются в одну проблему со счётчиком. Из прогона исключены шаблонные вещи вроде запросов к несуществующим файлам, а собственный журнал сканер не читает, иначе он нашёл бы в нём слово «ошибка» и пошёл бы по кругу.

Второе: ложные срабатывания по расписаниям. Часть скриптов пишет в журнал только когда есть новая работа, и молчание у них нормально. Поэтому живость проверяется лишь у скриптов, которые пишут строку на каждом запуске, а расписание, которое выключено вручную закомментированной строкой в cron, пропускается. Ответ 503 от защиты от ботов не считается аварией.

Третье: окружение. На сервере выключен PHP-модуль curl, поэтому запросы к страницам портала я делаю штатным HTTP-клиентом Битрикса. Часть проверок зависит от формата журнала веб-сервера, и после смены формата её придётся поправить.

Четвёртое: что считать срочным. Для сертификата, диска и нагрузки заданы две границы: предупреждение и критично. Нагрузку я оцениваю по числу ядер сервера, а оценка резервных копий учитывает, что файлы портала копируются реже, чем база. Границы заданы в коде, и подстраивать их придётся по опыту работы.

Что получилось

ЧтоСостояние
Сканер на сервере порталаработает с 18 ноября, запуск каждые 10 минут
Внешний сторож в Telegramработает с 18 ноября, проверка каждые 5 минут
Проверок в сканере15 групп
Автоисправлениятри безопасных вида, все в журнале
Отключение сторожаодной командой
Статистика найденногодля этого текста не снималась

Сколько проблем сканер нашёл с момента запуска и что из этого оказалось настоящей поломкой, назвать не могу: отчёт за период для этого текста я не выгружал.

Что дальше

В планах сводка за неделю одним сообщением и разбор повторяющихся проблем: если один и тот же номер возвращается, это сигнал чинить причину, а не отмечать разобранным. Ещё стоит добавить второго получателя оповещений, чтобы всё не держалось на одном чате. Про устройство такой защиты от сбоев есть общая статья про отказоустойчивость, мониторинг и копии, а про простые проверки сайта про мониторинг сайта и домена.

Частые вопросы

Подойдёт ли такой сканер для обычного портала на Битрикс24 без своих модулей?

Часть проверок универсальна: агенты, очередь писем, бизнес-процессы, диск, сертификат, копии, журналы. Проверки модулей пишутся под конкретный портал.

Не опасно ли, что сканер что-то чинит сам?

Список автоисправлений короткий и ограничен тем, что штатно безопасно: сброс зависшего агента, удаление недописанных архивов и старых сеансов. Всё, что затрагивает деньги, задания и документы, сканер только фиксирует. Каждое действие попадает в журнал.

Сколько стоит такая защита?

Зависит от числа модулей и того, какие проверки нужны. Рассчитываю после знакомства с порталом, цену по описанию не называю.

Коротко о главном

Сканер находит тихие поломки до жалобы пользователя, нумерует их и чинит только безопасное. Внешний сторож проверяет, жив ли портал и жив ли сам сканер, и раз в сутки подтверждает, что работает. Дежурная связка из двух частей надёжнее одной, потому что каждая страхует другую.

Если вам нужен сканер ошибок для портала на Битрикс24 или собственный мониторинг с оповещением в мессенджер, я соберу такой под ваш портал. Напишите в Telegram, MAX или VK.

Обсудим вашу задачу

Что я делаю для бизнеса

Напишите одной фразой, что нужно. Отвечу, что подойдёт, сколько займёт и сколько стоит. Сообщение уже подготовлено.

  • Боты в Telegram, MAX, VK
  • Автоматизация процессов и CRM
  • Аналитика и дашборды
  • Сайты и лендинги под ключ
Пишу о разработке, ИИ и законах для бизнеса

Разборы, кейсы и практика — без воды. Выходит регулярно, читать 3–5 минут.

Готовые решения под ключTurnkey solutionsSoluciones llave en mano交钥匙解决方案Түлхүүр гардуулах шийдэл 451 готовых IT-решений для бизнеса451 ready-made IT solutions for business451 soluciones IT listas para empresas451 个面向企业的现成 IT 解决方案Бизнест зориулсан 451 бэлэн IT шийдэл Автоматизация, боты, AI, 152-ФЗ и платформы · бесплатная консультацияAutomation, bots, AI, data privacy and platforms · free consultationAutomatización, bots, IA, privacidad de datos y plataformas · consulta gratis自动化、机器人、AI、数据合规与平台 · 免费咨询Автоматжуулалт, бот, AI, өгөгдлийн хамгаалалт ба платформ · үнэгүй зөвлөгөө Смотреть каталогView catalogVer catálogo查看目录Каталог үзэх