Кейсы 6 мин чтения

Внешний сторож серверов: оповещение в Telegram за 10 минут

Сервер завис на несколько часов, а о проблеме мне первым сообщил клиент. После этого я собрал внешнего сторожа: он каждые пять минут проверяет сайты с другой машины и пишет в Telegram один раз при падении и один раз при возврате. Это мой собственный инструмент студии, он работает.

кейсмониторингTelegramсерверыPythonсобственный продукт

Коротко (TL;DR)

  • Один из серверов завис на несколько часов, и о проблеме мне первым сообщил клиент. С 14 ноября за серверами следит внешний сторож: проверка снаружи каждые 5 минут, оповещение в Telegram-бот студии.
  • Сообщений ровно два за случай: одно при падении, одно при возврате с длительностью простоя. Падением считается два проваленных запуска подряд, одиночный сбой сети молчит.
  • Это маленький скрипт на Python без внешних библиотек, список сайтов лежит в одном массиве, отключается одной командой.
  • Слепое пятно известно: если упадёт сама машина со сторожем, оповещения не будет.
Хотите внедрить это у себя?

Сделаю под ключ: разберу задачу, назову срок и цену. Чтобы начать, напишите в Telegram одной фразой.

Обсудить автоматизацию

Это мой собственный инструмент, не заказ. Он закрывает конкретную дыру: узнать о падении раньше клиента.

Задача

Я держу на серверах сайты и боты клиентов. Недавно один из серверов завис на несколько часов. Внутри ничего не горело, но снаружи сайты не открывались, а я узнал об этом из сообщения клиента. Для разработчика это худший способ: человек уже потерял часть дня, а вы ещё не видите проблему.

Мониторинг самого сервера изнутри здесь не помогает: когда сервер завис целиком, он не пришлёт и сообщения «я завис». Нужен наблюдатель с другой машины, который смотрит так же, как посетитель, и сам пишет мне. Условий было три. Проверка должна быть частой, чтобы простой не тянулся часами. Сообщение должно быть одно, а не поток из сотни одинаковых. И вернуться оно должно тоже: чтобы я видел, что всё ожило и сколько это длилось.

Готовые системы вроде Uptime Kuma для этого подходят, но мне нужен был минимум: один файл, который я читаю целиком и могу поправить за минуту. Общая идея описана в статье про то, как не узнавать о падении сайта от клиента.

Что я сделал

Сторож живёт на другой машине, не на проверяемом сервере. Это скрипт на Python со стандартной библиотекой, который запускает системный таймер каждые 5 минут.

Что проверяется. Пинг самого сервера и несколько адресов сайтов и сервисов. Проверки идут параллельно, иначе при падении по очереди они набегали бы на минуты. Для сайта проба считается успешной при ответе сервера. У одного из адресов нормальным ответом служит перенаправление, поэтому редиректы скрипт не проходит и принимает такой код как живой.

Повтор. Если проба не прошла, скрипт ждёт 5 секунд и пробует ещё раз. Таймаут одной попытки 20 секунд. Так короткая заминка сети не превращается в тревогу.

Когда писать. Скрипт хранит состояние в небольшом файле. Если проба провалилась в двух запусках подряд, он отправляет одно сообщение: если не отвечает всё сразу, это «сервер не отвечает» с советом перезагрузить его в кабинете хостинга. Если не отвечает только часть адресов, сообщение перечисляет их. Повторов, пока простой идёт, нет. Когда проба вернулась, приходит одно сообщение «вернулось» с тем, сколько минут было недоступно.

Если сообщение не дошло. Скрипт считает его отправленным только после успешного ответа Telegram. Иначе повторяет попытку в следующий запуск, и оповещение не теряется из-за сбоя доставки.

Куда пишет. В Telegram-бот студии. Ключ бота скрипт читает из файла настроек при каждом запуске, поэтому после смены ключа ничего править не нужно. Он только отправляет сообщения и другим процессам бота не мешает.

Управление. Список сайтов лежит в одном массиве в начале скрипта. Есть режим сухого прогона: проверить и напечатать результат без отправки, и режим тестового сообщения. Отключить сторожа можно одной командой, включить обратно тоже.

Что было сложно

Самое трудное в таком инструменте не проверка, а шум. Если писать на каждую неудачную проверку, за одну ночь простоя набегут десятки сообщений. Поэтому состояние хранится в файле и запоминает, что тревога уже отправлена. По той же причине порог в два запуска подряд: он чуть откладывает оповещение, но убирает ложные срабатывания от разовых сбоев сети.

Вторая тонкость: что считать «живым». Один из проверяемых адресов специально отвечает перенаправлением. Если идти по редиректу, проба зависела бы ещё и от страницы, куда он ведёт. Поэтому скрипт редиректы не проходит.

Третье: выбор машины. Сторож должен стоять там, где уже есть надёжный выход в Telegram и запущено что-то постоянное. Я поставил его на одну из своих машин и использовал уже существующего бота. Адреса и данные доступа здесь не публикую.

Четвёртое: честный предел схемы. Один наблюдатель не видит собственного падения. С этим я пока живу, но подробнее ниже.

Что получилось

ЧтоСостояние
Запуск по таймерукаждые 5 минут, работает с 14 ноября
Тестовое сообщение в Telegram14 ноября дошло
Оповещение о падении и о возвратереализовано, по одному сообщению на случай
Срабатывание на реальном отказеотдельного подтверждения у меня нет
Слепое пятнопадение самой машины со сторожем

Что проверено: логика на сухом прогоне и доставка тестового сообщения. Реальный отказ сервера после запуска я специально не устраивал, поэтому честно скажу так: механика собрана и работает в режиме проверок, а полноценное срабатывание на живом падении ещё предстоит увидеть. Минимальный срок до оповещения при падении выходит от 5 до 10 минут, зависит от того, в какой момент между запусками сервер упал.

Что дальше

Главная слабость очевидна: сторож один. Если ляжет машина, на которой он стоит, тревоги не будет. Закрыть это можно вторым сторожем на другом хостинге, который проверяет первого, либо внешним сервисом для одной этой проверки. Пока я просто знаю о проблеме. Остальное по плану: добавлять новые сайты в тот же массив по мере появления клиентов, а список проверок со временем расширить с адресов на содержимое страницы, чтобы ловить случаи, когда сайт отвечает, но показывает ошибку.

Для регулярных задач на сервере полезна панель для cron, а общий взгляд на тему даёт статья про отказоустойчивость для малого бизнеса.

Частые вопросы

Почему не поставить готовый сервис мониторинга?

Можно, и для сложных случаев это разумно. Мне нужно было минимум: один скрипт, который я понимаю целиком, без панели и подписки. Для вашего бизнеса выбор зависит от числа сайтов и от того, нужна ли страница статуса для клиентов.

Сколько сообщений приходит при простое?

Два за случай: одно, когда сервис упал, и одно, когда вернулся. Пока простой длится, повторов нет.

Можно ли такого сторожа поставить для моего сайта?

Да, настройка простая: адреса, период, получатель оповещений. Нужна отдельная машина, независимая от проверяемой, и канал, где вы увидите сообщение быстро.

Коротко о главном

Проверять сервер надо снаружи и с другой машины, а сообщения экономить: одно на падение и одно на возврат, с длительностью. Порог в два запуска подряд убирает ложные тревоги и откладывает настоящие всего на пять минут. Слепое пятно у одиночного сторожа остаётся, и о нём лучше помнить заранее.

Если вам нужен свой мониторинг сайтов или ботов с оповещением в мессенджер, я соберу такой под ваши адреса. Напишите в Telegram, MAX или VK.

Обсудим вашу задачу

Что я делаю для бизнеса

Напишите одной фразой, что нужно. Отвечу, что подойдёт, сколько займёт и сколько стоит. Сообщение уже подготовлено.

  • Боты в Telegram, MAX, VK
  • Автоматизация процессов и CRM
  • Аналитика и дашборды
  • Сайты и лендинги под ключ
Пишу о разработке, ИИ и законах для бизнеса

Разборы, кейсы и практика — без воды. Выходит регулярно, читать 3–5 минут.

Готовые решения под ключTurnkey solutionsSoluciones llave en mano交钥匙解决方案Түлхүүр гардуулах шийдэл 451 готовых IT-решений для бизнеса451 ready-made IT solutions for business451 soluciones IT listas para empresas451 个面向企业的现成 IT 解决方案Бизнест зориулсан 451 бэлэн IT шийдэл Автоматизация, боты, AI, 152-ФЗ и платформы · бесплатная консультацияAutomation, bots, AI, data privacy and platforms · free consultationAutomatización, bots, IA, privacidad de datos y plataformas · consulta gratis自动化、机器人、AI、数据合规与平台 · 免费咨询Автоматжуулалт, бот, AI, өгөгдлийн хамгаалалт ба платформ · үнэгүй зөвлөгөө Смотреть каталогView catalogVer catálogo查看目录Каталог үзэх