Страницу конкурента удалят завтра: как сохранить её сегодня

Что пропадает из интернета в самый неудобный момент

Конкурент выкладывает на сайте сравнение, где ваш товар назван подделкой. Через два дня текст молча правят. Покупатель оставляет отзыв с обвинениями, потом удаляет его, но скриншот уже ходит по чатам. Подрядчик публикует кейс с вашими материалами и убирает его, когда вы начинаете переписку.

Во всех трёх случаях вы приходите с вопросом, когда страницы уже нет. Скриншот с телефона показывает картинку, но не показывает адрес, дату, исходный код и то, что было на странице ниже экрана. Веб-архивы вроде Wayback Machine хранят далеко не всё и сохраняют по своему графику, а закрытое от роботов они не берут вовсе.

Что делает ArchiveBox

Проект живёт на GitHub, лицензия MIT, то есть использовать можно в коммерческой работе без платы. Вы даёте адрес страницы, а программа через настоящий браузер Chrome и инструменты wget и yt-dlp снимает с неё несколько копий сразу.

В карточке снимка лежат: страница в виде HTML (в том числе одним файлом через SingleFile), PDF, скриншот 1440 на 900, WARC-архив, выжимка текста статьи, заголовки ответа сервера и название. Если на странице есть видео, достанется и оно. Каждый снимок хранится как обычная папка с обычными файлами, так что открыть его можно без самой программы, а вывезти на другой сервер просто скопировать.

У каждого снимка записано время сохранения. Это время вашего сервера, и ниже я объясню, почему это важно.

Как в архив попадают ссылки

Руками по одной ссылке это быстро надоест, поэтому у программы несколько входов. Расширение для Chrome, Firefox и Safari: нажали кнопку на странице, она ушла в архив. Экспорт закладок и истории браузера. Файлы со списком ссылок в TXT, CSV и JSON. RSS-ленты. Команда archivebox add для скриптов.

Есть и встроенное расписание, команда archivebox schedule. Для маркетолога это самый ходовой режим: список страниц конкурентов, лента отзывов, раздел новостей на чужом сайте. Раз в день программа берёт всё новое и складывает в архив, и вам не нужно помнить про это самому. Если нужно узнавать, что именно на странице изменилось, это уже другая задача, её решает changedetection. Вместе они работают хорошо: один сообщает, что страница поменялась, второй хранит, как она выглядела раньше.

Архив на сервере и доказательство в суде

Здесь надо быть аккуратным. Снимок с меткой времени на вашем сервере сделали вы сами и вы же можете его изменить. Противоположная сторона скажет, что страницу подправили, и будет права в том смысле, что проверить это независимо нечем.

В России для таких случаев есть нотариальный осмотр сайта. Это обеспечение доказательств по статье 103 Основ законодательства о нотариате: нотариус осматривает страницу, составляет протокол, и этот документ суд принимает охотнее любого собственного скриншота. Что принимает конкретный суд и как оформить протокол в вашем деле, решает юрист, а я этого не обещаю.

На практике получается такая схема. ArchiveBox закрывает первый шаг: страница сохранена сразу, целиком и с исходным кодом, пока её не удалили. Дальше юрист решает, нужен ли нотариус, и вы приходите к нему с точным адресом и готовой копией. Для переписки с конкурентом, внутренней претензии или решения, стоит ли идти в суд, архива обычно хватает. Для самого суда нужен нотариус или другая процедура.

Что важно учесть

Страницы за логином программа сохраняет только после того, как ей передадут куки или залогинят Chrome внутри неё. Авторы советуют для этого заводить отдельные учётные записи, потому что в архив могут попасть токены сессии и личные данные.

Сайты, которые собирают страницу JavaScript-ом, снимаются через Chrome и обычно выходят нормально. Но тяжёлые страницы, бесконечные ленты и всплывающие окна иногда получаются обрезанными. Тайм-аут по умолчанию 60 секунд, его можно увеличить в настройках.

Место на диске растёт быстро. Один обычный сайт занимает немного, видео и длинные ленты много. Разработчики рекомендуют файловую систему со сжатием, например ZFS или BTRFS.

Ресурсы скромные: по документации минимум 1 ГБ памяти, лучше 2 ГБ и больше, а на VPS с одним гигабайтом нужен своп около 4 ГБ.

И закон: не все страницы можно хранить. Если в снимок попадают персональные данные посторонних людей, например отзыв с фамилией, хранение надо учитывать в вашей политике обработки данных.

Что можно сделать уже сейчас

Первое. Составьте список из десяти страниц, которые вам дороги: прайс главного конкурента, раздел отзывов о вас на карте и маркетплейсе, упоминания в СМИ. Поставьте их на ежедневное сохранение. Про отзывы мы писали отдельно, в статье про репутацию на Яндексе и 2ГИС.

Второе. Поставьте ArchiveBox через Docker Compose: в репозитории есть готовый файл, запуск занимает одну команду docker compose up -d --wait. Доступ к панели закройте паролем.

Третье. Договоритесь с юристом, при каком условии вы идёте к нотариусу. Например, если страница затрагивает ваше имя или цену договора. Тогда решение принимается за час, а не за три дня, когда страницы уже нет.

Четвёртое. Если вам нужен архив документов, а не сайтов, смотрите Paperless-ngx, а для переписки в мессенджере разбор архива чата или канала Telegram. Установку и настройку под ваш сервер мы делаем в рамках автоматизации бизнеса.

Частые вопросы

Принимает ли суд такой архив как доказательство?

Гарантий нет. Копию, которую вы сняли у себя на сервере, суд может не признать достаточной, потому что независимо проверить время и неизменность нельзя. Для суда есть нотариальный протокол осмотра сайта, и о нём надо спрашивать юриста по вашему делу.

Сколько это стоит?

Сама программа бесплатна. Платить приходится за сервер и за наше время на установку и настройку. Цену под ваш объём можно обсудить в личной переписке или посмотреть в прайсе.

Сохранит ли она страницы из закрытых сообществ и личных кабинетов?

Только если передать ей вход: куки или сессию в браузере внутри программы. Для этого лучше выделить отдельный аккаунт. Закрытые группы и платформы сохраняют не всегда полно, и результат надо смотреть глазами.

Коротко о главном

ArchiveBox сохраняет страницу целиком в нескольких форматах, принимает ссылки отовсюду и работает по расписанию. Лицензия MIT, запуск через Docker Compose, нагрузка скромная. Юридической силы архив на вашем сервере сам не получает: он собирает материал, а для суда нужен нотариус.

Есть страницы, которые нельзя потерять, а ставить и обслуживать архив самому некогда? Напишите мне в Telegram слово «СНИМОК». Разберём, что у вас нужно сохранять, и развернём архив на вашем сервере.