Браузер для роботов: зачем понадобилась замена Chrome без окна

Есть работа, которую компьютер делает вместо человека прямо в браузере: собрать цены конкурентов, проверить, что заказ оформляется, снять данные из личного кабинета, где нет обмена по интерфейсу. Всё это давно автоматизируют, и почти всегда одинаково — запускают настоящий браузер без окна и управляют им программно.

Почему обычный подход упирается в память

Браузер — одна из самых тяжёлых программ на компьютере. Он умеет рисовать шрифты, проигрывать видео, показывать анимации, работать с камерой и звуком. Роботу из этого не нужно почти ничего: ему нужен текст страницы и возможность нажать кнопку.

Но запускается всё равно весь браузер целиком, со всеми возможностями. Пока задач одна-две, это незаметно. Когда агент обходит тысячу страниц или когда параллельно работают десятки задач, память кончается быстро, а сервер под это приходится брать заметно дороже.

Отсюда и возникла идея: собрать движок заново, оставив только то, что нужно роботу.

Что сделали

Проект Lightpanda — не форк Chromium и не заплатка поверх существующего движка, а реализация с нуля на языке Zig. Разрабатывается с начала 2023 года, больше девяти тысяч коммитов, тридцать пять тысяч отметок на GitHub, правки приходят ежедневно. Для инфраструктурного компонента такая история важнее любых заявленных цифр.

Заявленный выигрыш: в шестнадцать раз меньше памяти и в девять раз быстрее по сравнению с обычным Chrome без окна, по замерам на 933 реальных страницах. Числа принадлежат авторам, но методика указана — это уже лучше, чем «работает быстрее» без уточнений.

Важнее выигрыша другое: движок понимает тот же протокол управления, что и Chrome, и работает с привычными библиотеками автоматизации. То есть переезд не требует переписывать скрипты — меняется то, к чему они подключаются.

Лицензия, которую нельзя пропустить

Проект распространяется под AGPL-3.0. Это третий случай за неделю, когда лицензия оказывается важнее возможностей, и правило везде одно.

Поставили у себя и собираете данные для собственных нужд — обязательств не возникает. Сделали на этом сервис, которым пользуются ваши клиенты, — AGPL требует открыть исходный код вашей версии, потому что она предоставляется по сети.

Для подрядчика, который собирает клиенту систему мониторинга цен, это прямой вопрос на этапе выбора инструмента, а не после сдачи. Разбирать его надо до того, как архитектура сложилась вокруг конкретного движка.

Чего ждать от движка, написанного заново

Здесь нужна трезвость, которой в пересказах не бывает.

Chromium развивается двадцать лет и умеет обрабатывать всё, что за это время наизобретали в вебе, включая нестандартное и сломанное. Новый движок такого багажа не имеет по определению. Значит часть сайтов будет вести себя иначе, а часть — не работать вовсе, и заранее сказать какая именно нельзя.

Практический вывод простой: проверять надо не на демонстрации, а на своих целевых сайтах. Если из десяти нужных вам площадок девять открываются корректно, выигрыш в ресурсах окупается. Если пять — вы потратите на обходные пути больше, чем сэкономите на сервере.

Отсюда же разумный порядок внедрения: оставить обычный браузер как запасной вариант и переводить площадки по одной, а не переезжать целиком за один вечер.

Кому это нужно

Тем, кто собирает данные в объёме. Мониторинг цен, отслеживание наличия, сбор объявлений. Здесь стоимость сервера прямо зависит от того, сколько браузеров помещается в память. Про сам сбор данных у меня есть отдельно: мониторинг цен конкурентов.

Тем, кто строит ИИ-агентов с доступом в веб. Агент, который сам ходит по сайтам, открывает страницы десятками, и вес каждой вкладки становится статьёй расходов.

Тем, кто автоматизирует работу в чужих кабинетах. Когда обмена по интерфейсу нет, а данные нужны, робот в браузере остаётся единственным способом — это тот же случай, что и робот, делающий рутину в браузере.

Кому не нужно. Если задача разовая или страниц десяток в день, экономия не окупит времени на проверку совместимости. Обычный браузер проще и предсказуемее.

Собрать такой контур и проверить его на ваших площадках можно под ключ: open-source под ключ.

Частые вопросы

Скрипты придётся переписывать?

По задумке нет — движок говорит на том же протоколе управления и работает с привычными библиотеками. Но проверять поведение на своих сценариях всё равно надо: совпадение протокола не гарантирует одинакового результата на сложной странице.

Это законно — собирать данные с чужих сайтов?

Зависит от того, что и как. Публичные данные без обхода защиты и без чрезмерной нагрузки — обычно да, но условия использования у каждого сайта свои. Инструмент здесь ни при чём: ответственность в том, что вы собираете, а не чем.

Насколько реальны заявленные цифры?

Это замеры авторов, и относиться к ним надо как к заявлению производителя. Порядок величины правдоподобен — облегчённый движок объективно легче полноценного, — но ваш выигрыш будет свой и зависит от ваших страниц.

Чем это отличается от готовых сервисов парсинга?

Готовый сервис берёт на себя обход блокировок, смену адресов и поддержку совместимости — и берёт за это помесячно. Свой движок дешевле в эксплуатации, но всё перечисленное становится вашей заботой. Развилка та же, что и везде: платить деньгами или временем.

Сколько экономии в деньгах это даёт на практике?

Считается просто: сколько параллельных браузеров помещалось в память сервера раньше и сколько помещается теперь. Если раньше на машине жило четыре задачи, а стало двадцать, вы либо берёте сервер в несколько раз дешевле, либо обрабатываете в несколько раз больше на том же. Точную цифру даёт только замер на ваших страницах — тяжёлые сайты с видео и картами съедают память независимо от движка.

Что делать, если сайт не открывается корректно?

Оставить его на обычном браузере. Смешанная схема, где часть площадок обрабатывается лёгким движком, а сложные — тяжёлым, обычно и оказывается рабочей.

Коротко о главном

Идея здравая: роботу не нужен браузер целиком, и убрав лишнее, можно уместить на том же сервере на порядок больше задач. Проект зрелый по меркам своей ниши, совместим с привычными инструментами и активно развивается.

Но две вещи решают, подойдёт он вам или нет, и ни одна из них не про скорость. Лицензия AGPL закрывает путь к сервису на продажу без раскрытия кода. А движок, написанный заново, неизбежно обрабатывает часть сайтов иначе, чем двадцатилетний Chromium, и узнать какую именно можно только проверкой на своих площадках.

Что предлагаю конкретно. Скажите, с какого числа страниц в сутки вы собираете данные и во что обходится сервер под это. Проверим ваши целевые сайты на лёгком движке и посчитаем, есть ли выигрыш. Напишите в Telegram, MAX или VK.