Безопасность 18 мин чтения

Как защитить сайт от ботов, парсинга и накруток без вреда SEO

Парсинг цен, накрутка заявок и корзин, скликивание рекламы — боты воруют деньги и данные. Разбираю, как грамотно защититься и при этом не заблокировать поисковики Яндекса и Google и не уронить SEO.

безопасностьботыпарсингWAFSEO

Коротко (TL;DR)

  • Боты бывают полезные (YandexBot, Googlebot) и вредные (парсеры цен, накрутчики заявок, скликиватели рекламы) — задача в том, чтобы отделить одних от других, а не «закрыть всё подряд».
  • Тотальная блокировка по User-Agent или сплошная капча на каждой странице роняет SEO: поисковики не индексируют сайт, позиции падают, трафик уходит.
  • Грамотная защита строится слоями: rate limiting на уровне сервера, поведенческий анализ, фингерпринт устройства, WAF и капча только в точках риска (формы, корзина, оплата).
  • YandexBot и Googlebot пускаем всегда, проверяя их по обратному DNS, а не по строке User-Agent, которую легко подделать.
  • Накрутки заявок и корзин лечатся не капчей, а антифродом на ML, который смотрит на поведение, а не на одну галочку.
  • Без мониторинга вы не узнаете об атаке, пока не упадёт сервер или не вырастет счёт за рекламу. Логи и алерты — обязательны.

Какие бывают боты и чем они вредят

За шестнадцать с лишним лет в IT я насмотрелся на сайты, которые «защитились от ботов» так, что заодно выпали из поиска и потеряли половину выручки. Поэтому первый разговор с владельцем магазина у меня всегда начинается не с «давайте поставим капчу», а с вопроса: какие именно боты вам мешают и чем конкретно вредят. Боты — это не зло по умолчанию. Это просто программы, которые ходят по сайту без участия живого человека. И среди них есть те, без кого ваш бизнес умрёт.

Я делю весь автоматический трафик на три большие группы. Полезные боты — это поисковые роботы Яндекса и Google, которые индексируют страницы и приводят вам бесплатный органический трафик. Сюда же относятся боты соцсетей, которые подтягивают превью ссылок, и боты сервисов мониторинга, которые проверяют, жив ли сайт. Этих ребят надо холить и лелеять, давать им доступ и не мешать работать.

Серые боты — это парсеры цен, агрегаторы, скрейперы контента. Формально они не ломают сайт, но собирают вашу информацию для чужих целей: конкурент видит ваши цены в реальном времени, агрегатор перепродаёт ваш каталог, копирайтер-пират тащит ваши описания товаров на свой сайт. Часть из них маскируется под обычных пользователей.

Вредные боты — это уже прямая атака на бизнес. Они накручивают заявки и забивают отдел продаж пустыми лидами, кладут товары в корзину и держат их, не давая купить реальным людям, пишут фальшивые отзывы, скликивают вашу контекстную рекламу, перебирают пароли к личным кабинетам, ищут уязвимости. По разным оценкам, на «плохой» автоматический трафик приходится от четверти до трети всех запросов к среднему коммерческому сайту в рунете. Это не абстракция — это реальная нагрузка на сервер, искажённая аналитика и прямые потери денег.

Главная мысль, которую я хочу донести с самого начала: защита от ботов — это не выключатель «вкл/выкл», а тонкая настройка фильтра. Цель — пропустить людей и поисковики, притормозить серых, заблокировать вредных. Грубый инструмент тут так же опасен, как отсутствие защиты.

Кто и зачем парсит и накручивает

Чтобы защищаться осмысленно, надо понимать мотивацию. Я разбираю с клиентом, кому именно выгодно атаковать его сайт, — и почти всегда находится конкретный интересант.

Конкуренты, которые парсят цены. Это самый массовый сценарий в электронной коммерции. Конкурент запускает скрипт, который раз в час обходит ваш каталог и складывает цены в таблицу. Дальше он ставит свою цену на рубль ниже вашей по каждой позиции и автоматически вас демпингует. Вы теряете маржу, не понимая, откуда у соседа такая оперативность. Иногда парсят не цены, а наличие товара, описания, фотографии — чтобы скопировать ассортимент целиком.

Скликивание рекламы. Если вы крутите контекст в Яндекс Директе, ваши объявления — лакомая мишень. Недобросовестный конкурент нанимает ботов, которые кликают по вашим объявлениям, сжигая дневной бюджет за пару часов. Вы платите за клики, с которых никогда не будет продаж, а реклама перестаёт показываться реальным покупателям, потому что деньги кончились. Яндекс и Google фильтруют часть таких кликов сами, но не все, и разница ложится на вас.

Фрод заявок и регистраций. Тут мотивы разные. Иногда это саботаж: конкурент забивает вашу форму сотнями фейковых заявок, чтобы менеджеры тонули в мусоре и пропускали живых клиентов. Иногда это разведка перед атакой на бонусные программы: боты массово регистрируют аккаунты, чтобы собрать приветственные баллы или промокоды. А иногда это банальный спам через формы обратной связи, который превращает вашу почту в помойку.

Накрутка и порча репутации. Фальшивые отзывы — отдельная боль. Боты пишут разгромные отзывы, чтобы уронить ваш рейтинг, или наоборот накручивают похвалу конкуренту. Это уже не столько техническая, сколько репутационная угроза, и закрывается она в связке технических мер и работы с площадками отзывов.

Важно понимать правовую рамку. Парсинг общедоступных данных сам по себе в России не запрещён напрямую, но если в дело идут персональные данные пользователей, вступает в силу 152-ФЗ, и тут уже есть за что зацепиться юридически. А вот скликивание рекламы и DDoS — это уже зона уголовного и административного права. Я всегда советую фиксировать атаки документально: грамотно собранные логи однажды могут стать доказательством.

Защита от парсинга цен и контента

Полностью остановить парсинг невозможно — это надо принять сразу. Если данные видны человеку в браузере, их в принципе можно собрать программой. Реалистичная цель — сделать парсинг настолько дорогим и неудобным, чтобы он перестал окупаться. И сделать это, не мешая поисковикам видеть тот же контент.

Начинаю я с анализа логов. Парсер выдаёт себя характерным поведением: один IP или узкий диапазон IP обходит каталог по порядку, страница за страницей, с подозрительно ровными интервалами, без загрузки картинок, стилей и скриптов. Живой человек так не ходит. Когда такой паттерн виден, дальше идёт многослойная реакция.

Rate limiting по поведению. Я ограничиваю не всех подряд, а тех, кто запрашивает страницы каталога слишком часто. Например, разрешаю обычному посетителю 60 страниц в минуту, а всё, что выше, отправляю на проверку. Поисковики сюда не попадают: их я выношу в белый список по проверенному принципу (об этом ниже в разделе про SEO).

Защита самих данных. Цены и ключевую информацию можно отдавать не в простом тексте, а подгружать через API с дополнительной проверкой запроса. Тогда примитивный парсер, который просто читает HTML, цену не увидит. Тут есть тонкость: поисковику цена в разметке нужна для сниппета и фильтров, поэтому я делаю так, чтобы для проверенного Googlebot и YandexBot данные отдавались нормально, а для анонимного скрейпера — через защищённый канал.

Ловушки для ботов. Хороший приём — скрытые ссылки, невидимые человеку, но заметные тупому скрейперу. Реальный посетитель по такой ссылке не перейдёт никогда, а бот, который тащит все ссылки подряд, попадётся и сразу отправится в чёрный список. Поисковики такие ссылки я закрываю от индексации, чтобы их не зацепило.

Отдельно скажу про скорость. Парсеры любят бить по сайту часто, и если у вас тяжёлые медленные страницы, вы рискуете лечь под собственной защитой и под нагрузкой. Поэтому защита от парсинга всегда идёт в паре с аудитом и ускорением сайта: быстрый сайт легче переживает и атаки, и пиковую нагрузку, и пускает поисковиков на полной скорости.

Когда речь идёт о краже описаний, фотографий и целых каталогов, чисто техническими мерами дело не ограничивается. Если ваш контент копируют и выдают за свой, подключается защита бренда и мониторинг — это уже про отслеживание копий в сети и реакцию на нарушения, вплоть до жалоб площадкам и хостерам.

Защита от накруток: заявки, корзины, отзывы, клики по рекламе

Накрутки — это там, где боты бьют по деньгам напрямую, и где владельцы чаще всего совершают главную ошибку: вешают капчу на всё и считают, что защитились. Капча отсекает самых примитивных ботов, но современный накрутчик её обходит, а живых клиентов раздражает. Поэтому защита тут строится иначе.

Фрод заявок. Боты заполняют формы по шаблону: мгновенно (человек не успевает столько напечатать), с одинаковой структурой данных, с одного диапазона адресов. Я ставлю несколько незаметных проверок. Первая — скрытое поле, которое человек не видит и не заполняет, а бот заполняет автоматически; если поле заполнено, заявка отсекается. Вторая — замер времени: если форма отправлена через полсекунды после загрузки, это не человек. Третья и главная — поведенческий анализ всей сессии. Эти проверки невидимы для клиента: он просто отправляет заявку, как обычно, без капчи и лишних шагов.

Брошенные и забитые корзины. Боты кладут товар в корзину и держат, если у вас резервируется остаток при добавлении. Это блокирует продажи дефицитных позиций. Лечится это лимитом на количество добавлений с одной сессии, коротким временем резерва и тем же поведенческим анализом.

Скликивание рекламы. Тут защита идёт в основном на стороне рекламных систем, но и вы можете помочь. Я настраиваю передачу качественных сигналов о поведении в Яндекс Метрику, чтобы система фильтрации лучше отличала ботов, веду чёрные списки IP по данным логов и подключаю их в Директе, отслеживаю аномальные всплески кликов без конверсий и оперативно жалуюсь в поддержку с приложением логов. Это не панацея, но возврат части бюджета за скликивание — реальная история.

Фальшивые отзывы. На своём сайте отзывы я защищаю привязкой к реальной покупке: отзыв может оставить только тот, у кого был заказ. Это сразу убивает массовую накрутку. Но отзывы живут не только на вашем сайте — есть карты, маркетплейсы, отзовики, где боты тоже работают. Здесь нужна системная работа, и я закрываю её через управление отзывами и репутацией: мониторинг площадок, выявление накрутки, корректная реакция на негатив.

Ядро защиты от всех накруток — это антифрод на ML. Машинное обучение смотрит не на одну галочку, а на десятки признаков сразу: как двигалась мышь, в каком ритме набирался текст, откуда пришёл пользователь, совпадает ли его поведение с тысячами честных сессий. Модель учится на ваших же данных и ловит то, что не поймает ни одна статичная капча. При этом честный клиент вообще не замечает защиту — а именно это и есть правильная защита от накруток.

Технические меры: rate limiting, поведенческий анализ, фингерпринт

Теперь разберу инструменты подробнее, но без воды — так, чтобы владелец бизнеса понимал, за что платит, а технарь понимал, что делать.

Rate limiting (ограничение частоты запросов). Это базовый слой. Суть проста: один источник не должен слать запросы быстрее, чем это физически делает человек. Я настраиваю лимиты на уровне веб-сервера или прокси — отдельно для обычных страниц, отдельно для тяжёлых (поиск, фильтры, API), отдельно для форм и авторизации. Превышение лимита не обязательно блокирует наглухо: можно сначала замедлить ответы, потом показать капчу, и только при явной атаке — заблокировать. Ключевое: поисковые боты выведены в отдельную политику с щадящими лимитами, чтобы случайно их не придушить.

Поведенческий анализ. Это сердце современной защиты. Система собирает признаки поведения: двигалась ли мышь, был ли скролл, в каком ритме нажимались клавиши, как пользователь переходил между страницами, грузились ли картинки и скрипты. У человека эти признаки естественные и разнообразные, у бота — либо отсутствуют, либо неестественно ровные. На основе совокупности признаков сессии присваивается оценка «человечности». Низкая оценка — повод для дополнительной проверки, а не для немедленной блокировки.

Фингерпринт устройства. Браузер выдаёт о себе много технической информации: версия, набор шрифтов, разрешение экрана, параметры графики, часовой пояс, язык. Комбинация этих параметров образует довольно уникальный «отпечаток». Это помогает узнавать бота, даже когда он меняет IP: отпечаток-то остаётся прежним или, наоборот, подозрительно одинаковым на сотне «разных» пользователей. Тут важна аккуратность с 152-ФЗ: фингерпринт может считаться данными, позволяющими идентифицировать пользователя, поэтому его сбор должен быть отражён в политике конфиденциальности, а цель — строго безопасность, а не слежка.

Все три слоя работают вместе. Привожу упрощённую логику принятия решения:

  • Сигнал
  • Что проверяем
  • Реакция
  • Частота запросов
  • Не превышен ли лимит для этого источника
  • Замедление, затем проверка
  • Поведение сессии
  • Есть ли движения мыши, скролл, естественный ритм
  • Оценка «человечности»
  • Фингерпринт
  • Уникальность и повторяемость отпечатка
  • Связывание сессий, выявление ферм
  • Принадлежность к поисковику
  • Обратный DNS подтверждает YandexBot или Googlebot
  • Белый список, доступ без проверок
  • Обратите внимание на последнюю строку: проверка на поисковик стоит особняком и имеет приоритет. Это и есть тот предохранитель, который не даёт защите навредить SEO.

    Капча и WAF: что выбрать и где не переборщить

    Два инструмента, вокруг которых больше всего мифов. Разберу честно.

    WAF (Web Application Firewall) — это межсетевой экран уровня приложения, который стоит перед сайтом и фильтрует входящий трафик по правилам. Он отбивает типовые атаки (попытки внедрения кода, перебор паролей, известные эксплойты), режет явный ботнет-трафик, держит DDoS. В России это обычно облачные сервисы защиты или WAF от хостинга и операторов связи. Я рекомендую WAF почти всем коммерческим сайтам: это первый рубеж, который снимает большую часть грубого мусора ещё до того, как он дойдёт до вашего сервера. Бюджет на облачный WAF для среднего магазина — ориентировочно от нескольких тысяч до нескольких десятков тысяч рублей в месяц в зависимости от трафика и уровня защиты.

    Важный момент: WAF надо настраивать под ваш сайт, а не ставить «из коробки» и забывать. Стандартные правила иногда блокируют легитимные запросы, в том числе поисковиков, если их не внести в исключения. Я всегда после подключения WAF проверяю, что YandexBot и Googlebot ходят свободно, по логам и по панелям вебмастеров.

    Капча (CAPTCHA) — это проверка «человек или бот»: картинки, галочка «я не робот», невидимые фоновые проверки. Главная ошибка, которую я вижу постоянно, — капча на каждом шагу. Капча на главной странице, на каталоге, на карточке товара — это катастрофа сразу с двух сторон. Во-первых, она убивает конверсию: каждый лишний барьер теряет часть покупателей. Во-вторых, она может закрыть контент от поисковиков, и тогда страница просто не попадёт в индекс.

    Я ставлю капчу только в точках реального риска и только как реакцию на подозрение, а не для всех подряд. Точки риска — это форма заявки, регистрация, авторизация (особенно после нескольких неудачных попыток), оформление заказа, отправка отзыва. И даже там я предпочитаю современную невидимую капчу, которая срабатывает фоном и показывает картинки только при явных сомнениях. В России разумно использовать капчу, размещённую на инфраструктуре внутри страны, — это и про надёжность доступа, и про соответствие требованиям к обработке данных по 152-ФЗ.

    Короткое правило: WAF — постоянный фоновый щит для всего сайта, капча — точечный барьер в местах, где совершается ценное действие. Никогда не наоборот.

    Как не навредить SEO: пускаем YandexBot и Googlebot

    Это самый важный раздел, ради которого всё затевалось. Любая защита от ботов бессмысленна, если заодно она режет поисковые роботы. Потеря позиций в Яндексе и Google обходится дороже, чем любая атака парсеров. Расскажу, как я держу баланс.

    Правило номер один: не доверяйте User-Agent. Строку User-Agent, которой бот представляется, можно подделать в одну секунду. Любой скрейпер может назваться YandexBot. Поэтому белый список по названию бота — это дыра: либо вы пускаете вредных ботов, прикинувшихся поисковиком, либо, испугавшись этого, начинаете блокировать настоящих. Правильный способ проверки — обратный DNS. У реальных роботов Яндекса и Google IP-адреса разрешаются в их официальные домены, и эту цепочку можно проверить программно. Только подтверждённый таким образом бот получает доступ в белый список. Это надёжно и именно так рекомендуют сами поисковики.

    Правило номер два: поисковик видит то же, что человек. Есть соблазн отдавать роботу «облегчённую» версию страницы. Это называется клоакинг, и за него Яндекс и Google наказывают вплоть до исключения из выдачи. Контент, который видит проверенный поисковый бот, должен совпадать с тем, что видит обычный посетитель. Все мои меры защиты построены так, чтобы для подтверждённого YandexBot и Googlebot страница рендерилась полностью и честно.

    Правило номер три: robots.txt — это инструкция, а не защита. Файл robots.txt говорит честным ботам, куда не надо ходить, и им пользуются именно поисковики. Вредные боты его игнорируют. Поэтому robots.txt я использую по назначению — управлять индексацией, закрывать служебные и ловушечные разделы, — но никогда не рассчитываю на него как на барьер от атак. Защита и управление индексацией — это разные слои.

    Правило номер четыре: следите за тем, что капча и WAF не мешают индексации. После любого изменения в защите я проверяю в Яндекс Вебмастере и Google Search Console, что страницы доступны роботу, что нет всплеска ошибок доступа, что обход идёт в нормальном темпе. Если после внедрения защиты в панели вебмастера полезли ошибки «страница недоступна» — это красный флаг, который надо разбирать немедленно.

    Правило номер пять: щадящие лимиты для поисковиков. Поисковый робот может обходить сайт интенсивно, особенно большой каталог. Если ваш rate limiting применит к нему те же жёсткие лимиты, что и к анонимам, вы замедлите индексацию. Поэтому подтверждённые поисковики идут по отдельной, щадящей политике. Скорость обхода при необходимости дополнительно настраивается в самих панелях вебмастеров.

    Если коротко: SEO-безопасная защита — это защита, которая сначала спрашивает «а это, случайно, не поисковик?» и только потом применяет любые ограничения.

    Мониторинг и реакция: как заметить атаку

    Можно построить идеальную защиту и всё равно проиграть, если вы узнаёте об атаке последним. Я видел, как магазин неделю платил за скликанную рекламу и понял это только по нулевым продажам при выросших расходах. Мониторинг — не опция, а обязательная часть защиты.

    Что я отслеживаю в первую очередь. Аномальные всплески трафика без роста заказов — классический признак атаки. Резкий рост доли отказов и падение времени на сайте — приходят боты. Всплеск заявок или регистраций без последующих продаж — фрод форм. Рост кликов по рекламе при падении конверсии — скликивание. Появление в логах одного IP или подсети, которая генерирует непропорционально много запросов. Всплеск ошибок сервера — возможно, сайт не справляется с нагрузкой от ботов.

    Откуда брать сигналы. Яндекс Метрика покажет аномалии поведения и долю роботного трафика, у неё для этого есть встроенные отчёты. Логи веб-сервера дадут сырую правду про IP, частоту и пути запросов. Панель WAF покажет отбитые атаки. Панели вебмастеров (Яндекс Вебмастер, Google Search Console) предупредят, если защита случайно начала мешать индексации. Связка этих источников даёт полную картину.

    Алерты. Главное — не смотреть отчёты раз в месяц, а получать уведомление сразу. Я настраиваю автоматические оповещения по ключевым метрикам: резкий скачок трафика, всплеск ошибок, аномальная активность IP. Уведомления удобно слать в Telegram, VK или на телефон — туда, где владелец их точно увидит без задержки. Когда алерт приходит за минуты, а не за дни, потери от атаки сокращаются на порядок.

    Реакция. На каждый тип угрозы должен быть готовый сценарий: для атаки парсингом — ужесточить лимиты и внести подсеть в чёрный список; для скликивания — собрать логи, обновить чёрные списки в рекламном кабинете и подать обращение; для фрода форм — поднять чувствительность антифрода; для DDoS — задействовать защиту на стороне WAF и хостинга. Заранее прописанный план превращает панику в пятиминутную процедуру.

    И ещё одно. Боты, перебирающие пароли и ищущие уязвимости, — это часто разведка перед более серьёзной атакой. В моей практике всплеск брутфорса не раз предшествовал попытке заражения. Поэтому мониторинг ботов я связываю с общей безопасностью инфраструктуры, в том числе с защитой от шифровальщиков: те же подозрительные сессии, что мучают формы, нередко ищут лазейку в систему целиком.

    Топ-5 ошибок

    Собрал самые частые и самые дорогие ошибки, которые встречаю у клиентов. Если узнаете свой сайт — это повод действовать.

    Ошибка 1. Заблокировали поисковики. Самая болезненная. Владелец или подрядчик в борьбе с парсерами вносит в чёрный список диапазоны IP, среди которых оказываются адреса YandexBot или Googlebot, либо блокирует ботов по User-Agent скопом. Результат — сайт выпадает из индекса, органический трафик обнуляется за пару недель, и восстановление позиций потом занимает месяцы. Лечится проверкой поисковиков по обратному DNS и белым списком.

    Ошибка 2. Капча везде. Капчу вешают на каждую страницу или на главную. Конверсия падает, поисковики упираются в барьер, пользователи уходят к конкуренту, где их не заставляют разгадывать картинки. Капча должна стоять только в точках ценного действия и только при подозрении.

    Ошибка 3. Защита по одному признаку. Ставят что-то одно — только капчу, или только блокировку по IP, — и считают вопрос закрытым. Боты обходят одиночный барьер. Работает только многослойная защита, где сигналы складываются.

    Ошибка 4. Нет мониторинга. Защиту настроили и забыли. А она либо устарела и пропускает новых ботов, либо, наоборот, начала мешать живым клиентам и поисковикам, и никто этого не видит. Без алертов любая защита слепнет.

    Ошибка 5. Игнорирование 152-ФЗ при сборе данных. Внедряют фингерпринт и поведенческий анализ, собирают данные пользователей для защиты, но не отражают это в политике конфиденциальности и не получают согласие там, где оно нужно. Защита от ботов не должна сама становиться нарушением закона. Все механизмы сбора данных я привожу в соответствие с требованиями заранее.

    FAQ

    Можно ли полностью заблокировать парсинг цен?

    Нет, полностью — нельзя. Если цену видит человек в браузере, её технически можно собрать. Реальная цель — сделать парсинг дорогим и неудобным: ограничить частоту запросов, отдавать данные через защищённый канал, ставить ловушки. Это отсекает большинство недорогих парсеров, а на серьёзный обход конкуренту придётся тратить столько ресурсов, что игра перестаёт стоить свеч.

    Не упадёт ли SEO, если я поставлю защиту от ботов?

    Не упадёт, если защита настроена грамотно. Ключевое условие — пускать подтверждённых YandexBot и Googlebot без ограничений, проверяя их по обратному DNS, а не по User-Agent. Контент для поисковика должен совпадать с тем, что видит человек. После внедрения защиты обязательно проверяется доступность страниц в панелях вебмастеров. При таком подходе SEO не страдает, а нагрузка от вредных ботов снижается.

    Капча или антифрод — что лучше для защиты заявок?

    Для серьёзной защиты заявок лучше антифрод на основе поведенческого анализа. Капча отсекает только примитивных ботов и при этом раздражает живых клиентов, снижая конверсию. Антифрод работает невидимо: он оценивает поведение всей сессии и блокирует фрод, не мешая честным пользователям. Капчу я оставляю как дополнительный барьер при явном подозрении, а не как основную меру.

    Сколько стоит защита от ботов для интернет-магазина?

    Сильно зависит от трафика и набора мер. Облачный WAF для среднего магазина — ориентировочно от нескольких тысяч до нескольких десятков тысяч рублей в месяц. Внедрение поведенческой защиты и антифрода — это уже проектная работа, стоимость которой зависит от платформы и сложности. Я всегда начинаю с аудита: часто базовый эффект дают недорогие меры (rate limiting, белый список поисковиков, точечная капча), а тяжёлую артиллерию подключают только там, где есть реальные потери.

    Как понять, что мою рекламу скликивают?

    Главные признаки — рост числа кликов при падении или отсутствии конверсий, аномально быстрый расход дневного бюджета, всплеск кликов с одних и тех же IP или из нетипичных регионов. Это видно в связке рекламного кабинета, Яндекс Метрики и логов. Если картина похожа, надо собрать логи, обновить чёрные списки и подать обращение в поддержку рекламной системы — часть бюджета можно вернуть.

    Законно ли собирать фингерпринт и поведенческие данные пользователей?

    Да, если делать это правильно. Сбор технических и поведенческих данных в целях безопасности допустим, но он должен быть отражён в политике конфиденциальности, а там, где собираются персональные данные, надо соблюдать требования 152-ФЗ, включая согласие пользователя в нужных случаях. Цель сбора — защита, а не слежка или перепродажа данных. Я всегда настраиваю эти механизмы так, чтобы они соответствовали закону.

    Чек-лист защиты за 30 дней

    Чтобы всё сказанное не осталось теорией, привожу план на месяц. Это последовательность, по которой я веду клиентов, и она реально выполнима без раздувания бюджета.

    1. Дни 1-3. Аудит и логи. Собрать и проанализировать логи сервера и отчёты Метрики. Понять, какой объём трафика роботный, кто и что парсит, есть ли признаки накруток и скликивания. Зафиксировать текущие позиции в поиске как точку отсчёта.
    2. Дни 4-7. Белый список поисковиков. Настроить проверку YandexBot и Googlebot по обратному DNS и вынести их в приоритетную политику без ограничений. Это предохранитель, который ставится до любых блокировок.
    3. Дни 8-12. Rate limiting. Внедрить ограничение частоты запросов с раздельными лимитами для страниц, форм и API. Настроить мягкую реакцию: замедление, затем проверка, и только потом блокировка.
    4. Дни 13-17. WAF. Подключить и настроить WAF под свой сайт, внести поисковиков в исключения, проверить по логам, что легитимный трафик и роботы проходят свободно.
    5. Дни 18-22. Точечная капча и защита форм. Поставить невидимую капчу и скрытые проверки только на формы, регистрацию, авторизацию, оформление заказа и отзывы. Привязать отзывы к реальным покупкам.
    6. Дни 23-26. Поведенческий антифрод. Внедрить поведенческий анализ и, где есть реальные потери от фрода, подключить антифрод на ML. Настроить фингерпринт с соблюдением 152-ФЗ и отражением в политике конфиденциальности.
    7. Дни 27-29. Мониторинг и алерты. Настроить автоматические оповещения по ключевым метрикам в Telegram, VK или на телефон. Прописать сценарии реакции на каждый тип атаки.
    8. День 30. Проверка SEO. Убедиться в Яндекс Вебмастере и Google Search Console, что индексация в норме, ошибок доступа нет, позиции не просели. Зафиксировать результат и сравнить с точкой отсчёта.

    Этот план закрывает большинство угроз без вреда для SEO и без избыточных затрат. Если у вас уже есть признаки атаки — парсинг цен, поток фейковых заявок, скликивание рекламы — не ждите, пока потери станут заметны в выручке. Напишите мне в Telegram или VK либо позвоните: разберём вашу ситуацию, посмотрим логи и соберём защиту под ваш бизнес — так, чтобы боты ушли, а поисковики и клиенты остались.

    Услуги по теме

    Что я делаю для защиты сайта

    • Аудит, ускорение и защита сайта
    • Антифрод на ML против накруток
    • Защита бренда и мониторинг
    • Защита от шифровальщиков
    • Контроль отзывов и репутации
    Написать в Telegram
    Готовое решение по теме Аудит и ускорение сайта Бесплатная консультация · Аудит за 3–5 дней Смотреть предложение

    Нужен профессиональный аудит 152-ФЗ?

    Отчёт за 1–3 дня, устранение нарушений под ключ. От 5 000 ₽.

    Готовые решения под ключ 211 готовых IT-решений для бизнеса Автоматизация, боты, AI, 152-ФЗ и платформы · бесплатная консультация Смотреть каталог