Парсинг объявлений недвижимости и авто по фильтрам: новые варианты в мессенджер сразу

Хорошая квартира по нормальной цене уходит за день. Машина с честным пробегом и адекватной ценой — за несколько часов. Риелтор, агентство, перекупщик или автоподборщик обновляют доски объявлений вручную, но делают это между показами, звонками и дорогой. Итог известный: вариант увидели, когда его уже забрали. Я настраиваю парсинг объявлений по фильтрам с уведомлениями в мессенджер и веду его по абонентке. Расскажу, как это устроено и где проходят границы.

Кому это нужно

Риелторам и агентствам недвижимости. Под каждого покупателя есть свой запрос: район, площадь, этаж, бюджет. Держать в голове десять запросов и вручную проверять их несколько раз в день невозможно.

Перекупщикам авто. Им важны объявления с ценой ниже рынка. Такие варианты живут недолго, и скорость реакции прямо превращается в деньги.

Автоподборщикам. У клиента есть конкретный запрос: марка, модель, год, пробег, бюджет. Подборщик хочет видеть все подходящие варианты в одном месте, а не собирать их по вкладкам.

Логика та же, что при сборе вакансий и резюме по фильтрам: задаём условия, робот ищет, человек получает только подходящее.

Как задаются фильтры

Для недвижимости это район или улицы, тип объекта, цена от и до, площадь, количество комнат, этаж. Можно добавить исключения: не первый этаж, не дом определённого года постройки.

Для авто это марка и модель, год выпуска, пробег, цена, тип коробки, привод, регион. Тоже можно исключать: например, машины после серьёзного ремонта, если это указано в описании.

Фильтров может быть много. Каждый фильтр — это отдельный запрос со своим названием и получателем. Например, запрос под конкретного покупателя уходит риелтору, который его ведёт.

Фильтры и зачем они нужны

Отсев дублей и перезаливов

Без отсева дублей уведомления быстро становятся бесполезными. Один и тот же объект выкладывают несколько агентов. Продавец удаляет объявление и выкладывает заново, чтобы оно поднялось наверх. Одна и та же машина висит на нескольких досках.

Робот сравнивает объявления по нескольким признакам: адрес или марка с годом, цена, площадь или пробег, фото, текст описания. Если признаки совпадают, это тот же вариант. Вы получаете уведомление один раз, а не пять.

Перезалив тоже полезная информация. Если объявление выложили заново через месяц, значит, объект не продаётся. Такой вариант можно отметить, и это хороший повод для разговора о цене.

Отдельная отметка — снижение цены. Робот помнит, какая цена была при прошлой проверке. Если она упала, приходит уведомление с пометкой «снижена цена» и разницей.

Границы: что можно и что нельзя

Собираем только открытые данные, то есть то, что любой человек видит без входа в аккаунт. Не обходим защиту, капчи и ограничения. У досок объявлений есть свои правила автоматического доступа, перед запуском сверяемся с ними и проверяем бережно, без лишней нагрузки.

Телефоны и имена частных продавцов в собственные базы не собираем. Уведомление содержит ссылку на объявление, а связываться с продавцом вы будете уже на самой площадке. Вопросы о персональных данных и использовании чужих фото лучше заранее уточнить у юриста, особенно если вы хотите что-то публиковать дальше.

Если нужен более сложный сбор под другую задачу, об общих принципах написано в статье про парсер данных на заказ.

Как это выглядит, когда настроено

Риелтор ведёт трёх покупателей. Под каждого настроен свой фильтр. Днём, во время показа, ему приходит сообщение: новый вариант под второго покупателя, фото, цена, площадь, этаж, ссылка. Он пересылает объявление покупателю и вечером договаривается о просмотре.

Перекупщик получает в мессенджер только машины с ценой ниже его порога. Одна из них приходит с отметкой «снижена цена». Он открывает объявление первым и звонит продавцу через площадку.

Автоподборщик утром открывает сводку по запросу клиента: все новые варианты за ночь, без дублей. Он выбирает три машины для осмотра и отправляет их клиенту одним сообщением.

Как это заказать

Разовая настройка: вместе составляем фильтры, выбираем доски объявлений и проверяем их правила. Я настраиваю сбор, отсев дублей, отметку снижения цены и уведомления в Telegram или MAX. Первую неделю смотрю, не приходят ли лишние варианты, и донастраиваю фильтры.

Ежемесячная абонентка: слежу, чтобы сбор не ломался, когда доски меняют вёрстку. Добавляю и убираю фильтры под новых клиентов. Раз в месяц присылаю отчёт о работе: сколько вариантов найдено по каждому фильтру, сколько дублей отсеяно, какие проверки пришлось чинить.

Для старта пришлите список запросов с параметрами, скажите, какие доски вы смотрите сейчас и кому отправлять уведомления. Подробнее на странице разовые задачи и абонентка.

Частые вопросы

Как быстро приходит уведомление после публикации?

Зависит от частоты проверки и правил площадки. Обычно речь о минутах, а не о часах.

Можно ли отправлять уведомления сразу покупателю?

Можно, но обычно лучше, чтобы сначала смотрел специалист. Он отсеет то, что формально подходит, но на деле нет.

Будут ли в уведомлении телефоны продавцов?

Нет. Будет ссылка на объявление, связь с продавцом через площадку.

Сколько фильтров можно настроить?

Сколько нужно. Обычно начинаем с нескольких самых важных и добавляем по мере работы.

Что если доска объявлений запретит автоматический доступ?

Тогда эту доску не используем и ищем другой источник. Обходить запреты я не буду.

Коротко о главном

В недвижимости и авто хорошие варианты уходят быстро. Кто увидел объявление первым, тот получает шанс на сделку.

Робот проверяет открытые доски по вашим фильтрам, отсеивает дубли и перезаливы, отмечает снижение цены и присылает вариант с фото, ценой и ссылкой. Всё в рамках правил площадок и без сбора личных данных.

Если вы каждый день вручную листаете доски объявлений, пришлите свои запросы. Покажу, как будут выглядеть уведомления по ним. Напишите в Telegram, MAX или VK.