Парсер цен и остатков с Wildberries и Ozon в таблицу: разово или каждый день

Селлер открывает карточки конкурентов по одной и переписывает цены в таблицу. На десяти позициях это терпимо. На сотне это полдня работы, и к вечеру данные уже устарели. Я делаю парсеры цен и остатков с маркетплейсов на заказ. Расскажу, как подготовить задачу, что собирать и чем разовая выгрузка отличается от ежедневной.

С чего начать: список ссылок или запросов

Парсер не угадывает, кто ваши конкуренты. Ему нужен список. Есть два способа его составить.

Список ссылок. Вы берёте свои позиции и к каждой находите несколько карточек конкурентов. Получается таблица: ваш товар, ссылки на похожие. Это самый точный вариант. Вы сравниваете именно то, что считаете аналогом.

Список поисковых запросов. Вы задаёте запросы, по которым покупатель ищет товар. Парсер берёт первые позиции выдачи и собирает по ним данные. Так видно, кто стоит рядом с вами в поиске. Но в выдачу попадают и случайные товары, их приходится отсеивать.

Что собирать и зачем

Собирать всё подряд не нужно. Каждое поле должно отвечать на вопрос, который вы задаёте себе при решении о цене или закупке.

Цена, которую видит покупатель, может зависеть от региона доставки и от условий площадки. Поэтому сразу договариваемся, для какого региона собираем данные. Иначе цифры в таблице будут расходиться с тем, что вы видите у себя в браузере.

Формат таблицы

Удобнее всего одна строка на одну пару: ваш товар и конкретный конкурент. Столбцы: ваш артикул, ссылка конкурента, цена, скидка, наличие, рейтинг, дата сбора. Такую таблицу легко фильтровать и сортировать.

При ежедневном сборе появляется вторая вкладка с историей. Каждый день туда дописываются новые строки, а первая вкладка показывает только свежий срез. По истории видно, когда конкурент начал акцию и сколько она длилась.

Полезно добавить вычисляемые столбцы. Разница между вашей ценой и ценой конкурента. Отметка, если конкурент стал дешевле вас. Тогда таблица не просто хранит цифры, а сразу показывает, куда смотреть. Шире про то, как выстроить мониторинг и принимать по нему решения, я писал в статье мониторинг цен конкурентов.

Разовый снимок или ежедневное обновление

Разовый снимок нужен, когда вы выбираете, какой товар завозить. Или выходите в новую категорию и хотите понять диапазон цен. Или готовите презентацию для партнёра. Парсер отрабатывает один раз, вы получаете таблицу, и задача закрыта.

Ежедневное обновление нужно, когда вы сами двигаете цену. Конкурент снизил цену, вы узнали об этом утром, а не через неделю. Конкурент распродал остаток, вы можете не снижать цену, пока он пуст. Здесь парсер работает по расписанию на сервере, а таблица обновляется без вашего участия.

Если сомневаетесь, начните с разового снимка. Понадобится второй — пора на регулярный сбор.

Почему парсер надо поддерживать

Маркетплейсы постоянно обновляют сайт. Меняется вёрстка карточки, способ загрузки данных, защита от автоматических запросов. Парсер, который вчера работал, сегодня может вернуть пустые ячейки.

Поэтому в регулярный парсер я закладываю проверки. Если по большинству ссылок пришли пустые цены, это не рынок обвалился, а парсер сломался. Такой сбор помечается как ошибочный, и приходит уведомление. Старые данные при этом не затираются пустыми.

Нагрузка тоже важна. Запросы идут с паузами, как у обычного посетителя. Собираем только открытые данные, которые площадка показывает любому покупателю. Правила площадки стоит прочитать до начала работ. Если есть сомнения в допустимости сбора, лучше уточнить у юриста.

Как это выглядит, когда настроено

Утром вы открываете таблицу. В первой вкладке свежие данные по всем позициям. Строки, где конкурент стал дешевле вас, подсвечены. Вы видите три таких строки и одну, где у конкурента пропало наличие.

По двум позициям вы решаете снизить цену. По третьей смотрите историю и видите, что конкурент уже неделю держит акцию. Значит это не разовая распродажа, и надо думать о закупочной цене. По позиции, где конкурент пуст, цену не трогаете.

Раз в неделю вы смотрите вкладку с выдачей по запросам. Там появился новый продавец. Вы добавляете его карточку в список, и с завтрашнего дня он тоже в мониторинге. Всё это занимает минут десять вместо полдня ручного сбора.

Как заказать такую задачу

Пришлите список ваших позиций и ссылки на конкурентов, хотя бы на несколько товаров для начала. Если ссылок нет, пришлите поисковые запросы. Напишите, какие поля нужны и как вы сейчас собираете данные руками. Скриншот вашей текущей таблицы очень помогает.

Я смотрю задачу и называю срок и формат работы. Делаю парсер, запускаю пробный сбор на небольшом списке, вы проверяете цифры. Потом запускаю на полном списке. Передаю таблицу, инструкцию, как добавлять новые ссылки, и доступы. После сдачи есть гарантийный срок, в который я бесплатно исправляю ошибки в моей работе.

Разовый снимок заказывается как отдельная задача. Ежедневный сбор лучше вести по абонентке: площадки меняются, и кто-то должен чинить парсер быстро. Подробнее о формате разовых работ на странице разовые задачи: скрипты, парсеры, выгрузки.

Частые вопросы

Можно ли собирать данные сразу с Wildberries и Ozon в одну таблицу?

Да. У каждой площадки свой сборщик, но результат складывается в общую таблицу с пометкой площадки.

Сколько позиций можно отслеживать?

Зависит от частоты сбора. Чем больше позиций и чаще сбор, тем аккуратнее надо распределять запросы по времени.

Будет ли видна моя собственная цена?

Да, если добавить ваши карточки в список. Тогда сравнение идёт с тем, что видит покупатель, а не с ценой в кабинете.

Что будет, если площадка поменяет сайт?

Парсер заметит ошибку и не затрёт старые данные. По абонентке я исправляю его без отдельного заказа.

Можно ли получать уведомление, когда конкурент снизил цену?

Да. К таблице можно добавить сообщение в мессенджер по заданному условию.

Коротко о главном

Парсер цен и остатков заменяет ручной обход карточек. Начинается всё со списка ссылок или запросов и с понятного набора полей: цена, скидка, наличие, рейтинг.

Разовый снимок подходит для решения о закупке или выходе в категорию. Ежедневный сбор нужен, когда вы управляете ценой. Регулярному парсеру нужна поддержка, потому что площадки меняют сайт.

Если вы тратите часы на сбор цен конкурентов, пришлите список товаров и пару ссылок. Скажу, как лучше собрать данные и в каком виде их удобно получать. Напишите в Telegram, MAX или VK.