Своя платформа API данных по авто из Китая: новые и б/у

Расскажу, как устроена своя платформа данных по авто из Китая, почему главный вопрос в ней не код, и что пока в ней не сделано.

Задача

Рынок ввоза машин из Китая держится на данных: цена, комплектация, пробег, фото. Многие компании берут их у платного посредника, который собирает объявления с китайских площадок и отдаёт по API. Это удобно, но это ежемесячный счёт и полная зависимость: поменял посредник условия, и каталог на сайте встал.

Заказчик уже работал со мной над сайтом по продаже авто из Китая. Идея была моя: раз мы всё равно собираем данные для его сайта, можно стать таким сервисом самим. Заказчик согласился, и платформа стала его продуктом: свои ключи, а в перспективе продажа доступа другим компаниям.

Перед этим я сделал разведку: что из китайских площадок вообще доступно без китайских аккаунтов. Итог такой. Каталоги новых машин открыты. Объявления б/у на крупных площадках в основном закрыты логином или защитой. Защищённые источники я не трогаю. Платформа работает только с открытыми списками, и это сразу ограничивает её объём. О похожей разведке писал в кейсе сколько стоит свой каталог данных.

Что я сделал

• Два раздела данных: новые машины и б/у, у каждого свой набор методов.
• API: список предложений постранично, карточка одного предложения, фильтры, журнал изменений с курсором.
• Ключи доступа с суточным лимитом запросов. Ключи выдаются и отключаются командой на сервере.
• Документация на отдельной странице с примерами запросов.
• Синхронизация по расписанию раз в сутки.
• Справочник марок и моделей, к которому привязываются объявления.
• Хранение фото у себя. Ссылки на фото у площадок временные, через какое-то время они перестают открываться, поэтому платформа складывает фото на свой диск.

Как устроено

Совместимый формат

Главное решение было про формат. Я повторил структуру ответов популярного коммерческого API: те же методы, та же пагинация, тот же механизм изменений. Компания, которая уже встроила себе того посредника, переключается сменой адреса и ключа, без переписывания своего кода. Для продажи доступа это важнее любой новой функции: никто не будет переделывать интеграцию ради нового поставщика.

Журнал изменений

Выкачивать весь каталог каждый день дорого и клиенту, и платформе. Поэтому есть журнал: клиент запрашивает номер изменения на нужную дату, а потом получает только то, что добавилось, изменилось или пропало после этого номера. Изменение цены приходит как короткий патч, без полной карточки.

Ключи и лимиты

Каждый клиент платформы получает свой ключ. У ключа есть суточный лимит запросов: рабочему ключу заказчика я дал лимит в десять раз больше тестового, чтобы им можно было показать API потенциальному покупателю без риска для основной нагрузки. Ключ отключается одной командой, данные клиента при этом не теряются. Как лимиты ведут себя под нагрузкой сторонних клиентов, я не проверял: таких клиентов пока нет. Для заказчика с одним сайтом запаса хватает с избытком, и первым узким местом станет объём данных с открытых площадок.

Где живёт

Сначала платформа стояла на моём сервере. 30 сентября по слову заказчика я перенёс её к нему: код, база, фото, расписание, адрес документации на его домене. С моего сервера всё удалено. Рабочие системы клиента должны жить на его инфраструктуре, это моё правило. Платформа работает за его веб-сервером отдельным сервисом и наружу открыта только через API.

Связь с сайтом заказчика

Раздел машин с пробегом на сайте заказчика собирается из платформы. Отбор марок для сайта настраивается в его админке, по умолчанию там популярные марки. Цена в рублях считается уже на стороне сайта, по курсу и формуле растаможки компании.

Что получилось

Состояние на день переноса, 30 сентября. Точные объёмы не привожу: база пополняется по расписанию и меняется каждый день.

Объём честно маленький. Коммерческие посредники отдают сотни тысяч объявлений, потому что у них доступ изнутри Китая: аккаунты, номера, сети. Это операционная задача, кодом её не решить. Своя платформа на открытых данных выигрывает в другом: она своя, работает без абонентской платы и под нужды конкретного бизнеса.

Что ещё не сделано

• Новые машины в платформе выключены. Для сайта их пока собирает старый модуль синхронизации, чтобы не ходить на одну площадку дважды с одного адреса. Когда сайт полностью перейдёт на платформу, раздел включится.
• Перевод описаний нейросетью. Нужен ключ API, его пока нет.
• Полнота полей. У 16% объявлений б/у нет нормального названия модели, у 7% нет фото.
• Доработки на выбор заказчика: сбор под конкретный спрос, комплектации, чистка дублей, утренний отчёт, приём машин от поставщиков. Список отдан, выбирает он сам.
• Продажа доступа другим компаниям. Технически ключи готовы, но это уже продукт заказчика и его решение.

Частые вопросы

Это законно, собирать данные с китайских площадок?

Платформа берёт только открытые страницы, которые доступны любому посетителю без входа. Закрытые логином и защищённые источники не используются. Юридическую оценку для конкретной страны я не давал, её стоит сделать перед продажей доступа.

Почему не купить доступ у посредника и не мучиться?

Для многих это правильный выбор. Своя платформа нужна, когда хочется не зависеть от чужого тарифа, держать данные у себя и, возможно, продавать доступ самому.

Сколько стоит перейти со стороннего API на эту платформу?

По коду почти ничего: адрес и ключ. По данным нужно проверить, хватает ли объёма и полей именно под ваш каталог, это стоит сделать до переключения.

Коротко о главном

Своя платформа данных по авто из Китая собралась за два дня. Сложнее всего здесь доступ к данным, и я сразу ограничил его открытыми площадками. Совместимый формат делает платформу заменой платному посреднику без переписывания интеграций. Объём пока скромный, раздел новых выключен, а перевода нейросетью нет. Если нужно объяснить, что такое API, есть статья API простыми словами, а витрина на похожих данных разобрана в кейсе АвтоМост. Работу с китайскими данными и сервисами я описал на странице IT для работы с Китаем, или пишите в Telegram, MAX или VK.