Иероглифы на упаковке: как перевести надпись прямо на фото

Что вышло за два дня

Ideogram выпустила модель 4.5. Компания называет её самой точной моделью для правки картинок. В анонсе в X сказано, что у других моделей каждая правка добавляет артефакты, сдвиги пикселей и изменения цвета, а 4.5 убирает накопление артефактов, поэтому правок подряд можно делать много. Там же: модель уже доступна в самой Ideogram, через API и у партнёров, а открытые веса обещаны скоро.

Для упаковки важны два пункта. Первый: текст на картинке можно править на месте или переводить на другой язык, оставляя оформление. Второй: по описанию независимого обзора, Ideogram показывала правку фрагмента на исходнике 4016 на 6016 пикселей, около 24 мегапикселей, без предварительного уменьшения. В API четыре режима качества, цена от 0,8 до 22 центов за картинку в 2K, об этом пишет The Decoder. У посредников цены на отдельные операции могут отличаться.

30 сентября Bilibili выложила Index-Translate: модели на 2 и 9 миллиардов параметров и превью на 35 миллиардов (35B-A3B). Лицензия Apache-2.0, то есть коммерческое использование разрешено. Языков 150, русский среди них есть: в техническом отчёте на нём оценивали качество и даже разбирали пример перевода субтитров с китайского. Для локального запуска авторы указывают около 8 ГБ видеопамяти для версии 2B и около 24 ГБ для 9B, плюс запас на контекст. С 3 октября лежат и квантованные сборки в формате GGUF для llama.cpp. Подробнее о самих моделях я писал в отдельном разборе.

Как из этого собрать конвейер для упаковки

У вас фото коробки от поставщика. На ней название товара, состав или материал, мощность, предупреждения, страна изготовления. Всё на китайском.

Шаг первый: вынуть текст. Это можно сделать руками, если надписей мало, или поручить модели, которая читает изображения. Index-Translate сама картинки не читает, это переводчик текста, и в описании релиза про распознавание надписей на фото ничего нет.

Шаг второй: перевести с глоссарием. В Index-Translate есть жёсткие ограничения на термины: вы передаёте пары вроде «китайское слово и нужный русский вариант», и модель обязана их соблюдать. Для каталога из сотни похожих товаров это важнее красоты фраз. «Кабель питания» должен быть везде одним и тем же кабелем питания.

Шаг третий: вернуть русский текст на картинку. Здесь работает Ideogram 4.5. Ей можно сказать, какой фрагмент заменить и на какой текст, и остальная часть изображения должна остаться как есть. Результат годится для макета карточки или презентации менеджеру.

Прикидка по деньгам, это моя оценка, а не прайс. Если на каждую упаковку нужна одна картинка в самом дорогом режиме по 22 цента, сотня товаров выйдет примерно в 22 доллара, и это потолок. С тремя-четырьмя правками на каждую картинку сумма вырастет в те же три-четыре раза. Основные затраты уйдут на проверку человеком, нейросеть обойдётся дешевле.

Чего пока нельзя

Пока нет подтверждения, как Ideogram 4.5 справляется именно с иероглифами мелкого размера на изогнутой этикетке. Анонс обещает правку стилизованного текста, но про любой шрифт и мелкий размер там ничего нет. Проверяйте на своих фото.

Модели путают технические термины. Слово может иметь три значения, и без контекста перевод выберет самое частое. Мелкий текст, блики и перспектива ломают распознавание. Единицы измерения, вольтаж, температурные режимы и даты проверяйте глазами, цифра с ошибкой хуже пропущенной цифры.

Предупреждения, инструкции по безопасности и сертификаты нельзя отдавать на откуп нейросети. Для них нужен перевод, который проверил человек, знающий предмет. Что именно обязано стоять на упаковке и на каком языке, зависит от категории товара, и это вопрос к техрегламенту вашей категории, а не к модели.

Ещё одно: фото поставщика принадлежит поставщику. Прежде чем класть переделанную картинку на сайт или в карточку маркетплейса, спросите разрешение или сделайте собственные снимки. Открытые веса Ideogram пока только обещаны, их срока нет. Пока модель доступна только через сервис и API, а значит, фото уходят на чужой сервер.

Что можно сделать уже сейчас

Тест на пяти упаковках. Возьмите пять разных товаров: с мелким текстом, с глянцем, с цветным фоном, с таблицей характеристик и с предупреждением. Прогоните цепочку и отметьте, где ошибка. Через час вы будете знать реальную долю ручной работы, а не рекламную.

Глоссарий. Соберите таблицу на 100-200 терминов вашего товара: материалы, комплектация, единицы, гарантия. Поставщик из Китая обычно повторяет одни и те же формулировки, поэтому глоссарий окупается на втором же заказе. Ответственный за термины должен быть один, иначе таблица разъедется.

Пакетная обработка. Когда пять упаковок прошли, обработайте каталог пачкой: распознавание, перевод по глоссарию, замена текста, проверка человеком по списку расхождений. Как организовать такую очередь, я описывал в статьях про перевод каталога пачкой и массовую обработку фото товаров.

Проверка перед публикацией. Сравните русский вариант с оригиналом для всего, что касается безопасности, состава и срока годности. Чек-лист на десять пунктов экономит больше, чем любая модель. Как строить работу с китайскими поставщиками целиком, разобрано в материале про AI-перевод и Китай, а под вашу цепочку я собираю ИТ-решения для работы с Китаем.

Частые вопросы

Можно ли поставить переделанную картинку на реальную упаковку?

Технически можно напечатать, но делать это без проверки нельзя. Реальная упаковка идёт под требования к маркировке вашей категории товара, и макет от нейросети эти требования не проверяет. Для печати нужен утверждённый человеком текст и проверка, что обязательные данные на месте.

Хватит ли одной Index-Translate, чтобы перевести надпись на фото?

Нет. Это модель перевода текста. Прочитать иероглифы с изображения нужно отдельным шагом, а вернуть перевод на картинку отдельным инструментом, например Ideogram. Index-Translate нужна, чтобы термины переводились одинаково.

Сколько стоит такая обработка?

Сервис Ideogram берёт от 0,8 до 22 центов за картинку в зависимости от режима качества. Локальный перевод на Index-Translate бесплатен по лицензии, но нужна видеокарта: около 8 ГБ для 2B и около 24 ГБ для 9B. Цену самой настройки конвейера под ваш каталог можно обсудить в личных сообщениях, а общий прайс лежит на странице с ценами.

Коротко о главном

Цепочка короткая: фото, перевод по вашему глоссарию, замена текста на картинке. За вечер получается макет карточки, который можно показать команде. Текст про безопасность, состав и сроки перед публикацией читает человек, знающий товар.

Если хотите проверить цепочку на своих товарах, напишите мне в Telegram кодовое слово «НАДПИСЬ». Пришлите пять фото упаковок, и я покажу, где модель справилась, а где её нужно подстраховать.