ИИ-ассистент ошибся при клиенте: первые сутки

Клиент прислал скриншот

Утром клиент присылает скриншот. Ассистент в мессенджере написал, что доставка бесплатная от 3000 рублей, а у вас от 5000. Или назвал срок «три дня» вместо недели. Или ответил «да, вернём деньги», хотя возврата нет. Клиент уже оплатил или пришёл с этим скриншотом к администратору.

Пока вы читаете, бот отвечает другим людям так же. Счёт идёт на часы.

Почему ассистент ошибается

Языковая модель пишет правдоподобный текст и не сверяет его с вашим прайсом. Если нужной цифры у неё под рукой нет, она может достроить ответ, и он прозвучит уверенно. Подробнее об этом в статье про галлюцинации нейросетей.

На практике ошибку обычно порождают три вещи: база знаний устарела (цены поменяли, а бот знает старые), у бота нет списка запретных тем (возврат, скидки, гарантии он обсуждает наравне с остальным), либо промпт слишком свободный, и бот старается «помочь любой ценой».

Известный публичный случай: чат-бот Air Canada сообщил пассажиру, что скидку на билет по случаю траура можно оформить задним числом в течение 90 дней. По правилам авиакомпании так нельзя. Компания заявила, что бот отдельное лицо, отвечающее за себя. Трибунал Британской Колумбии (Moffatt v. Air Canada, 2024 BCCRT 149, февраль 2024) не согласился: бот часть сайта, компания отвечает за всю информацию на нём. Присудили около 650 канадских долларов ущерба, всего вместе с процентами и сборами около 812. Для России это не прецедент. Само решение на CanLII не открылось (ошибка 403), я сверял по пересказам юридических фирм, суммы и выводы в них совпали.

Первые сутки по шагам

Шаг 1. Зафиксируйте. Сохраните скриншот клиента, выгрузите диалог из журнала, запишите время, номер заказа или аккаунт. Переписку не удаляйте и не правьте. Если журнала нет, первая запись в списке доработок готова.

Шаг 2. Свяжитесь с клиентом сами, живым человеком, в тот же день. Скажите, что ответ был ошибочным, назовите настоящие условия и предложите решение. «Это бот» не оправдание: клиенту писала ваша компания.

Шаг 3. Решите по обещанному. Сначала посчитайте: разница в цене по одной сделке часто дешевле спора. Юридическая сторона, я лишь указываю, где смотреть. По статье 437 ГК РФ реклама и иные предложения, адресованные неопределённому кругу лиц, считаются приглашением делать оферты, если иное прямо не указано. Предложение со всеми существенными условиями, из которого видна воля заключить договор с любым откликнувшимся, признаётся публичной офертой. По статье 12 закона «О защите прав потребителей» покупатель, которому до договора не дали полную и достоверную информацию о товаре, вправе требовать возмещения убытков, а при заключённом договоре отказаться от него в разумный срок. Тексты норм я читал на справочных сайтах. Где проходит граница для личного ответа бота конкретному клиенту, не проверено: проконсультируйтесь с юристом.

Шаг 4. Сузьте бота. Отключите тему, на которой случилась ошибка (цены, сроки, возвраты), и включите передачу человеку. Тогда на такие вопросы бот отвечает «уточню у менеджера» и зовёт сотрудника. Если быстро не получается, выключите бота целиком: день с живым человеком дешевле второго такого ответа. В боте спортивной аналитики, который я делал, для этого есть флаг: бот с ИИ отключается, и вопросы ждут оператора.

Шаг 5. Найдите причину по журналу. Что именно спросили, какой кусок базы бот получил, откуда взялась цифра. Поиском по журналу проверьте, не получили ли тот же ответ другие клиенты.

Шаг 6. Добавьте проверку. Составьте 20-30 вопросов про цены, сроки, возвраты и скидки и прогоняйте после каждого изменения базы или промпта. Цифры бот должен брать только из базы. В ассистенте записи для салона красоты это жёсткое правило: цены и длительность называются только из ответа инструмента, а при нехватке данных вопрос уходит администратору. Есть и скрипт, который ищет расхождения между сказанным ботом и таблицей. Оговорку «ответ ориентировочный, итог подтвердит менеджер» добавить можно, но она ответственность не снимает.

Что заложить заранее и что спросить у исполнителя

Четыре вещи нужны до запуска. Журнал диалогов со временем и номером клиента: в боте спортивной аналитики записывается каждое входящее и исходящее сообщение. Кнопка «позвать человека»: в ассистенте салона она есть прямо в меню. Список запретных тем: там здоровье, скидки, жалобы и разговор о возврате денег сразу уходят администратору. И цены только из базы, без пересказа по памяти. Как устроен такой журнал, разобрано в статье про журнал работы ИИ-агента, а где проходит граница самостоятельности, в разборе про автономность.

Вопросы к исполнителю: где хранится журнал и как долго. Как отключить тему или бота за пять минут. Откуда бот берёт цены и кто обновляет их при изменении прайса. Есть ли набор тестовых вопросов и кто его запускает. Как сотрудник подключается к диалогу. Про базу, из которой бот берёт ответы, есть статья про бота с базой знаний.

Что важно учесть

Полностью исключить ошибки нельзя: модель вероятностная, а проверки и запреты снижают риск, но не обнуляют его. Чем больше тем закрыто, тем меньше бот помогает и тем больше обращений уходит к людям, но на старте лучше закрыть лишнее. Сравнение с живым менеджером есть в статье про бота и менеджера.

Журнал содержит персональные данные клиентов. Нужно решить, кто имеет к нему доступ и сколько он хранится. Править записи нельзя: журнал ценен, пока он честный.

Что можно сделать уже сейчас

1. Задайте своему боту пять вопросов: цена, срок, возврат, скидка, гарантия. Сверьте ответы с реальными условиями.

2. Узнайте у исполнителя, где лежит журнал диалогов, и откройте последние записи.

3. Решите, кто звонит клиенту при ошибке, и заготовьте шаблон сообщения с исправлением.

4. Договоритесь, как за пять минут отключить тему или бота целиком. Перед запуском пройдите чек-лист приёмки. Ассистентов с журналом, запретными темами и передачей человеку я собираю в рамках разработки ИИ-агентов.

Частые вопросы

Клиент ещё не оплатил, ошибка в переписке. Что делать?

Сохраните диалог, напишите клиенту исправленные условия и проверьте журнал: не получили ли тот же ответ другие люди.

Поможет ли оговорка, что ответы бота ориентировочные?

Она напоминает клиенту, что цифру нужно подтвердить. Освобождает ли от ответственности, не проверено: вопрос к юристу.

Нужен ли юрист в первые сутки?

Если клиент требует выполнить обещанное и сумма значима, да. Я не юрист, текст выше не заменяет консультацию.

Коротко о главном

Ошибка бота остаётся ошибкой компании. Сохраните переписку, исправьте ответ сами, решите по обещанному, сузьте бота, найдите причину и добавьте тестовые вопросы. До запуска должны быть журнал, кнопка «позвать человека», запретные темы и цены только из базы.

Хотите, чтобы я посмотрел вашего ассистента и нашёл, где он может сказать лишнее? Напишите мне в Telegram слово «ОШИБКА».