ИИ-помощник запущен: кто следит за ответами и обновляет базу знаний

Запуск ИИ-помощника выглядит как финал. Бот отвечает клиентам в Telegram или помогает сотрудникам найти нужный регламент. Первые недели всё хорошо. Потом меняется прайс, появляется новая услуга, переезжает офис. База знаний об этом не знает. Бот продолжает отвечать по старым данным, и делает это уверенно. Я запускаю таких помощников и сопровождаю их по абонентке. Расскажу, что именно ломается и как за этим следить.

Почему бот начинает ошибаться

ИИ-помощник не знает вашу компанию сам. Он отвечает по базе знаний: прайсам, описаниям услуг, правилам, ответам на частые вопросы. Если в базе устаревшая цена, бот назовёт устаревшую цену. Он не догадается, что её подняли.

Вторая причина — вопросы, которых не было в базе. Клиенты спрашивают то, о чём никто не подумал при запуске. Хорошо настроенный бот честно скажет, что не знает, и позовёт человека. Хуже, если он придумает ответ. Почему модели так делают и как с этим жить, я разбирал в статье о галлюцинациях ИИ.

Третья причина — изменения на стороне самой модели. Поставщик обновляет модель, и формулировки ответов меняются. Иногда в лучшую сторону, иногда нет. Без проверки этого никто не заметит.

Что входит в сопровождение

Разбор диалогов. Я регулярно просматриваю вопросы, на которые бот не нашёл ответа, передал человеку или ответил так, что клиент переспросил. Это самый честный список дыр в базе знаний.

Обновление базы. Вы сообщаете об изменениях: новая цена, новая услуга, другой график. Я вношу их в базу и убираю устаревшее. Если в базе два противоречащих документа, бот может взять любой из них, поэтому старые версии не копятся.

Проверка на тестовых вопросах. У каждого помощника есть набор контрольных вопросов с правильными ответами. После каждого обновления я прогоняю их и сравниваю. Если бот стал отвечать хуже, это видно до того, как заметит клиент.

Контроль расходов. Каждый запрос к модели стоит денег. Я слежу, чтобы расход не рос без причины. Например, из-за слишком длинных документов в базе или из-за ботов-спамеров, которые засыпают помощника сообщениями.

Проблемы, признаки и что с ними делать

Как это выглядит, когда настроено

В компании поменялся прайс. Менеджер пересылает новый файл в общий чат с пометкой «для бота». В тот же день база обновлена, старый прайс убран, контрольные вопросы про цены прогнаны. Клиенты получают новые цены без того, чтобы кто-то об этом напоминал.

Клиенты несколько раз спросили про доставку в соседний город. Бот каждый раз передавал вопрос менеджеру. В еженедельном разборе это видно. Я уточняю у вас условия и добавляю ответ. На следующей неделе бот отвечает сам.

Раз в месяц владелец получает отчёт. Сколько было диалогов, какую долю бот закрыл сам, какие вопросы были новыми, что добавлено в базу и сколько ушло на запросы. Видно, что помощник работает и становится лучше, а не просто стоит.

Как это заказать

Разовая настройка. Если помощник уже запущен, я проверяю его базу знаний, убираю дубли и устаревшее, собираю набор контрольных вопросов и настраиваю сбор диалогов, где бот не справился. Если помощника ещё нет, запускаю его с нуля и сразу закладываю всё это.

Ежемесячная абонентка. Разбор диалогов, обновление базы по вашим изменениям, прогон контрольных вопросов, контроль расходов и реакция, если что-то сломалось. Раз в месяц — отчёт о работе. Как устроены оба формата, описано на странице разовые задачи и абонентка.

Для старта пришлите доступ к панели помощника или описание, где он работает. Пришлите актуальные прайсы, описания услуг и правила. И назовите человека, который будет сообщать об изменениях в компании.

Частые вопросы

Нельзя ли просто один раз загрузить всё и забыть?

Можно, но через несколько месяцев бот начнёт отвечать по устаревшим данным. Компания меняется быстрее, чем кажется.

Вы читаете переписку наших клиентов?

Только диалоги с ботом, и только чтобы найти ошибки. Какие данные можно хранить и как долго, лучше согласовать с юристом при запуске.

Сотрудники сами могут обновлять базу?

Да, и это нормально. Я научу, как делать это без дублей. Как подготовить команду к работе с ИИ, я описывал в статье об обучении сотрудников.

Что будет, если бот ответит клиенту неправильно?

Найдём этот диалог, исправим базу или инструкцию и добавим вопрос в контрольный набор, чтобы ошибка не повторилась.

Как понять, что помощник вообще окупается?

Смотреть в отчёте, какую долю вопросов он закрывает сам и сколько стоят запросы. Сравнить это с временем сотрудников, которое он экономит.

Коротко о главном

ИИ-помощник отвечает ровно так хорошо, насколько свежая у него база знаний. Компания меняется, база стареет, и бот начинает ошибаться уверенно и незаметно.

Сопровождение закрывает это: разбор неудачных диалогов, обновление базы, проверка на контрольных вопросах, контроль расходов и ежемесячный отчёт. Помощник становится лучше с каждым месяцем, а не хуже.

Если ваш бот уже работает и вы не уверены, что он отвечает правильно, начнём с проверки базы и прогона контрольных вопросов. Напишите в Telegram, MAX или VK.