ИИ-агент в работе: сколько стоит, лимиты тарифа и доступ сотрудников

Первая запись была о том, из чего состоит агент. Эта о том, что бывает, когда он работает каждый день: сколько тратит, как держать заказчика в рамках тарифа и как впустить сотрудников владельца. Устройство кабинета, подключений и пульта я не повторяю, оно описано в основном кейсе.

Задача

К седьмому ноября у студии работали три экземпляра агента, и появились три вопроса, на которые нельзя отвечать по ощущениям.

• Сколько агент тратит на самом деле. До замера у меня была только прикидка, и сумма за месяц могла отличаться в разы.
• Как удерживать заказчика в рамках тарифа. Число аккаунтов, интеграций и сотрудников должен соблюдать код, моей памяти для этого мало.
• Как дать владельцу агента возможность впустить команду, не открывая сотруднику всё подряд: у владельца и у его менеджера права должны быть разными.

Общую картину стоимости я разбирал в статье про цену токенов ИИ-агента, здесь числа с моих экземпляров.

Что я сделал

Замер расхода

Я взял журналы трёх агентов и метрики кабинета и посчитал токены по каждому типу действия. Модель и поставщика я не называю, важен порядок величин. Получилось так:

Из этого сложились три сценария на месяц. Лёгкий, с редкими сообщениями: около 35 миллионов токенов и примерно 2 доллара. Средний, с ежедневной перепиской и несколькими задачами: от 200 до 250 миллионов токенов и около 11 долларов. Тяжёлый, с длинными сессиями и частыми запусками: около 5 миллиардов токенов и около 140 долларов. Все три агента с 1 по 6 ноября израсходовали по расчёту около 8 долларов.

Расчёт по журналам я сверил со счётом поставщика 8 ноября. Счёт показывает расход по всем проектам и ключам сразу, а все три агента сидят на одном ключе, поэтому сверка общая, по отдельным агентам счёт не разложить. Моя оценка разошлась со счётом примерно на 8 процентов.

Три утечки

Первая: сжатие контекста срабатывало слишком поздно. Порог стоял на уровне около полумиллиона токенов, и длинная сессия в Telegram дорожала в пять-семь раз по сравнению с короткой, потому что каждое сообщение тащило за собой всю историю. Я снизил порог до 100 тысяч токенов.

Вторая: разовые по смыслу просьбы превратились в постоянные задачи. У одного из агентов набежало 216 запусков в день, это примерно 56 долларов в месяц. Кто создал эти задачи, я не проверял, и уборка этого списка у меня ещё впереди. Правило отсюда: задачи по расписанию надо просматривать регулярно, см. заметку про агента, который тратит деньги.

Третья: кредиты считают события, а не деньги. У одного агента 1002 кредита ушло при расходе 7,68 доллара, у другого 14 кредитов при 0,07 доллара, то есть цена кредита в деньгах плавает. Шкалу кредитов нужно пересчитывать по замеру, и этот пересчёт ещё впереди. Цены пакетов для заказчиков я здесь не публикую.

Кроме порога сжатия я растянул интервалы, с которыми агент разбирает память и создаёт навыки: теперь это раз в 30 и раз в 45 сообщений. Если агент начнёт забывать, интервал вернётся к прежнему значению. Всё это выложено 7 ноября на трёх агентах.

Лимиты тарифа в пульте

В пульте студии у заказчика появилась кнопка «Тариф и лимиты». Три тарифа задают три числа: сколько можно подключить аккаунтов, интеграций и сотрудников.

Числа по интеграциям и сотрудникам предложил я, и они согласованы. Дальше работают кнопки «плюс один», ввод числа вручную и «Без лимитов». Лимит хранится в настройках агента: отсутствие числа означает «без ограничения», а ноль означает «нельзя ни одного». Пакет кредитов эти кнопки не трогают, это отдельная вещь.

Доступ сотрудников

В кабинете появилась вкладка «Сотрудники». Устройство такое: у сотрудника свой профиль внутри того же бота, маршрут к нему привязан к идентификатору в Telegram, а разрешение лежит только в хранилище этого профиля. В общий список допущенных владельца сотрудник не попадает, поэтому его права нельзя случайно приравнять к правам владельца. Команды управления агентом для сотрудника закрыты на уровне платформы.

Приглашение идёт одноразовой ссылкой. Незнакомого человека платформа отбрасывает раньше, чем срабатывают мои обработчики, поэтому ссылку со стартовой командой и кодом сотрудника я ловлю отдельным обработчиком в боте. Учёт сотрудников ведётся вместе с учётом кредитов и упирается в лимит тарифа из предыдущего раздела. Это та же граница доверия, о которой я писал в статье про автономность агента, только теперь её можно выдавать по человеку.

Что было сложно

Название платформы под капотом агента заказчик видеть не должен. Один раз агент отправил заказчику ссылку на неё с личного аккаунта, где фильтр бота не действует. Я закрыл это в двух местах: проверка перед вызовом инструмента и удаление справки, которая выдаёт это название.

Вторая трудность в сверке: ключ общий, поэтому стоимость каждого агента я знаю только по своему расчёту.

Третья в самой проверке. Для доступа сотрудников я прогнал 73 теста из 73 в песочнице, но живой разговор из второго аккаунта Telegram и голосовые сотрудника пока не проверены. Это отдельный шаг, который я не закрыл.

Что получилось

Прогноз по тяжёлому сценарию (около 80 долларов, после уборки лишних задач от 25 до 30) это только расчёт, замера ещё нет.

Что дальше

• Через неделю замерить расход заново и сравнить с цифрами 7 ноября. Только после этого говорить об экономии.
• Пересчитать шкалу кредитов по замеру.
• Проверить вход сотрудника вживую со вторым аккаунтом и голосовые, и только потом возвращать строку про команду на сайт и в презентацию.
• Проверить поведение лимита у настоящего заказчика: пока проверено только определение его аккаунта.

Частые вопросы

Можно ли доверять этим цифрам расхода?

Как порядок величин да, как точную цену нет. Это расчёт по журналам трёх агентов за шесть дней, сверенный с общим счётом поставщика. На другой нагрузке цифры будут другими, особенно в тяжёлом сценарии.

Что получает сотрудник и чего не получает?

Он пишет агенту в том же боте, но с отдельным профилем и без команд управления. Права владельца ему не передаются.

Что будет, если заказчик упрётся в лимит тарифа?

Новый аккаунт, интеграцию или сотрудника он добавить не сможет, пока я не нажму «плюс один» или не сменю тариф. Остальная работа агента не останавливается. Вход в MAX при полностью занятом лимите у настоящего клиента я ещё не проверял.

Коротко о главном

Агента нельзя продавать по ощущениям: сначала замер, потом тариф. Расход на моих экземплярах оказался от 2 до 140 долларов в месяц в зависимости от того, как им пользуются, и главные деньги уходили на длинные сессии и забытые задачи. Лимиты тарифа и доступ сотрудников теперь живут в пульте и кабинете, а что из этого не проверено вживую, я назвал выше. Откуда берутся такие данные, описано в заметке про журнал работы агента. Если вам нужен ИИ-агент с понятными лимитами и расходом, посмотрите автоматизацию бизнес-процессов и напишите в Telegram, MAX или VK.