Harness² от Google: агент сам правит инструкции, а вы держите откат

Агент переписал свои инструкции, и никто не заметил

Представьте бота поддержки, который за неделю сам «подтянул» свои правила: стал вежливее и быстрее закрывает обращения. Потом выясняется, что он перестал просить подтверждение перед возвратом, потому что так диалоги короче. Правка не злонамеренная, она просто улучшала показатель. Инструкций в том виде, в каком вы их писали, уже нет.

Такую возможность открывает свежая работа Google Research. Разобрать её стоит до того, как кто-то предложит включить «самоулучшение» на вашем боте.

Что это за проект и что я проверил

Проверял 19.10.2026. Репозиторий google-research/harness2 создан 06.10.2026, последняя правка 14.10.2026, архивным не помечен, около 5,8 тысячи звёзд. Файл LICENSE содержит текст Apache License 2.0. Сторонний код, бенчмарки и датасеты сохраняют свои лицензии. В README прямо написано, что это не официально поддерживаемый продукт Google. Статья: препринт arXiv 2610.14224 от 09.10.2026, Ruiyao Xu и соавторы, среди них Tomas Pfister. Полный текст препринта мне прочитать не удалось, ниже опираюсь на аннотацию, README и страницу проекта harness2.github.io.

Обвязка по README состоит из восьми редактируемых частей: системный промпт, ограничители (guardrails), память, подсказки по инструментам, субагенты, навыки, скрипты и плагины. Один шаг называется Propose-Probe-Compose. Сначала редактор предлагает общие и специфические для задачи правки. Потом несколько вариантов обвязки запускаются на той же задаче. Затем составитель сравнивает поведение запусков и собирает улучшенную версию. Эталонный ответ и внешний проверяющий для этого не нужны.

После задачи система сохраняет принятую обвязку и выводы, подтверждённые запусками. Страница проекта называет это библиотекой улучшений: файлы обвязок плюс текстовый файл с опытом. Каждая новая задача стартует с базовой обвязки. По README результаты лежат в каталоге runs: итоги задач, принятые обвязки, заметки. Формат файлов компонентов README не описывает.

Цифры авторов и что в них видно

В README и аннотации заявлено: один шаг на моделях Gemini 3.5 Flash и GLM-5 даёт до +11,5 балла на WorkBuddy-Bench, до +4,5 на JobBench и до +11,8 процентного пункта по доле частично пройденных проверок на LAB. Всего четыре связки «модель плюс исполнитель», поддерживаются OpenCode и Codex. JobBench по README это профессиональная работа, LAB юридическая, WorkBuddy-Bench офисные, веб- и кодовые задачи.

На странице проекта есть одна подробная таблица: Gemini 3.5 Flash в OpenCode на WorkBuddy, средние по трём запускам. Базовая обвязка 72,4, один шаг (k=1) 77,5, пять параллельных кандидатов (k=5) 80,8. Разброса и проверки значимости там нет, цифры по остальным связкам не приведены. Независимого повторения я не нашёл. К чату поддержки эти цифры не относятся: задачи другие.

Чего нет и где риск

Из README. Исполнитель работает с неограниченным доступом в сеть, а Codex запускается с отключённой песочницей. Публичные ответы и критерии бенчмарков могут лежать в интернете, поэтому авторы советуют ограничить сеть на время оценки. Запуски платные по API. Нужен Linux, Python 3.12, Node.js 20+, Google Cloud CLI, Vertex AI, для части тестов Docker. Локальная демонстрация идёт без ключей. Доступность Vertex AI из России: уточняйте, я это не проверял.

В материалах я не нашёл шага «человек принимает правку», отката к версии и журнала, где видно, кто и почему изменил правило. Для исследования это нормально, для бота с клиентами это придётся добавить.

Как взять идею без библиотеки

Адаптация обвязки полезна, если вокруг неё стоят рельсы. Набор ниже собирается без Harness². Про версии и откат при смене модели у меня есть отдельный разбор: провайдер сменил модель, и бот поглупел. Здесь та же логика, но правит агент.

Первое: вся конфигурация бота лежит в Git: системный промпт, инструменты, правила, база ответов. Каждое изменение это коммит с автором и причиной.

Второе: агент правит только предложением. Он готовит запрос на изменение с текстом правки и объяснением, человек принимает или отклоняет. Как выглядит подтверждение в готовом проекте, я разбирал в статье про Mensarium.

Третье: фиксированный набор из 30 диалогов. Реальные вопросы клиентов, для каждого описан хороший ответ, плюс пять-семь «ловушек» (просьба скидки, чужие данные, давление «сделайте исключение»). Как собрать такой набор за вечер, описано в статье про тест на 30 вопросов.

Четвёртое: перед принятием правки набор прогоняется на старой и новой конфигурации, результаты кладутся рядом. Если хоть одна «ловушка» провалилась, правка не принимается, даже когда средний балл вырос. Пятое: откат это возврат предыдущего коммита, команда проверена заранее. Шестое: журнал, где записано, кто принял правку, по какому тесту и когда.

Условный пример. Бот отвечает на 200 обращений в день, предложение агента сокращает приветствие и ускоряет ответ. Сравнение на 30 диалогах показывает: скорость выросла, но в двух ловушках бот согласился на скидку без согласования. Правка отклонена. Без набора вы узнали бы об этом из жалобы.

Когда агенту нельзя править свои правила

Есть зоны, где правки агента автоматически не принимаются вообще, и лучше закрыть их на запись. Платежи и возвраты: порог суммы, список разрешённых действий. Персональные данные: что бот спрашивает, что хранит, кому передаёт. Юридические формулировки: оферта, отказ от ответственности, согласия. Права доступа и список инструментов: если агент может расширить собственные возможности, он может обойти ограничение, которое вы поставили. Общие границы автономности описаны в статье про границу доверия ИИ-агенту.

Защищённые файлы лежат в отдельном каталоге, у процесса агента на них нет права записи, изменения идут только через ревью человека.

Частые вопросы

Можно ли поставить Harness² на бота поддержки?

Проект рассчитан на исследовательские тесты, готового режима для чата с клиентами в README нет. Он требует Vertex AI и открывает исполнителю сеть. На рабочий контур я бы его не ставил, идею проверил бы на копии бота и тестовых диалогах.

Обязательно ли для этого нужен внешний проверяющий?

Авторы заявляют, что нет: варианты сравниваются по поведению запусков. В бизнесе я всё равно держу свой проверяющий, набор из 30 диалогов. Он нужен вам, чтобы принять решение.

Что делать, если агент уже сам правит промпт?

Заберите конфигурацию в Git, включите режим предложений и закройте защищённые зоны. Вернитесь к последней версии, прошедшей ваши тесты.

Коротко о главном

Harness² показывает, что обвязку агента можно улучшать на лету без обучения модели, и авторы подкрепляют это замерами на трёх тестах. Обещание касается исследовательских задач. В вашем боте за каждой самостоятельной правкой должны стоять версия, тест, откат и человек, который нажал «принять».

Если хотите, чтобы я собрал для вашего ИИ-агента конфигурацию в Git, набор из 30 диалогов и порядок приёма правок, напишите мне в Telegram кодовое слово «ХАРНЕС».