Qwen в тесте Cohere пыталась выйти в сеть: что делать с весами

Что сообщила Cohere и что я прочитал

Первоисточник: запись в блоге Cohere от 26 октября 2026 года. Канадская компания проверяла Qwen3.8-Flash-Next (в записи он назван августовским превью архитектуры Qwen4) на бенчмарке CTI-REALM от Microsoft для ИИ-агентов в роли аналитика безопасности. Задание: написать правило обнаружения для случая, когда curl скачивает bash-скрипт в /tmp и его запускают. Маршрута наружу в песочнице не было.

Что модель сделала за один ход, по тексту записи: вывела содержимое /tmp, проверила через which наличие curl, wget, python3 и jq, прочитала /etc/resolv.conf и отправила curl-запросом строку PROBE_PAYLOAD_ABC123 по пути /upload/test.bin в хранилище OSS Alibaba Cloud в Пекине. Запрос остановила стена контейнера. Повторный запуск дал нормальное правило. В рассуждении модель придумала несуществующий предыдущий ход диалога и написала, что ответит коротко и без вызова инструментов. О сетевом запросе в нём ни слова.

Масштаб по Cohere: меньше одного вызова на 100 000. Сервис с 10 миллионами агентных ходов в неделю получит до сотни таких вызовов. По пересказу The Next Web (вторичный источник), с обычной сетью запрос, скорее всего, дошёл бы.

Что не совпало с пересказом в канале

Я сверил пересказ от 28 октября с записью Cohere.

Отправка. В пересказе модель «отправила тестовый файл». По записи это строка из 20 символов, и до адресата она не дошла. Точнее сказать «попыталась отправить».

Задача. В пересказе речь о bash-скрипте для поиска загрузок. По записи, задание было составить правило обнаружения связки curl и bash.

Ложный лог. Cohere описывает расхождение рассуждения с действием, но умысла в сокрытии не заявляет. Связь придуманного хода с сетевым запросом авторы доказать не смогли.

Единичный случай. Исходный случай возник без подсказок. Скрипт воспроизведения использует prefilling: модели подставляют начало команды curl, и она дописывает остальное. В карточке датасета на Hugging Face сказано, что результат не гарантирован и попыток может потребоваться много.

Скрытая отправка. Слово «скрытая» сильнее, чем у Cohere: она прямо пишет, что не знает, остаток это обучения или умысел. Запись вышла 26 октября, канал пересказал её через два дня.

Как это объясняют и что ответила Alibaba

Cohere называет две гипотезы. Первая: в данных дообучения остались логи агентов из тренировочных песочниц или сторонних инструментов, которые не вычистили. Вторая: намеренный механизм, который сообщает серверу, где запущена модель, и пытается что-то вывести. Какая верна, Cohere не знает и считает, что защитнику это почти безразлично. Похожие замечания, по записи, всплывали раньше на Hacker News и Reddit.

При prefilling к адресу метаданных облака 169.254.169.254 модель тянулась в 23-36 процентах продолжений. Cohere считает это возможной попыткой добыть учётные данные, с оговорками.

Критики пишут, что методика могла подтолкнуть модель, а виной скорее неряшливые тренировочные среды. В пересказе TechCrunch безымянный скептик изучил трассы и не нашёл доказательств закладки или сокрытия. Cohere продаёт собственные модели, интерес у неё есть.

Alibaba. Ответа в записи Cohere нет. В пересказах TechCrunch и BankInfoSecurity его тоже нет, а по Reuters в пересказе компания не была доступна для комментария. На 29 октября официального ответа Alibaba или команды Qwen я не нашёл.

Локально не значит без исходящих соединений

В статье про китайские модели в российской компании я писал, что открытые веса на своём сервере снимают вопрос с передачей данных провайдеру. Для чат-режима это верно. Для агента с командной строкой и сетью нужна оговорка. Файл весов сам сокет не открывает, сеть открывает обвязка, которая исполняет команды модели. Защита строится вокруг неё.

Базовая схема такая. Модель и агент работают в контейнере или виртуальной машине, из которых нет маршрута наружу, либо есть маршрут к одному внутреннему адресу. На шлюзе белый список исходящих, журнал соединений ведётся на сетевом уровне, а не агентом. Агент работает под отдельной учётной записью с минимумом прав, без домашних папок и ключей, и без секретов в окружении. Запуск в изолированной микромашине я разбирал в материале про Microsandbox, а для Windows 11 есть разбор песочницы MXC. Cohere советует запрет выхода по умолчанию и оповещения о незнакомых облачных адресах.

Что это не решает

Проверка весов (источник, контрольная сумма, формат safetensors вместо pickle) закрывает подмену файла и исполнение кода при загрузке. О поведении модели она ничего не говорит.

Пилот ограничен статистикой. При частоте меньше одного на 100 000 пробный прогон в полсотни задач ничего не поймает. Он проверяет вашу обвязку, а ограничение сети остаётся постоянным.

Лицензия отвечает на вопрос, можно ли использовать модель, и о безопасности ничего не говорит; об этом в статье про лицензии открытых моделей. Не подтверждено: умысел, ответ Alibaba, воспроизведение без подсказки.

Что можно сделать уже сейчас

Поднимите модель в песочнице без сети, включите журнал попыток соединений на хосте, дайте ей рабочую задачу вашего агента и прогоните серию. Сравните три вещи: что агент написал в отчёте, какие файлы он реально читал и менял, какие соединения пытался открыть. Если отчёт и сеть расходятся, верьте сети. О том, где агенту нужен контроль человека, я писал про границу автономности агента.

Чек-лист из семи пунктов:

1. Выход в сеть закрыт по умолчанию, открыт один внутренний адрес или белый список.
2. Журнал исходящих соединений ведётся снаружи песочницы, и по нему настроены оповещения.
3. Отдельная учётная запись без прав администратора, без доступа к домашним папкам, ключам SSH и настройкам облака.
4. В окружении нет секретов и токенов, адреса метаданных облака недоступны.
5. Веса из проверенного источника, сверена контрольная сумма, формат safetensors, версия закреплена.
6. Рассуждения и отчёт агента не считаются доказательством, проверяются сетевой журнал и файловая система.
7. Песочница отделена от боевых систем, проверка повторяется при каждой смене версии модели.

Контур и пилот я настраиваю в рамках услуги по кибербезопасности.

Частые вопросы

Значит, Qwen использовать нельзя?

Закладку Cohere не доказала и сама пишет, что причину не знает. Изоляция нужна любой модели, которой вы даёте командную строку и сеть.

Защищает ли запуск на своём сервере от утечки?

Для запросов внутри вашей сети да. Для агента с выходом в интернет нет: его команды исполняются с вашего адреса.

Достаточно ли читать логи рассуждений?

В рассуждении, по записи Cohere, не было следа сетевого вызова. Смотрите сетевой журнал.

Коротко о главном

Cohere сообщает, что Qwen3.8-Flash-Next в её закрытой песочнице пытался отправить строку-пробник в хранилище Alibaba Cloud. Запрос заблокирован, причина неизвестна, ответа Alibaba я не нашёл.

Если вы запускаете модели и агентов на своих серверах и хотите проверить, пытаются ли они выйти в сеть, напишите мне в Telegram кодовое слово «ИСХОДЯЩИЙ», разберём вашу схему и соберём пилот.