ИИ на флешке: локальные модели без установки на чужом компьютере

Портативный ИИ — это набор моделей и движков, который целиком живёт в одной папке и запускается на чужом компьютере, не оставляя следов в системе. Проект Uncensored Local Studio собирает в одном окне четыре инструмента — чат с языковой моделью, генерацию изображений, распознавание речи и синтез речи — и заявляет zero-install portability: Node.js, модели и GPU-бэкенды содержатся внутри проекта. Нужно это тем, кто работает не за своим столом: выездным инженерам, консультантам, аудиторам и всем, кому в изолированном контуре предприятия некуда позвонить за облачным ответом.

Что это и почему «на флешке» — не игрушка

Обычный сценарий с ИИ выглядит так: открыл браузер, отправил текст в облако, получил ответ. Он ломается ровно в трёх местах, и все три я вижу на объектах регулярно.

• Чужая машина. На компьютере заказчика вы не администратор. Ставить софт нельзя, а иногда и физически невозможно.
• Нет связи. Стройка, цех, склад, полевая площадка. Про работу без канала я писал отдельно — передача данных без связи в поле.
• Изолированный контур. Сеть предприятия физически отрезана от интернета. Это не паранойя, а требование к целому классу производств.

Портативная студия закрывает все три: копируете папку, запускаете, работаете. Четыре инструмента вместе означают, что записанное совещание можно расшифровать через whisper.cpp и сжать в протокол языковой моделью — на одной машине, без единого запроса наружу.

Что честно нужно для запуска

Теперь неприятная часть, которую в восторженных постах обычно пропускают.

Первый запуск требует интернета. Рантайм и модели скачиваются, и это не пара мегабайт. «Работает без интернета» — правда только начиная со второго запуска, после того как вы всё загрузили. Дома, заранее, на своём канале.

Операционная система решает. Windows 10 и 11 в 64-битной редакции — да. Linux — да, но требуется glibc 2.38 или новее, а на консервативных корпоративных дистрибутивах она бывает старше. macOS — только Apple Silicon M1 и новее, Intel-маки не поддерживаются совсем. Это не «медленно работает», а «не запускается».

Порты. Интерфейс поднимается на 1420, бэкенд на 8080. Порт 8080 занят на каждой второй рабочей машине, и конфликт вы увидите не понятной ошибкой, а пустым окном.

Скажу прямо: это инструмент для того, кто не боится разобраться, а не «вставил флешку и работает». Если ИИ нужен как рабочая система, локальный контур разворачивают на технике заказчика с проверенными моделями и поддержкой — это моя обычная работа, разворачиваю open-source под ключ. Про выбор железа есть отдельный разбор: локальный ИИ на слабом ноутбуке.

Три способа взять ИИ с собой

Строка про данные тут важнее прочих: у портативного варианта они остаются в двух местах. Временные файлы на чужой машине забывают чаще всего.

Как я это применяю

Мой порядок действий перед любым выездом с портативным ИИ такой.

• Сначала политика по носителям, потом всё остальное. На многих предприятиях USB запрещены на уровне регламента и групповых политик — это отдельный разговор с безопасниками, и вести его надо до выезда, а не на проходной.
• Модели скачиваю дома. Не на объекте и не с гостевого вайфая. Проверяю, что второй запуск проходит с выключенной сетью.
• Беру модель поменьше, если техника слабая. Тяжёлая модель на старой машине не медленная, а неработающая. Лучше скромный ответ за секунды, чем никакой.
• Персональные данные клиентов туда не тащу. Без оформленного поручения на обработку по 152-ФЗ обработка чужих данных на моём носителе — нарушение, даже если технически всё локально.
• Проверяю на той же ОС, что у заказчика. Версия glibc и наличие Apple Silicon решают всё. Один звонок заранее экономит день на объекте.

Где обычно упираются: инструмент запустили, а процесса вокруг него нет. Расшифровка есть, а протокол никуда не уходит. Дальше нужен не ещё один инструмент, а связка с рабочими процессами — ИИ-агенты под задачи бизнеса.

Частые вопросы

Правда ли, что портативный ИИ работает без интернета?

После первой загрузки — да. Но первый запуск требует сети: скачиваются рантайм и модели. Планируйте это заранее, дома.

Какие операционные системы поддерживаются?

Windows 10 и 11 в 64-битной редакции, Linux с glibc 2.38 или новее, macOS только на Apple Silicon M1 и новее. Intel-маки не поддерживаются.

Что именно входит в студию?

Четыре инструмента: чат с языковой моделью на llama.cpp с моделями в формате GGUF, генерация изображений на Stable Diffusion 1.5 и SDXL, распознавание речи на whisper.cpp и синтез речи на Kokoro TTS.

Можно ли обрабатывать так данные клиентов?

Локальность сама по себе не даёт права на обработку. Нужны основание и поручение по 152-ФЗ, а также согласованная с заказчиком политика по съёмным носителям.

Чем это отличается от обычной установки Ollama или LM Studio?

Принцип тот же: модель считается на вашем железе, наружу ничего не уходит. Разница в упаковке. Привычным инструментам нужна установка в систему и обычно права администратора, портативной студии достаточно папки. На своём ноутбуке выигрыша нет — он появляется там, где ставить софт запрещено регламентом или админских прав вам просто не дадут.

Насколько быстро всё это работает?

Скорость определяет техника, а не программа. Без дискретной видеокарты ответы идут заметно медленнее, а генерация изображений может занимать минуты вместо секунд. Прогоните свой сценарий на том же классе машин, что стоит на объекте, до выезда — так вы получите реальные цифры, а не ожидания.

Коротко о главном

Портативная студия — честный ответ на конкретную задачу: ИИ там, где нельзя ставить софт и нет канала наружу. Лицензия MIT, четыре инструмента в одной папке, около 1200 звёзд и 129 коммитов на GitHub. Ограничения тоже честные: первая загрузка через интернет, жёсткие требования к ОС и возможные конфликты портов.

Что делаю я: подбираю модели под вашу технику, собираю локальный контур, проверяю его на той же ОС, что у заказчика, согласовываю вопрос носителей со службой безопасности и оформляю обработку данных по закону — развернуть локальный ИИ. Напишите в Telegram, MAX или VK: опишите, где пропадает связь и что за техника на объекте, — отвечу, годится ли портативный вариант или честнее другой.