Модели модерации проверяют сообщения, отзывы и ответы чат-ботов на токсичность, запрещённые темы и попытки обойти ограничения. Их ставят фильтром перед публикацией контента или перед ответом ассистента. Смотрите, какие категории нарушений модель различает, насколько хорошо работает на русском и можно ли настроить правила под себя.
Европейские модели с упором на скорость. Mixtral — одна из первых открытых моделей на архитектуре «смесь экспертов»; есть версии с картинками (Pixtral, Medium 3.5), для доказательств в Lean и модерации (Shieldstral).
Маленькие модели на основе GLiNER для поиска персональных данных: паспортов, телефонов, счетов, адресов. Типы данных задаются словами. Русский официально не заявлен.
Фильтры контента NVIDIA для ботов, с отдельными моделями для контроля темы разговора и поиска взлома. Safety Guard v3 обучена на 9 языках, русский проверяли только без дообучения.
Модели-судьи IBM: ловят вред, мат, попытки взлома, а в RAG и агентах проверяют, опирается ли ответ на документы. Можно задать своё правило словами.
Находит и скрывает персональные данные: имена, адреса, телефоны, почту, номера счетов, пароли. Работает даже в браузере. Обучена в основном на английском.
Guard-модель, которая ловит и опасный контент, и атаки на ИИ (prompt injection, джейлбрейки), в том числе в работе агентов с инструментами.
Модерация по вашим правилам: политику пишете обычным текстом, модель рассуждает и выносит решение с объяснением. Построена на gpt-oss.
Фильтры безопасности на 119 языков, русский в их числе. Версия Stream проверяет ответ бота прямо во время его генерации и может оборвать его на лету.
Модели-фильтры, которые проверяют запросы к чат-боту и его ответы на опасные темы по списку категорий. Версия 4 проверяет и картинки. Русский официально не заявлен.
Крошечные классификаторы, которые ловят попытки взломать бота: промпт-инъекции и обход правил. Версия 86M многоязычная, 22M только английский.
Небольшие модели, которые отличают откровенные картинки от обычных. Freepik различает четыре уровня откровенности. Работают на процессоре.
Фильтры на базе Gemma: проверяют текст на опасный и оскорбительный контент, а ShieldGemma 2 проверяет картинки. Ориентированы на английский.
Очень лёгкий классификатор писем и ссылок на признаки фишинга. Ошибается в обе стороны, поэтому спорные письма всё равно смотрит человек.
Популярный детектор 17 типов персональных данных на шести европейских языках. Русского нет, лицензия некоммерческая — подходит для проб и исследований.
Открытый фильтр Ai2: одним проходом определяет, опасен ли запрос, опасен ли ответ и не отказал ли бот зря. Работает на английском.
Готовые крошечные модели на rubert-tiny для русского текста: находят грубость и оскорбления, определяют тональность и эмоции. Работают на процессоре за миллисекунды.
Открытую модель можно поставить на свой сервер: данные не уходят в чужое облако, нет оплаты за каждый запрос, модель можно дообучить на ваших документах.
