Ранее мы научились развёртывать LLM с помощью Azure AI Foundry /blogs/deploy-azure-openai-gpt-4o-and-integrate-with-nextchat-or-chatbox-clients-build-your-personal-ai-companion/, /blogs/deploying-deepseek-r1-on-azure-ai-foundry-chatbox-integration/. Но как создать пользовательские фильтры содержимого для вашей LLM?
Обеспечение безопасного и соответствующего требованиям использования генеративных моделей ИИ имеет решающее значение для этичных приложений ИИ. С помощью Azure AI Content Filtering, пользователи могут использовать фильтры по умолчанию или создавать пользовательские конфигурации для эффективного модерирования вредоносного содержимого. В этой статье представлено подробное руководство по созданию и применению пользовательских фильтров содержимого в Azure AI Foundry, которое позволяет пользователям адаптировать меры безопасности содержимого к своим потребностям.
Содержание
1. Как работает фильтрация содержимого
Azure AI Foundry интегрирует Azure AI Content Safety для классификации и фильтрации вредоносного содержимого как во входных промптах, так и в выходных завершениях. Система фильтрации использует передовые модели классификации для обнаружения вредоносного содержимого в следующих категориях:
- Ненависть: дискриминационные или уничижительные высказывания, направленные на группы по признаку идентичности.
- Сексуальный контент: содержимое, связанное с анатомией, половыми актами, порнографией или насилием.
- Насилие: описания физического вреда, оружия или насильственных действий.
- Самоповреждение: содержимое, пропагандирующее или описывающее самоповреждение или самоубийство.
Каждая категория фильтруется на основе уровней серьёзности:
- Безопасно: профессиональный или журналистский контекст.
- Низкий: оскорбительные или стереотипные высказывания.
- Средний: оскорбительные или запугивающие высказывания.
- Высокий: явные вредоносные инструкции или крайний вред.
По умолчанию Azure AI Foundry автоматически применяет фильтрацию содержимого к бессерверным API, но пользователи могут создавать пользовательские фильтры для более строгих или более мягких конфигураций.
2. Поддержка языков
Модели фильтрации содержимого Azure AI обучены на основных языках, включая:
- Английский
- Немецкий
- Японский
- Испанский
- Французский
- Итальянский
- Португальский
- Китайский
Хотя система может работать и на других языках, рекомендуется провести тестирование, чтобы обеспечить эффективность и точность обнаружения вредоносного содержимого.
3. Типы фильтров
Azure AI Foundry предлагает два основных типа фильтров:
Фильтры входных данных
Применяется к промптам пользователей перед их обработкой моделью.
Фильтры выходных данных
Применяется к завершениям, созданным моделью.
К специальным фильтрам относятся:
- Атаки типа «джейлбрейк»: предотвращает промпты, предназначенные для обхода защитных мер модели.
- Косвенные атаки: обнаруживает вредоносные инструкции, внедрённые во внешние документы.
- Обнаружение защищённых материалов: фильтрует текст/код, защищённый авторским правом.
- Обнаружение обоснованности: гарантирует, что ответы основаны на проверенных исходных материалах.
4. Шаги по созданию пользовательского фильтра содержимого
Выполните следующие шаги, чтобы создать пользовательский фильтр содержимого на портале Azure AI Foundry:
- Перейдите к фильтрам содержимого
- Перейдите в раздел Безопасность + Защита >> Фильтры содержимого на портале.
- Нажмите + Создать фильтр содержимого и укажите основную информацию, например имя фильтра.
- Настройка фильтров входных данных
- Настройте пороговые значения серьёзности для категорий содержимого (например, ненависть, сексуальный контент, насилие).
- Включите дополнительные функции, такие как Prompt Shields или Обнаружение защищённых материалов для аннотирования или блокировки конкретного содержимого.
- Настройка фильтров выходных данных
- Настройте пороговые значения серьёзности для категорий выходных данных.
- Включите режим потоковой передачи для фильтрации в реальном времени.
- При необходимости свяжите фильтр с развёртыванием для бесшовной интеграции.
- Проверка и создание
- Проверьте настройки ещё раз и выберите Создать фильтр, чтобы завершить настройку.
5. Применение фильтра содержимого
После создания фильтра его можно применить к развёртыванию:
- Перейдите к моделям и конечным точкам
- На портале выберите нужное развёртывание и нажмите Изменить.
- Назначение фильтра содержимого
- Выберите подходящий фильтр содержимого и сохраните изменения.
6. Параметры конфигурации (предварительная версия)
Azure AI Foundry предлагает как конфигурации фильтрации по умолчанию, так и пользовательские:
Конфигурация по умолчанию
- Модели GPT: фильтруют содержимое средней и высокой серьёзности во всех категориях.
- Модели DALL-E: фильтруют содержимое низкой, средней и высокой серьёзности как для промптов, так и для завершений.
Пользовательская конфигурация
Пользователи могут настраивать пороговые значения серьёзности для промптов и завершений отдельно:
- Строгая фильтрация: фильтрует содержимое низкой, средней и высокой серьёзности.
- Умеренная фильтрация: фильтрует содержимое средней и высокой серьёзности.
- Минимальная фильтрация: фильтрует только содержимое высокой серьёзности (требуется одобрение).
- Без фильтрации: полностью отключает фильтрацию (требуется одобрение).
7. Использование списков блокировки
Списки блокировки можно использовать для усиления фильтрации входных и выходных данных. Варианты:
- Списки блокировки ненормативной лексики: предопределённые списки для блокировки оскорбительных выражений.
- Пользовательские списки блокировки: списки, определяемые пользователем и адаптированные к конкретным требованиям.
8. Тестирование и интеграция API
После применения фильтра используйте песочницу Azure AI Foundry, чтобы проверить его работу. Фильтрами также можно управлять программно с помощью REST API для расширенной интеграции.
Важные замечания
- Модель Whisper: фильтрация содержимого не применяется к промптам и завершениям, обрабатываемым моделью Whisper.
- Одобрение изменённых фильтров: клиенты должны подать заявку на одобрение для использования изменённых фильтров, таких как отключение фильтрации или включение только фильтрации высокой серьёзности.
- Ответственность за соблюдение требований: пользователи несут ответственность за обеспечение соответствия Кодексу поведения Azure при интеграции Azure OpenAI.
Заключение
Фильтрация содержимого в Azure AI Foundry — мощный инструмент для обеспечения безопасного и этичного использования генеративных моделей ИИ. Используя фильтры по умолчанию или создавая пользовательские конфигурации, пользователи могут адаптировать систему к потребностям своих конкретных приложений. Независимо от того, стремитесь ли вы защититься от вредных промптов или обеспечить соответствующий требованиям вывод, Azure AI Content Filtering предоставляет гибкость и надёжность для поддержания высоких стандартов модерации содержимого.
Дополнительную информацию см. в документации Azure AI Content Safety.