Nous avons précédemment appris à déployer un LLM via Azure AI Foundry /blogs/deploy-azure-openai-gpt-4o-and-integrate-with-nextchat-or-chatbox-clients-build-your-personal-ai-companion/, /blogs/deploying-deepseek-r1-on-azure-ai-foundry-chatbox-integration/. Mais comment créer des filtres de contenu personnalisés pour votre LLM ?
Garantir une utilisation sûre et conforme des modèles d’IA générative est essentiel pour des applications d’IA éthiques. Avec Azure AI Content Filtering, les utilisateurs peuvent tirer parti des filtres par défaut ou créer des configurations personnalisées pour modérer efficacement le contenu nuisible. Cet article fournit un guide détaillé sur la création et l’application de filtres de contenu personnalisés dans Azure AI Foundry, permettant aux utilisateurs d’adapter les mesures de sécurité du contenu à leurs besoins.
Table des matières
1. Fonctionnement du filtrage de contenu
Azure AI Foundry intègre Azure AI Content Safety pour classer et filtrer le contenu nuisible dans les prompts d’entrée et les complétions de sortie. Le système de filtrage utilise des modèles de classification avancés pour détecter le contenu nuisible dans les catégories suivantes :
- Haine : langage discriminatoire ou péjoratif ciblant des groupes identitaires.
- Sexuel : contenu lié à l’anatomie, aux actes sexuels, à la pornographie ou aux abus.
- Violence : descriptions de dommages physiques, d’armes ou d’actes violents.
- Automutilation : contenu promouvant ou décrivant l’automutilation ou le suicide.
Chaque catégorie est filtrée en fonction des niveaux de gravité :
- Sûr : contexte professionnel ou journalistique.
- Faible : langage offensant ou stéréotypé.
- Moyen : langage insultant ou intimidant.
- Élevé : instructions nuisibles explicites ou préjudice extrême.
Par défaut, Azure AI Foundry applique automatiquement le filtrage de contenu aux API serverless, mais les utilisateurs peuvent créer des filtres personnalisés pour des configurations plus strictes ou plus souples.
2. Prise en charge des langues
Les modèles de filtrage de contenu d’Azure AI sont entraînés sur les principales langues, notamment :
- Anglais
- Allemand
- Japonais
- Espagnol
- Français
- Italien
- Portugais
- Chinois
Bien que le système puisse fonctionner dans d’autres langues, il est recommandé de le tester pour garantir son efficacité et sa précision dans la détection de contenu nuisible.
3. Types de filtres
Azure AI Foundry propose deux principaux types de filtres :
Filtres d’entrée
Appliqué aux prompts des utilisateurs avant leur traitement par le modèle.
Filtres de sortie
Appliqué aux complétions générées par le modèle.
Les filtres spéciaux sont les suivants :
- Attaques par jailbreak : empêche les prompts conçus pour contourner les protections du modèle.
- Attaques indirectes : détecte les instructions malveillantes intégrées dans des documents externes.
- Détection de matériel protégé : filtre le texte ou le code protégé par des droits d’auteur ou protégé.
- Détection de l’ancrage : garantit que les réponses s’appuient sur des documents sources vérifiés.
4. Étapes pour créer un filtre de contenu personnalisé
Suivez ces étapes pour créer un filtre de contenu personnalisé dans le portail Azure AI Foundry :
- Accéder aux filtres de contenu
- Accédez à Sécurité + Protection >> Filtres de contenu dans le portail.
- Cliquez sur + Créer un filtre de contenu et fournissez les informations de base, telles que le nom du filtre.
- Configurer les filtres d’entrée
- Ajustez les seuils de gravité pour les catégories de contenu (par exemple, haine, sexuel, violence).
- Activez des fonctionnalités supplémentaires comme Prompt Shields ou Détection de matériel protégé pour annoter ou bloquer un contenu spécifique.
- Configurer les filtres de sortie
- Ajustez les seuils de gravité pour les catégories de sortie.
- Activez le mode streaming pour un filtrage en temps réel.
- Associez éventuellement le filtre à un déploiement pour une intégration transparente.
- Vérifier et créer
- Vérifiez les paramètres et sélectionnez Créer un filtre pour finaliser la configuration.
5. Appliquer un filtre de contenu
Une fois le filtre créé, vous pouvez l’appliquer à un déploiement :
- Accéder à Modèles + Points de terminaison
- Dans le portail, sélectionnez le déploiement souhaité et cliquez sur Modifier.
- Attribuer le filtre de contenu
- Choisissez le filtre de contenu approprié et enregistrez les modifications.
6. Options de configurabilité (aperçu)
Azure AI Foundry propose des configurations de filtrage par défaut et personnalisées :
Configuration par défaut
- Modèles GPT : filtre le contenu de gravité moyenne et élevée dans toutes les catégories.
- Modèles DALL-E : filtre le contenu de gravité faible, moyenne et élevée pour les prompts et les complétions.
Configuration personnalisée
Les utilisateurs peuvent ajuster séparément les seuils de gravité pour les prompts et les complétions :
- Filtrage strict : filtre le contenu de gravité faible, moyenne et élevée.
- Filtrage modéré : filtre le contenu de gravité moyenne et élevée.
- Filtrage minimal : filtre uniquement le contenu de gravité élevée (approbation requise).
- Aucun filtrage : désactive entièrement le filtrage (approbation requise).
7. Utiliser des listes de blocage
Les listes de blocage peuvent être utilisées pour améliorer le filtrage d’entrée et de sortie. Les options sont les suivantes :
- Listes de blocage des grossièretés : listes prédéfinies pour bloquer le langage offensant.
- Listes de blocage personnalisées : listes définies par l’utilisateur et adaptées à des exigences spécifiques.
8. Tests et intégration d’API
Après avoir appliqué un filtre, utilisez le bac à sable d’Azure AI Foundry pour tester son fonctionnement. Les filtres peuvent également être gérés par programmation à l’aide d’API REST pour une intégration avancée.
Remarques importantes
- Modèle Whisper : le filtrage de contenu ne s’applique pas aux prompts et aux complétions traités par le modèle Whisper.
- Approbation pour les filtres modifiés : les clients doivent demander une approbation pour utiliser des filtres modifiés, comme la désactivation du filtrage ou l’activation du filtrage de gravité élevée uniquement.
- Responsabilité de conformité : les utilisateurs sont responsables de garantir la conformité au Code de conduite d’Azure lors de l’intégration d’Azure OpenAI.
Conclusion
Le filtrage de contenu dans Azure AI Foundry est un outil puissant pour garantir une utilisation sûre et éthique des modèles d’IA générative. En tirant parti des filtres par défaut ou en créant des configurations personnalisées, les utilisateurs peuvent adapter le système aux besoins de leurs applications spécifiques. Que vous cherchiez à vous protéger contre les prompts nuisibles ou à garantir des sorties conformes, Azure AI Content Filtering offre la flexibilité et la fiabilité nécessaires pour maintenir des normes élevées en matière de modération de contenu.
Pour plus d’informations, consultez la documentation Azure AI Content Safety.