Anteriormente aprendimos a implementar un LLM a través de Azure AI Foundry /blogs/deploy-azure-openai-gpt-4o-and-integrate-with-nextchat-or-chatbox-clients-build-your-personal-ai-companion/, /blogs/deploying-deepseek-r1-on-azure-ai-foundry-chatbox-integration/. Pero ¿cómo crear filtros de contenido personalizados para tu LLM?
Garantizar un uso seguro y conforme de los modelos de IA generativa es crucial para las aplicaciones de IA éticas. Con Azure AI Content Filtering, los usuarios pueden aprovechar los filtros predeterminados o crear configuraciones personalizadas para moderar el contenido dañino de forma eficaz. Este artículo ofrece una guía detallada sobre cómo crear y aplicar filtros de contenido personalizados en Azure AI Foundry, para que los usuarios adapten las medidas de seguridad del contenido a sus necesidades.
Tabla de contenido
1. Cómo funciona el filtrado de contenido
Azure AI Foundry integra Azure AI Content Safety para clasificar y filtrar contenido dañino tanto en los prompts de entrada como en las finalizaciones de salida. El sistema de filtrado usa modelos de clasificación avanzados para detectar contenido dañino en las siguientes categorías:
- Odio: lenguaje discriminatorio o peyorativo dirigido a grupos identitarios.
- Sexual: contenido relacionado con la anatomía, actos sexuales, pornografía o abuso.
- Violencia: descripciones de daño físico, armas o actos violentos.
- Autolesiones: contenido que promueve o describe autolesiones o suicidio.
Cada categoría se filtra según niveles de gravedad:
- Seguro: contexto profesional o periodístico.
- Bajo: lenguaje ofensivo o estereotipado.
- Medio: lenguaje insultante o intimidante.
- Alto: instrucciones dañinas explícitas o daño extremo.
Por defecto, Azure AI Foundry aplica el filtrado de contenido automáticamente a las API sin servidor, pero los usuarios pueden crear filtros personalizados para configuraciones más estrictas o más permisivas.
2. Compatibilidad de idiomas
Los modelos de filtrado de contenido de Azure AI están entrenados en los principales idiomas, entre ellos:
- Inglés
- Alemán
- Japonés
- Español
- Francés
- Italiano
- Portugués
- Chino
Aunque el sistema puede funcionar en otros idiomas, se recomienda hacer pruebas para garantizar la eficacia y precisión en la detección de contenido dañino.
3. Tipos de filtros
Azure AI Foundry ofrece dos tipos principales de filtros:
Filtros de entrada
Se aplica a los prompts del usuario antes de que el modelo los procese.
Filtros de salida
Se aplica a las finalizaciones generadas por el modelo.
Los filtros especiales incluyen:
- Ataques de jailbreak: evita prompts diseñados para eludir las protecciones del modelo.
- Ataques indirectos: detecta instrucciones maliciosas insertadas en documentos externos.
- Detección de material protegido: filtra texto o código protegido por derechos de autor o protegido.
- Detección de fundamentación: garantiza que las respuestas se basen en materiales de origen verificados.
4. Pasos para crear un filtro de contenido personalizado
Sigue estos pasos para crear un filtro de contenido personalizado en el portal de Azure AI Foundry:
- Ir a Filtros de contenido
- Ve a Seguridad + Protección >> Filtros de contenido en el portal.
- Haz clic en + Crear filtro de contenido y proporciona información básica, como el nombre del filtro.
- Configurar filtros de entrada
- Ajusta los umbrales de gravedad para las categorías de contenido (por ejemplo, odio, sexual, violencia).
- Habilita funciones adicionales como Prompt Shields o Detección de material protegido para anotar o bloquear contenido específico.
- Configurar filtros de salida
- Ajusta los umbrales de gravedad para las categorías de salida.
- Habilita el modo de streaming para el filtrado en tiempo real.
- Asocia opcionalmente el filtro a una implementación para una integración perfecta.
- Revisar y crear
- Comprueba la configuración y selecciona Crear filtro para finalizar la configuración.
5. Aplicar un filtro de contenido
Una vez creado el filtro, puedes aplicarlo a una implementación:
- Ir a Modelos + Puntos de conexión
- En el portal, selecciona la implementación deseada y haz clic en Editar.
- Asignar el filtro de contenido
- Elige el filtro de contenido adecuado y guarda los cambios.
6. Opciones de configuración (versión preliminar)
Azure AI Foundry ofrece configuraciones de filtrado predeterminadas y personalizadas:
Configuración predeterminada
- Modelos GPT: filtra contenido de gravedad media y alta en todas las categorías.
- Modelos DALL-E: filtra contenido de gravedad baja, media y alta tanto para prompts como para finalizaciones.
Configuración personalizada
Los usuarios pueden ajustar los umbrales de gravedad para prompts y finalizaciones por separado:
- Filtrado estricto: filtra contenido de gravedad baja, media y alta.
- Filtrado moderado: filtra contenido de gravedad media y alta.
- Filtrado mínimo: filtra solo contenido de gravedad alta (requiere aprobación).
- Sin filtrado: desactiva el filtrado por completo (requiere aprobación).
7. Usar listas de bloqueo
Las listas de bloqueo pueden usarse para mejorar el filtrado de entrada y salida. Las opciones incluyen:
- Listas de bloqueo de blasfemias: listas predefinidas para bloquear lenguaje ofensivo.
- Listas de bloqueo personalizadas: listas definidas por el usuario y adaptadas a requisitos específicos.
8. Pruebas e integración de API
Después de aplicar un filtro, usa el área de pruebas de Azure AI Foundry para probar su funcionamiento. Los filtros también pueden gestionarse de forma programática con API REST para una integración avanzada.
Notas importantes
- Modelo Whisper: el filtrado de contenido no se aplica a los prompts y finalizaciones procesados por el modelo Whisper.
- Aprobación para filtros modificados: los clientes deben solicitar aprobación para usar filtros modificados, como desactivar el filtrado o habilitar solo el filtrado de gravedad alta.
- Responsabilidad de cumplimiento: los usuarios son responsables de garantizar el cumplimiento del Código de conducta de Azure al integrar Azure OpenAI.
Conclusión
El filtrado de contenido en Azure AI Foundry es una herramienta potente para garantizar un uso seguro y ético de los modelos de IA generativa. Al aprovechar los filtros predeterminados o crear configuraciones personalizadas, los usuarios pueden adaptar el sistema a las necesidades de sus aplicaciones específicas. Ya sea que quieras protegerte de prompts dañinos o garantizar resultados conformes, Azure AI Content Filtering ofrece la flexibilidad y fiabilidad necesarias para mantener altos estándares en la moderación de contenido.
Para obtener más información, consulta la documentación de Azure AI Content Safety.