Anteriormente, aprendemos a implantar um LLM por meio do Azure AI Foundry /blogs/deploy-azure-openai-gpt-4o-and-integrate-with-nextchat-or-chatbox-clients-build-your-personal-ai-companion/, /blogs/deploying-deepseek-r1-on-azure-ai-foundry-chatbox-integration/. Mas como criar filtros de conteúdo personalizados para o seu LLM?
Garantir o uso seguro e em conformidade de modelos de IA generativa é crucial para aplicativos de IA éticos. Com o Azure AI Content Filtering, os usuários podem aproveitar os filtros padrão ou criar configurações personalizadas para moderar o conteúdo prejudicial de forma eficaz. Este artigo oferece um guia detalhado sobre como criar e aplicar filtros de conteúdo personalizados no Azure AI Foundry, capacitando os usuários a adaptar as medidas de segurança de conteúdo às suas necessidades.
Índice
1. Como funciona a filtragem de conteúdo
O Azure AI Foundry integra o Azure AI Content Safety para classificar e filtrar conteúdo prejudicial em prompts de entrada e conclusões de saída. O sistema de filtragem usa modelos de classificação avançados para detectar conteúdo prejudicial nas seguintes categorias:
- Ódio: linguagem discriminatória ou pejorativa dirigida a grupos identitários.
- Sexual: conteúdo relacionado à anatomia, atos sexuais, pornografia ou abuso.
- Violência: descrições de danos físicos, armas ou atos violentos.
- Automutilação: conteúdo que promove ou descreve automutilação ou suicídio.
Cada categoria é filtrada com base em níveis de gravidade:
- Seguro: contexto profissional ou jornalístico.
- Baixo: linguagem ofensiva ou estereotipada.
- Médio: linguagem insultuosa ou intimidadora.
- Alto: instruções prejudiciais explícitas ou dano extremo.
Por padrão, o Azure AI Foundry aplica a filtragem de conteúdo automaticamente às APIs sem servidor, mas os usuários podem criar filtros personalizados para configurações mais rigorosas ou mais tolerantes.
2. Suporte a idiomas
Os modelos de filtragem de conteúdo do Azure AI são treinados nos principais idiomas, incluindo:
- Inglês
- Alemão
- Japonês
- Espanhol
- Francês
- Italiano
- Português
- Chinês
Embora o sistema possa funcionar em outros idiomas, recomenda-se testá-lo para garantir eficácia e precisão na detecção de conteúdo prejudicial.
3. Tipos de filtros
O Azure AI Foundry oferece dois tipos principais de filtros:
Filtros de entrada
Aplicado aos prompts do usuário antes do processamento pelo modelo.
Filtros de saída
Aplicado às conclusões geradas pelo modelo.
Os filtros especiais incluem:
- Ataques de jailbreak: impede prompts projetados para contornar as proteções do modelo.
- Ataques indiretos: detecta instruções maliciosas incorporadas em documentos externos.
- Detecção de material protegido: filtra texto/código protegido por direitos autorais ou protegido.
- Detecção de fundamentação: garante que as respostas se baseiem em materiais de origem verificados.
4. Etapas para criar um filtro de conteúdo personalizado
Siga estas etapas para criar um filtro de conteúdo personalizado no portal do Azure AI Foundry:
- Navegue até Filtros de conteúdo
- Acesse Segurança + Proteção >> Filtros de conteúdo no portal.
- Clique em + Criar filtro de conteúdo e forneça informações básicas, como o nome do filtro.
- Configurar filtros de entrada
- Ajuste os limites de gravidade para categorias de conteúdo (por exemplo, ódio, sexual, violência).
- Habilite recursos adicionais, como Prompt Shields ou Detecção de material protegido para anotar ou bloquear conteúdo específico.
- Configurar filtros de saída
- Ajuste os limites de gravidade para categorias de saída.
- Habilite o Modo de streaming para filtragem em tempo real.
- Associe opcionalmente o filtro a uma implantação para uma integração perfeita.
- Revisar e criar
- Verifique as configurações e selecione Criar filtro para finalizar a configuração.
5. Aplicando um filtro de conteúdo
Depois que o filtro for criado, você poderá aplicá-lo a uma implantação:
- Navegue até Modelos + Endpoints
- No portal, selecione a implantação desejada e clique em Editar.
- Atribuir o filtro de conteúdo
- Escolha o filtro de conteúdo apropriado e salve as alterações.
6. Opções de configurabilidade (versão prévia)
O Azure AI Foundry oferece configurações de filtragem padrão e personalizadas:
Configuração padrão
- Modelos GPT: filtra conteúdo de gravidade média e alta em todas as categorias.
- Modelos DALL-E: filtra conteúdo de gravidade baixa, média e alta para prompts e conclusões.
Configuração personalizada
Os usuários podem ajustar os limites de gravidade para prompts e conclusões separadamente:
- Filtragem rigorosa: filtra conteúdo de gravidade baixa, média e alta.
- Filtragem moderada: filtra conteúdo de gravidade média e alta.
- Filtragem mínima: filtra apenas conteúdo de gravidade alta (requer aprovação).
- Sem filtragem: desativa totalmente a filtragem (requer aprovação).
7. Usando listas de bloqueio
As listas de bloqueio podem ser usadas para aprimorar a filtragem de entrada e saída. As opções incluem:
- Listas de bloqueio de palavrões: listas predefinidas para bloquear linguagem ofensiva.
- Listas de bloqueio personalizadas: listas definidas pelo usuário e adaptadas a requisitos específicos.
8. Teste e integração de API
Depois de aplicar um filtro, use o Playground do Azure AI Foundry para testar sua funcionalidade. Os filtros também podem ser gerenciados programaticamente usando APIs REST para integração avançada.
Observações importantes
- Modelo Whisper: a filtragem de conteúdo não se aplica a prompts e conclusões processados pelo modelo Whisper.
- Aprovação para filtros modificados: os clientes devem solicitar aprovação para usar filtros modificados, como desativar a filtragem ou habilitar apenas a filtragem de alta gravidade.
- Responsabilidade de conformidade: os usuários são responsáveis por garantir a conformidade com o Código de Conduta do Azure ao integrar o Azure OpenAI.
Conclusão
A filtragem de conteúdo no Azure AI Foundry é uma ferramenta poderosa para garantir o uso seguro e ético de modelos de IA generativa. Ao aproveitar filtros padrão ou criar configurações personalizadas, os usuários podem adaptar o sistema às necessidades de seus aplicativos específicos. Seja para se proteger contra prompts prejudiciais ou garantir saídas em conformidade, o Azure AI Content Filtering oferece a flexibilidade e a confiabilidade necessárias para manter altos padrões na moderação de conteúdo.
Para mais informações, consulte a documentação do Azure AI Content Safety.