此前我们学习了如何通过Azure AI Foundry /blogs/deploy-azure-openai-gpt-4o-and-integrate-with-nextchat-or-chatbox-clients-build-your-personal-ai-companion/、/blogs/deploying-deepseek-r1-on-azure-ai-foundry-chatbox-integration/部署 LLM。那么，如何为你的 LLM 创建自定义内容筛选器呢？
确保生成式 AI 模型的安全合规使用对于合乎道德的 AI 应用至关重要。通过Azure AI 内容筛选，用户可以利用默认筛选器或创建自定义配置来有效审核有害内容。本文提供了在 Azure AI Foundry 中创建和应用自定义内容筛选器的详细指南，让用户能够根据自身需求定制内容安全措施。
目录
1. 内容筛选的工作原理
Azure AI Foundry 集成了Azure AI 内容安全，用于对输入提示词和输出补全内容中的有害内容进行分类和筛选。筛选系统使用先进的分类模型来检测以下类别的有害内容：
- 仇恨：针对身份群体的歧视性或贬损性语言。
- 色情：与解剖学、性行为、色情或虐待相关的内容。
- 暴力：对人身伤害、武器或暴力行为的描述。
- 自残：宣扬或描述自残或自杀的内容。
每个类别根据严重性级别进行筛选：
- 安全：专业或新闻语境。
- 低：冒犯性或刻板印象语言。
- 中：侮辱性或恐吓性语言。
- 高：明确的有害指令或极端伤害。
默认情况下，Azure AI Foundry 会自动对无服务器 API 应用内容筛选，但用户可以创建自定义筛选器，以实现更严格或更宽松的配置。
2. 语言支持
Azure AI 内容筛选模型已在主要语言上进行训练，包括：
- 英语
- 德语
- 日语
- 西班牙语
- 法语
- 意大利语
- 葡萄牙语
- 中文
虽然系统可以在其他语言中运行，但建议进行测试，以确保检测有害内容的有效性和准确性。
3. 筛选器类型
Azure AI Foundry 提供两种主要类型的筛选器：
输入筛选器
在模型处理之前应用于用户提示词。
输出筛选器
应用于模型生成的补全内容。
特殊筛选器包括：
- 越狱攻击：防止旨在绕过模型保护措施的提示词。
- 间接攻击：检测嵌入外部文档中的恶意指令。
- 受保护材料检测：筛选受版权保护或受保护的文本/代码。
- Groundedness 检测：确保回答基于经过验证的源材料。
4. 创建自定义内容筛选器的步骤
按照以下步骤在 Azure AI Foundry 门户中创建自定义内容筛选器：
- 导航到内容筛选器
- 转到门户中的安全与防护 >> 内容筛选器。
- 点击+ 创建内容筛选器，并提供基本信息，例如筛选器名称。
- 配置输入筛选器
- 调整内容类别（例如仇恨、色情、暴力）的严重性阈值。
- 启用其他功能，例如提示词防护或受保护材料检测，以注释或阻止特定内容。
- 配置输出筛选器
- 调整输出类别的严重性阈值。
- 启用流式模式以进行实时筛选。
- （可选）将筛选器与部署关联，以实现无缝集成。
- 查看并创建
- 仔细检查设置并选择创建筛选器以完成配置。
5. 应用内容筛选器
创建筛选器后，你可以将其应用于部署：
- 导航到模型 + 终结点
- 在门户中，选择所需的部署并点击编辑。
- 分配内容筛选器
- 选择适当的内容筛选器并保存更改。
6. 可配置选项（预览版）
Azure AI Foundry 提供默认和自定义两种筛选配置：
默认配置
- GPT 模型：筛选所有类别中中等和高严重性的内容。
- DALL-E 模型：针对提示词和补全内容，筛选低、中、高严重性的内容。
自定义配置
用户可以分别调整提示词和补全内容的严重性阈值：
- 严格筛选：筛选低、中、高严重性的内容。
- 适度筛选：筛选中等和高严重性的内容。
- 最小筛选：仅筛选高严重性的内容（需要批准）。
- 不筛选：完全禁用筛选（需要批准）。
7. 使用阻止列表
阻止列表可用于增强输入和输出筛选。选项包括：
- 脏话阻止列表：用于阻止冒犯性语言的预定义列表。
- 自定义阻止列表：根据特定需求定制的用户定义列表。
8. 测试和 API 集成
应用筛选器后，使用 Azure AI Foundry 操场测试其功能。筛选器也可以通过 REST API 以编程方式管理，以实现高级集成。
重要说明
- Whisper 模型：内容筛选不适用于 Whisper 模型处理的提示词和补全内容。
- 修改筛选器的批准：客户必须申请批准才能使用修改后的筛选器，例如禁用筛选或仅启用高严重性筛选。
- 合规责任：用户在集成 Azure OpenAI 时，负责确保遵守 Azure 行为准则。
结论
Azure AI Foundry 中的内容筛选是确保生成式 AI 模型安全合乎道德地使用的强大工具。通过利用默认筛选器或创建自定义配置，用户可以根据其特定应用需求定制系统。无论你的目标是防范有害提示词还是确保合规输出，Azure AI 内容筛选都提供了保持内容审核高标准所需的灵活性和可靠性。
更多信息，请参阅Azure AI 内容安全文档。