先前我們學習了如何透過Azure AI Foundry /blogs/deploy-azure-openai-gpt-4o-and-integrate-with-nextchat-or-chatbox-clients-build-your-personal-ai-companion/、/blogs/deploying-deepseek-r1-on-azure-ai-foundry-chatbox-integration/部署 LLM。那麼，如何為你的 LLM 建立自訂內容篩選器呢？
確保生成式 AI 模型的安全合規使用對於合乎道德的 AI 應用程式至關重要。透過Azure AI 內容篩選，使用者可以利用預設篩選器或建立自訂設定來有效審核有害內容。本文提供了在 Azure AI Foundry 中建立和套用自訂內容篩選器的詳細指南，讓使用者能夠依據自身需求量身打造內容安全措施。
目錄
1. 內容篩選的運作方式
Azure AI Foundry 整合了Azure AI 內容安全，用於對輸入提示詞和輸出補全內容中的有害內容進行分類和篩選。篩選系統使用先進的分類模型來偵測以下類別的有害內容：
- 仇恨：針對身分群體的歧視性或貶損性語言。
- 色情：與解剖學、性行為、色情或虐待相關的內容。
- 暴力：對人身傷害、武器或暴力行為的描述。
- 自殘：宣揚或描述自殘或自殺的內容。
每個類別會依據嚴重性層級進行篩選：
- 安全：專業或新聞語境。
- 低：冒犯性或刻板印象語言。
- 中：侮辱性或恐嚇性語言。
- 高：明確的有害指示或極端傷害。
預設情況下，Azure AI Foundry 會自動對無伺服器 API 套用內容篩選，但使用者可以建立自訂篩選器，以實現更嚴格或更寬鬆的設定。
2. 語言支援
Azure AI 內容篩選模型已在主要語言上進行訓練，包括：
- 英文
- 德文
- 日文
- 西班牙文
- 法文
- 義大利文
- 葡萄牙文
- 中文
雖然系統可以在其他語言中運作，但建議進行測試，以確保偵測有害內容的有效性和準確性。
3. 篩選器類型
Azure AI Foundry 提供兩種主要類型的篩選器：
輸入篩選器
在模型處理之前套用到使用者提示詞。
輸出篩選器
套用到模型產生的補全內容。
特殊篩選器包括：
- 越獄攻擊：防止旨在繞過模型保護措施的提示詞。
- 間接攻擊：偵測內嵌於外部文件中的惡意指示。
- 受保護素材偵測：篩選受著作權保護或受保護的文字/程式碼。
- Groundedness 偵測：確保回答是依據經過驗證的來源資料。
4. 建立自訂內容篩選器的步驟
請依照以下步驟在 Azure AI Foundry 入口網站中建立自訂內容篩選器：
- 前往內容篩選器
- 前往入口網站中的安全與防護 >> 內容篩選器。
- 點選+ 建立內容篩選器，並提供基本資訊，例如篩選器名稱。
- 設定輸入篩選器
- 調整內容類別（例如仇恨、色情、暴力）的嚴重性閾值。
- 啟用其他功能，例如提示詞防護或受保護素材偵測，以註解或封鎖特定內容。
- 設定輸出篩選器
- 調整輸出類別的嚴重性閾值。
- 啟用串流模式以進行即時篩選。
- （選用）將篩選器與部署建立關聯，以實現無縫整合。
- 檢視並建立
- 仔細檢查設定並選擇建立篩選器以完成設定。
5. 套用內容篩選器
建立篩選器後，你可以將其套用到部署：
- 前往模型 + 端點
- 在入口網站中，選擇所需的部署並點選編輯。
- 指派內容篩選器
- 選擇適當的內容篩選器並儲存變更。
6. 可設定選項（預覽版）
Azure AI Foundry 提供預設和自訂兩種篩選設定：
預設設定
- GPT 模型：篩選所有類別中中等和高嚴重性的內容。
- DALL-E 模型：針對提示詞和補全內容，篩選低、中、高嚴重性的內容。
自訂設定
使用者可以分別調整提示詞和補全內容的嚴重性閾值：
- 嚴格篩選：篩選低、中、高嚴重性的內容。
- 適度篩選：篩選中等和高嚴重性的內容。
- 最小篩選：僅篩選高嚴重性的內容（需要核准）。
- 不篩選：完全停用篩選（需要核准）。
7. 使用封鎖清單
封鎖清單可用於增強輸入和輸出篩選。選項包括：
- 髒話封鎖清單：用於封鎖冒犯性語言的預先定義清單。
- 自訂封鎖清單：依據特定需求量身打造的使用者定義清單。
8. 測試和 API 整合
套用篩選器後，使用 Azure AI Foundry 操場測試其功能。篩選器也可以透過 REST API 以程式設計方式管理，以實現進階整合。
重要注意事項
- Whisper 模型：內容篩選不適用於 Whisper 模型處理的提示詞和補全內容。
- 修改篩選器的核准：客戶必須申請核准才能使用修改後的篩選器，例如停用篩選或僅啟用高嚴重性篩選。
- 合規責任：使用者在整合 Azure OpenAI 時，須負責確保遵守 Azure 行為準則。
結論
Azure AI Foundry 中的內容篩選是確保生成式 AI 模型安全且合乎道德地使用的強大工具。透過利用預設篩選器或建立自訂設定，使用者可以依據其特定應用程式需求量身打造系統。無論你的目標是防範有害提示詞還是確保合規輸出，Azure AI 內容篩選都提供了維持內容審核高標準所需的彈性與可靠性。
如需更多資訊，請參閱Azure AI 內容安全文件。