以前、Azure AI Foundry /blogs/deploy-azure-openai-gpt-4o-and-integrate-with-nextchat-or-chatbox-clients-build-your-personal-ai-companion/、/blogs/deploying-deepseek-r1-on-azure-ai-foundry-chatbox-integration/を経由して LLM をデプロイする方法を学びました。では、LLM 用のカスタム コンテンツ フィルターを作成する方法は？
生成 AI モデルの安全でコンプライアンスに準拠した使用を確保することは、倫理的な AI アプリケーションにとって重要です。Azure AI コンテンツ フィルタリングを使用すると、既定のフィルターを利用したり、カスタム設定を作成したりして、有害なコンテンツを効果的にモデレートできます。この記事では、Azure AI Foundry でカスタム コンテンツ フィルターを作成・適用する方法について詳しく解説し、ユーザーがコンテンツの安全性対策をニーズに合わせて調整できるようにします。
目次
1. コンテンツ フィルタリングの仕組み
Azure AI Foundry には、Azure AI Content Safetyが統合されており、入力プロンプトと出力の補完の両方で有害なコンテンツを分類・フィルタリングします。フィルタリング システムは、高度な分類モデルを使用して、次のカテゴリの有害なコンテンツを検出します：
- ヘイト：アイデンティティ グループを標的とした差別的または軽蔑的な言葉。
- 性的：解剖学、性行為、ポルノ、虐待に関連するコンテンツ。
- 暴力：身体的危害、武器、暴力行為の説明。
- 自傷行為：自傷行為や自殺を助長または説明するコンテンツ。
各カテゴリは、重大度レベルに基づいてフィルタリングされます：
- 安全：専門的または報道的な文脈。
- 低：不快な言葉やステレオタイプな言葉。
- 中：侮辱的または威圧的な言葉。
- 高：明示的な有害な指示または極端な危害。
既定では、Azure AI Foundry はサーバーレス API にコンテンツ フィルタリングを自動的に適用しますが、ユーザーは、より厳格またはより緩やかな設定のためにカスタム フィルターを作成できます。
2. 言語サポート
Azure AI コンテンツ フィルタリング モデルは、次の主要言語でトレーニングされています：
- 英語
- ドイツ語
- 日本語
- スペイン語
- フランス語
- イタリア語
- ポルトガル語
- 中国語
システムは他の言語でも機能しますが、有害なコンテンツの検出における有効性と正確性を確保するために、テストを推奨します。
3. フィルターの種類
Azure AI Foundry には、主に 2 種類のフィルターがあります：
入力フィルター
モデルによる処理の前に、ユーザー プロンプトに適用されます。
出力フィルター
モデルによって生成された補完に適用されます。
特殊なフィルターには次のものがあります：
- ジェイルブレイク攻撃：モデルの保護機能を回避するように設計されたプロンプトを防ぎます。
- 間接的な攻撃：外部ドキュメントに埋め込まれた悪意のある指示を検出します。
- 保護対象マテリアルの検出：著作権で保護された、または保護対象のテキスト/コードをフィルタリングします。
- グラウンデッドネス検出：応答が検証済みのソース資料に基づいていることを確認します。
4. カスタム コンテンツ フィルターを作成する手順
Azure AI Foundry ポータルでカスタム コンテンツ フィルターを作成するには、次の手順に従ってください：
- コンテンツ フィルターに移動する
- ポータルで、安全性とセキュリティ >> コンテンツ フィルターに移動します。
- 「+ コンテンツ フィルターの作成」をクリックし、フィルター名などの基本情報を入力します。
- 入力フィルターを設定する
- コンテンツ カテゴリ（ヘイト、性的、暴力など）の重大度しきい値を調整します。
- 次のような追加機能を有効にします：プロンプト シールドや保護対象マテリアルの検出を使用して、特定のコンテンツに注釈を付けたり、ブロックしたりします。
- 出力フィルターを設定する
- 出力カテゴリの重大度しきい値を調整します。
- リアルタイム フィルタリングのために、ストリーミング モードを有効にします。
- 必要に応じて、フィルターをデプロイに関連付けて、シームレスに統合します。
- 確認して作成する
- 設定を再確認し、フィルターを作成を選択して設定を確定します。
5. コンテンツ フィルターを適用する
フィルターを作成したら、デプロイに適用できます：
- モデル + エンドポイントに移動する
- ポータルで、目的のデプロイを選択し、編集。
- コンテンツ フィルターを割り当てる
- 適切なコンテンツ フィルターを選択し、変更を保存します。
6. 構成オプション（プレビュー）
Azure AI Foundry には、既定とカスタムの両方のフィルタリング設定があります：
既定の構成
- GPT モデル：すべてのカテゴリで、中程度および高程度の重大度のコンテンツをフィルタリングします。
- DALL-E モデル：プロンプトと補完の両方について、低、中、高の重大度のコンテンツをフィルタリングします。
カスタム構成
ユーザーは、プロンプトと補完の重大度しきい値を個別に調整できます：
- 厳格なフィルタリング：低、中、高の重大度のコンテンツをフィルタリングします。
- 中程度のフィルタリング：中程度および高程度の重大度のコンテンツをフィルタリングします。
- 最小限のフィルタリング：高程度の重大度のコンテンツのみをフィルタリングします（承認が必要です）。
- フィルタリングなし：フィルタリングを完全に無効にします（承認が必要です）。
7. ブロックリストの使用
ブロックリストを使用すると、入力と出力のフィルタリングを強化できます。オプションは次のとおりです：
- 不適切な言葉のブロックリスト：不快な言葉をブロックするための定義済みリスト。
- カスタム ブロックリスト：特定の要件に合わせたユーザー定義のリスト。
8. テストと API 統合
フィルターを適用したら、Azure AI Foundry プレイグラウンドを使用して機能をテストしてください。フィルターは、高度な統合のために REST API を使用してプログラムで管理することもできます。
重要な注意事項
- Whisper モデル：コンテンツ フィルタリングは、Whisper モデルで処理されるプロンプトと補完には適用されません。
- 変更されたフィルターの承認：お客様は、フィルタリングの無効化や高重大度フィルタリングのみの有効化など、変更されたフィルターを使用するために承認を申請する必要があります。
- コンプライアンスの責任：Azure OpenAI を統合する際、Azure の行動規範への準拠を確保する責任はユーザーにあります。
まとめ
Azure AI Foundry のコンテンツ フィルタリングは、生成 AI モデルの安全で倫理的な使用を確保するための強力なツールです。既定のフィルターを活用したり、カスタム設定を作成したりすることで、ユーザーはシステムを特定のアプリケーションのニーズに合わせて調整できます。有害なプロンプトから保護する場合でも、コンプライアンスに準拠した出力を確保する場合でも、Azure AI コンテンツ フィルタリングは、コンテンツ モデレーションの高い基準を維持するための柔軟性と信頼性を提供します。
詳細については、Azure AI Content Safety ドキュメント。