カスタム分類器

備考

ベータ版

この機能はベータ版です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。Databricksのプレビューを管理するを参照してください。

このページでは、Unity Catalog で Databricks データ分類用のカスタム分類子を作成および管理する方法について説明します。カスタム分類器は、組み込みの分類システムを拡張し、社内従業員ID、独自の製品コード、ベンダー識別子、パートナーアカウント番号など、組織固有の機密データを検出できるようにします。

カスタム分類器を作成するには、まず管理タグを選択します。次に、検出するデータを記述するか、代表的な値を含むサンプル列を提供するかいずれか、またはその両方を行います。Databricks は、分類器が検出する内容のプレビューを生成するため、保存する前に確認できます。データ分類は、通常のスキャン中にこの分類器を検出します。

カスタム分類器を使用すると、次のことが可能になります。

• 組織固有データのタグ : 従業員 ID、パートナー コード、内部アカウント番号など、組織に固有のデータ タイプの自動タグを検出して構成します。
• ガバナンス制御を拡張する ：機密データにABAC列レベルマスクを適用する。

注記

カスタム分類器の構成、およびDatabricksがサンプル列から生成する検出メタデータは、保存時に暗号化されます。システムカタログでカスタマーマネージドキー (CMK)を使用して、暗号化キーを管理できます。システムカタログでCMKを構成すると、カスタム分類器のデータだけでなく、システムカタログ内のすべてのデータが暗号化されます。

要件

• メタストア内の少なくとも1つのカタログで、データ分類を有効にする必要があります。データ分類の使用を参照してください。
• ワークスペースでは、サーバレスコンピュートが利用可能である必要があります (ワークスペースでUnity Catalog使用することで有効になります)。
• カスタム分類子を作成、編集、または削除するには、メタストア管理者である必要があります。
• カスタム分類子を作成または編集するには、分類子が使用する管理タグに対するASSIGN権限が必要です。 「管理タグの権限の管理」を参照してください。
• 分類子にサンプル列を選択するには、その列を含むテーブルで SELECT が必要です。Databricks は列をサンプリングしてプレビューを生成します。

カスタム分類器を作成する

1. データ分類結果ページから、 「カスタム分類器の管理」 をクリックします。

   

2. 「 カスタム分類子 」サイドパネルで、「 分類子を追加 」をクリックします。

3. タグを選択してください 。既存の管理タグを選択するか、インラインで定義する新しいタグを作成します。タグに許可された値がある場合、検出したい特定の値を選択します。

   

4. 分類器を定義する 。Databricks がスキャン対象を特定できるように、説明、サンプル列、またはその両方を提供してください。

   • 「 分類方法の説明 」で、Columns that store a person's contact details のように検出するデータを平易な言葉で記述します。
   • 「 サンプルデータ列を選択 」の下で、カタログツリーを参照し、クラスの代表値を含む最大10列を選択します。

   効果的な説明を記述し、適切なサンプル列を選択する方法については、「分類子を定義する」を参照してください。

   

5. **分類器を生成します**。Databricks は、分類器が検出する内容のプレビューを生成します。結果を調整するには、説明またはサンプル列を編集すると、プレビューが再生成されます。「分類器プレビュー」を参照してください。

   

6. 作成 をクリックします。このボタンは、プレビューが生成されるまで無効のままです。

カスタム分類器による検出結果は、通常数時間以内に結果ページに表示されます。

分類子を定義する

カスタム分類子を定義するには、説明、サンプル列、またはその両方を使用します。

その説明はデータが何を表しているかを説明し、Databricks が分類器を生成する方法に直接影響します。説明を使用して、一致を含めるか除外するかを Databricks に教えることができます (例: 「個々の顧客に属する電話番号であり、公共のサポート回線や営業回線ではない」)。

サンプル列は、Databricks がサンプリングするデータの形状を学習するのに役立ちます。列をサンプルとして使用するには、テーブルに対するSELECT権限が必要です。

カスタム分類子は、メタストア内でデータ分類が有効になっている すべての カタログに適用されます。カタログ単位またはスキーマ単位のスコープ設定はサポートされていません。

分類子プレビュー

カスタム分類器を保存する前に、Databricks はプレビューを生成し、検出ルールを確認できるようにします。プレビューでは、分類器が検出する内容を平易な言葉で説明し、一致する列名と値のサンプルを表示します。

プレビュー内の列と値はAIによって生成された例であり、実際のテーブルデータではありません。プレビューが検出したい内容と一致しない場合、説明またはサンプル列を編集して新しいプレビューを生成してください。

カスタム分類器を管理する

カスタム分類器 サイドパネルには、メタストア用に構成されているすべてのカスタム分類器が表示されます。このパネルから、タグ名で検索、既存の分類器を編集、または分類器を削除することができます。

カスタム分類器を編集する

既存のカスタム分類器を更新するには：

1. 「カスタム分類子」 サイドパネルで、編集したいカスタム分類子を選択します。編集ビューには、分類子の保存された説明、サンプル列、およびプレビューが表示されます。
2. 説明を編集するか、サンプル列を追加または削除します。Databricks はプレビューを自動的に再生成します。
3. プレビューが正しい場合は、 更新 をクリックします。

以前の構成からの既存の検出結果はそのまま残ります。

カスタム分類子を作成した後は、管理タグとタグ値を変更することはできません。 別のタグに切り替えるには、カスタム分類子を削除して新しいものを作成してください。

カスタム分類器を削除する

1. カスタム分類器 サイドパネルで、削除するカスタム分類器を選択します。
2. 削除 をクリックします。
3. 削除を確認してください。

カスタム分類器を削除する場合：

• その分類器では、新たな検出結果は生成されません。
• 既存の検出結果は、データ分類結果ページから削除されます。
• 既に列に自動適用されたタグは、自動的には削除されません。

カスタム分類器の検出結果を表示する

カスタム分類子の検出を表示するには、組み込み分類の場合と同じステップに従います。 分類結果の表示を参照してください。

制限事項

• メタストアごとに最大50個のカスタム分類子を作成できます。
• 各カスタム分類子には、説明、サンプル列、またはその両方が必要です。最大10個のサンプル列を参照できます。
• 管理タグの命名にはタグポリシールールが適用されます。
• カスタム分類子は、メタストア内のデータ分類が有効になっているすべてのカタログに適用されます。カタログ単位またはスキーマ単位のスコープ設定はサポートされていません。
• カスタム分類器で使用される管理タグは、作成後に変更することはできません。別のタグを使用するには、カスタム分類子を削除して再作成してください。
• 新規および更新されたカスタム分類器は、以降のデータ分類スキャンにのみ適用されます。既存のスキャン結果は自動的に再分類されないため、以前にスキャンされたデータの検出結果は、次のスキャンが完了した後に表示されます。
• すべてのデータ分類の制限事項は、サポートされているテーブルタイプを含め、カスタム分類器にも適用されます。制限事項を参照してください。

トラブルシューティング

以下のトピックは、カスタム分類器に関する一般的な問題のトラブルシューティングに役立ちます。

カスタム分類器が停止されました

カスタム分類器が検出を生成できなくなった場合、Databricksはそれを停止し、データ分類結果ページに警告を表示します。警告には理由が示されています。一時停止中のカスタム分類器は、新しい検出を生成しません。

Databricks は、次の理由によりカスタム分類器を一時停止します。

• 管理タグは無効になりました。管理タグまたはタグ値が削除されたか、タグに必要な値がありません。タグまたは値を復元するか、カスタム分類子を削除して有効なタグで新しいものを作成してください。説明またはサンプル列を編集しても、このサスペンションは解決されません。
• Databricksは、指定された説明とサンプル列から検出ルールを生成できません。カスタム分類子を編集して説明を改善するか、アクセスできないまたは代表的でないサンプル列を置き換え、保存して分類子を再生成します。

カスタム分類子の作成または一覧表示時に権限が拒否されました

メタストア管理者である必要があります。カスタム分類子を作成または編集するには、管理タグに対するASSIGN権限がさらに必要です。 要件を参照してください。

サンプル列を選択できません

列を含むテーブルには、SELECTが必要です。テーブルにSELECTがない場合は、テーブルの所有者にそれを付与するよう依頼するか、別の列を選択してください。

その他のリソース

• データ分類
• サポートされている分類タグ
• 管理タグ
• Unity Catalogにおける属性ベースのアクセス制御
• データ分類システムテーブルリファレンス