サーバレスエグレスコントロールのネットワークポリシーの管理

備考

プレビュー

この機能はパブリックプレビュー段階です。

このドキュメントでは、 Databricksのサーバレスワークロードからの送信ネットワーク接続を制御するために、ネットワークポリシーを設定および管理する方法について説明します。

必要条件

Databricks ワークスペースは Enterprise レベルにある必要があります。
ネットワークポリシーを管理するための権限は、アカウント管理者に制限されています。 Databricks 管理の概要を参照してください。

ネットワークポリシーへのアクセス

アカウントでネットワークポリシーを作成、表示、更新するには:

アカウントコンソールで、 クラウドリソース をクリックします。
ネットワーク タブをクリックします。

ネッ�トワークポリシーの一覧。

新しいネットワークポリシーを作成する

新しいネットワークポリシーの作成 をクリックします。
ネットワークアクセスモードを選択します。
- フルアクセス :無制限のアウトバウンドインターネットアクセス。 フルアクセス を選択した場合、外向きのインターネットアクセスは制限されません。
- 制限付きアクセス : 送信アクセスは、指定された宛先に制限されます。詳細については、「ネットワークポリシーの概要」を参照してください。

ネットワークポリシーの設定

次の手順では、制限付きアクセスモードのオプション設定の概要を示します。

エグレスルール

Unity Catalog の場所または接続を使用して構成された宛先は、ポリシーによって自動的に許可されます。

サーバレスコンピュートに追加のドメインへのアクセス権を付与するには、 許可されたドメイン リストの上にある 宛先の追加 をクリックします。

FQDN フィルターを使用すると、同じ IP アドレスを共有するすべてのドメインにアクセスできます。エンドポイント全体でモデルサービングプロビジョニングは、ネットワークアクセスが制限付きに設定されている場合、インターネットアクセスを防ぎます。ただし、FQDN フィルタリングによるきめ細かな制御はサポートされていません。
ワークスペースが追加の S3 バケットにアクセスできるようにするには、 許可されたストレージアカウント リストの上にある 宛先の追加 ボタンをクリックします。

注記

サポートされる宛先の最大数は 2000 です。これには、ワークスペースからアクセス可能なすべての Unity Catalog の場所と接続、およびポリシーで明示的に追加された宛先が含まれます。

ポリシーの施行

dry-run モードを使用すると、リソースへのアクセスを中断することなく、ポリシー設定をテストし、送信接続を監視できます。 dry-run モードが有効な場合、ポリシーに違反する要求はログに記録されますが、ブロックされません。次のオプションから選択できます。

Databricks SQL :Databricks SQLウェアハウスはドライ実行モードで動作します。
AI モデルサービング : モデルサービングエンドポイントはドライ実行モードで動作します。
すべての製品 : すべての Databricks サービスはドライ実行モードで動作し、他のすべての選択をオーバーライドします。

デフォルトポリシーを更新する

各 Databricks アカウントには 、デフォルトポリシー が含まれています。 デフォルト・ポリシーは 、明示的にネットワーク・ポリシーが割り当てられていないすべてのワークスペース(新しく作成されたワークスペースを含む)に関連付けられます。このポリシーは変更できますが、削除することはできません。デフォルトポリシーは、少なくとも Enterprise レベルのワークスペースにのみ適用されます。

ネットワークポリシーをワークスペースに関連付ける

デフォルトのポリシーを追加の設定で更新した場合、既存のネットワークポリシーがないワークスペースにも自動的に適用されます。ワークスペースは Enterprise レベルである必要があります。

ワークスペースを別のポリシーに関連付けるには、次の操作を行います。

ワークスペースを選択します。
ネットワークポリシー で、 ネットワークポリシーの更新 をクリックします。
リストから目的のネットワークポリシーを選択します。

ネットワークポリシーを更新します。

ネットワークポリシーの変更を適用する

ほとんどのネットワーク設定の更新は、10 分以内にサーバレスコンピュートに自動的に反映されます。これには以下が含まれます。

新しい Unity Catalog 外部ロケーションまたは接続を追加する。
ワークスペースを別のメタストアにアタッチする。
許可されたストレージまたはインターネットの宛先を変更します。

注記

インターネットアクセスまたはドライ実行モードの設定を変更する場合は、コンピュートを再起動する必要があります。

サーバレスワークロードの再起動または再デプロイ

更新する必要があるのは、インターネットアクセスモードを切り替えるとき、またはドライ実行モードを更新するときだけです。

適切な再始動手順を決定するには、以下の製品別リストを参照してください。

Databricks ML Serving : ML サービングエンドポイントを再デプロイします。カスタムモデルサービングエンドポイントを作成するを参照してください。
DLT : 実行中の DLT パイプラインを停止してから再起動します。DLT パイプラインで更新プログラムを実行するを参照してください。
サーバレス SQLウェアハウス : SQLウェアハウスを停止して再起動します。 SQLウェアハウスの管理を参照してください。
ワークフロー : ネットワークポリシーの変更は、新しいジョブの実行がトリガーされたとき、または既存のジョブの実行が再開されたときに自動的に適用されます。
ノートブック :
- ノートブックが Sparkと対話しない場合は、新しいサーバレスクラスターを終了してアタッチし、ノートブックに適用されているネットワーク設定を更新できます。
- ノートブックが Sparkと対話すると、サーバレスリソースが更新され、変更が自動的に検出されます。アクセスモードとドライ実行モードの切り替えは、適用されるまでに最大 24 時間かかる場合があり、その他の変更が適用されるには最大 10 分かかる場合があります。

ネットワークポリシーの適用を確認する

ネットワークポリシーが正しく適用されていることを確認するには、さまざまなサーバレスワークロードから制限されたリソースへのアクセスを試みます。検証プロセスは、サーバレス製品によって異なります。

DLTによる検証

Python ノートブックを作成します。DLT wikipedia の Python チュートリアルで提供されているサンプルノートブックを使用できます。
DLT パイプラインを作成します。
1. ワークスペースのサイドバーで、 データエンジニアリング の下にある パイプライン をクリックします。
2. パイプラインの作成 をクリックします。
3. 次の設定でパイプラインを構成します。
  - パイプライン Mode : サーバレス
  - ソースコード : 作成したノートブックを選択します。
  - ストレージオプション : Unity Catalog。目的のカタログとスキーマを選択します。
4. 作成をクリックします。
DLT パイプラインを実行します。
パイプラインページで、開始をクリックします。
パイプラインが完了するまで待ちます。
結果を確認する
- 信頼できる宛先 : パイプラインは正常に実行され、宛先にデータを書き込む必要があります。
- 信頼できない宛先 : パイプラインは失敗し、ネットワークアクセスがブロックされていることを示すエラーが表示されます。

Databricks SQL による検証

SQLウェアハウスを作成します。手順については、「SQLウェアハウスの作成」を参照してください。
SQL エディタでテストクエリを実行し、ネットワークポリシーによって制御されるリソースへのアクセスを試みます。
結果を確認します。
- 信頼できる宛先 : クエリは成功する必要があります。
- 信頼できない宛先 : クエリはネットワークアクセスエラーで失敗します。

モデルサービングで検証

テストモデルの作成

Python ノートブックで、ファイルのダウンロードや API リクエストの作成など、公開インターネットリソースへのアクセスを試みるモデルを作成します。
このノートブックを実行して、テストワークスペースにモデルを生成します。例えば：

Python

import mlflow
import mlflow.pyfunc
import mlflow.sklearn
import requests

class DummyModel(mlflow.pyfunc.PythonModel):
    def load_context(self, context):
        pass

    def predict(self, _, model_input):
        first_row = model_input.iloc[0]
        try:
            response = requests.get(first_row['host'])
        except requests.exceptions.RequestException as e:
            # Return the error details as text
            return f"Error: An error occurred - {e}"
        return [response.status_code]

with mlflow.start_run(run_name='internet-access-model'):
    wrappedModel = DummyModel()

    mlflow.pyfunc.log_model(artifact_path="internet_access_ml_model", python_model=wrappedModel, registered_model_name="internet-http-access")

配信エンドポイントを作成する
1. ワークスペースのナビゲーションで、 機械学習 を選択します。
2. サービング タブをクリックします。
3. サービングエンドポイントの作成 をクリックします。
4. 次の設定でエンドポイントを構成します。
  - サービングエンドポイント名 : わかりやすい名前を指定します。
  - エンティティの詳細 : モデルレジストリモデル を選択します。
  - モデル : 前の手順で作成したモデルを選択します。
5. 確認をクリックします。
6. サービスエンドポイントが 準備完了 状態に達するまで待ちます。
エンドポイントをクエリします。
1. サービスエンドポイントページ内の クエリエンドポイント オプションを使用して、テスト要求を送信します。
```
{"dataframe_records": [{"host": "https://www.google.com"}]}
```
結果を確認します。
- インターネットアクセスが有効: クエリは成功します。
- インターネットアクセス制限: クエリはネットワークアクセスエラーで失敗します。

ネットワークポリシーを更新する

ネットワークポリシーは、作成後いつでも更新できます。ネットワークポリシーを更新するには:

アカウントコンソールのネットワークポリシーの詳細ページで、ポリシーを変更します。
- ネットワークアクセスモードを変更します。
- 特定のサービスのドライ実行モードを有効または無効にします。
- FQDN またはストレージの宛先を追加または削除します。
更新をクリックします。
ネットワークポリシーの変更を適用する を参照して、更新プログラムが既存のワークロードに適用されることを確認します。

拒否ログを確認する

拒否ログは、Unity Catalog の system.access.outbound_network テーブルに格納されます。これらのログは、送信ネットワーク要求が拒否されたタイミングを追跡します。拒否ログにアクセスするには、Unity Catalog メタストアでアクセススキーマが有効になっていることを確認します。「システムテーブルスキーマの有効化」を参照してください。

次のような SQL クエリを使用して、拒否イベントを表示します。 dry-run logs が有効になっている場合、クエリは拒否ログと dry-run ログの両方を返します。これらは access_type 列を使用して区別できます。拒否ログには DROP 値がありますが、dry-run ログには DRY_RUN_DENIAL が表示されます。

次の例では、過去 2 時間のログを取得します。

SQL

select * from system.access.outbound_network
where event_time >= current_timestamp() - interval 2 hour
sort by event_time desc

を使用して外部生成モデルに接続する場合、ネットワークアウトバウンドシステムテーブルに拒否が記録されません。AIMosaic AI GatewayMosaic AI Gatewayの紹介を参照してください。

注記

アクセス時から拒否ログが表示されるまでの間に、多少の遅延が発生する場合があります。

制限

設定 : この機能は、アカウントコンソールからのみ設定できます。 API のサポートはまだ利用できません。
アーティファクトのアップロードサイズ : MLflowの内部 Databricks ファイルシステムをdbfs:/databricks/mlflow-tracking/<experiment_id>/<run_id>/artifacts/<artifactPath>形式で使用する場合、アーティファクトのアップロードはlog_artifact、log_artifacts、およびlog_model APIで5GBに制限されます。
サポートされている Unity Catalog 接続 : サポートされている接続の種類は、 MySQL、 PostgreSQL、 Snowflake、 Redshift、 Azure Synapse、 SQL Server、Salesforce、 BigQuery、Netsuite、Workday RaaS、 Hive metastore、Salesforce Data Cloud です。
モデルサービング : モデルサービングのイメージを構築する場合、エグレスコントロールは適用されません。

必要条件​

ネットワークポリシーへのアクセス​

新しいネットワーク ポリシーを作成する​

ネットワークポリシーの設定​

エグレスルール​

ポリシーの施行​

デフォルトポリシーを更新する​

ネットワークポリシーをワークスペースに関連付ける​

ネットワーク ポリシーの変更を適用する​

サーバレスワークロードの再起動または再デプロイ​

ネットワーク ポリシーの適用を確認する​

DLTによる検証​

Databricks SQL による検証​

モデルサービングで検証​

ネットワークポリシーを更新する​

拒否ログを確認する​

制限​