SecureConnect を使用したファイアウォール内部でのデータ共有
SecureConnectはデータ共有のためのネットワークを簡素化し、データプロバイダーが各受信者をストレージのネットワークルールで許可リストに追加することなく、さまざまな受信者と共有できるようにします。さらに、SecureConnectを使用すると、プロバイダーはプライベートEndpointの背後にあるクラウドストレージから共有できます。
SecureConnectの仕組み
SecureConnectを使用するには、プロバイダーが一度だけ設定を行うことで、Databricksの受信者がファイアウォールやプライベートEndpointの背後にあるプロバイダーのストレージにアクセスできるようになります。Databricksは受信者からのリクエストを管理プロキシ経由でルーティングするため、プロバイダーは新しい受信者を追加する際にストレージのファイアウォールを更新する必要はありません。
受信者は既存のOpenSharing設定を使用して共有データにアクセスします。
- Databricks の受信者は、プロバイダーごとのファイアウォール変更なしで、サーバレス コンピュート アクセスの共有にアクセスできます。
- Databricks のクラシック コンピュートとオープン受信者は、プロバイダーのリージョンの Databricks コントロール プレーン IP の 1 つのセットを許可リストに追加します。
パフォーマンスを最適化するため、プロバイダーのストレージと同じリージョンのServerlessコンピュートを使用する受信者は、管理プロキシを経由せず、ストレージから直接読み取ります。リージョン間やクラウド間の受信者、およびクラシックコンピュートを使用する受信者は、管理プロキシ経由で読み取ります。この違いは、ネットワーク使用量の請求方法に影響します。課金を参照してください。
SecureConnectがない場合、プロバイダーは、新規受信者が追加されるたびに、受信者とクラウドプラットフォーム管理者と連携して、各受信者のネットワーク識別子を自身のストレージファイアウォールに追加する必要があります。
SecureConnectは、Databricks Marketplaceを通じて共有されるデータ製品や、クリーンルームに共有されるデータにも適用されます。これは、両者がOpenSharing上に構築されているためです。
SecureConnectをプロバイダーとして設定する
SecureConnectをセットアップするには、ストレージファイアウォールでアクセスを許可するよう設定し、メタストアと受信者でSecureConnectを有効にする必要があります。
ステップ 1：ストレージファイアウォールを構成する
以下の手順は、共有アセットとプロバイダーのメタストアが同じリージョンにあることを前提としています。ネットワークコストを最小限に抑えるには、共有アセットのリージョンをプロバイダーのメタストアリージョンと同じにしてください。
SecureConnect は、パブリック インターネット経由ではなく、クラウド プロバイダーのネットワークを介して Serverless データ プレーンからストレージにアクセスします。
アクセスの構成方法は、Google Cloud Storage (GCS) バケットがファイアウォールまたは VPC Service Controls によって保護されているかどうかによって異なります。
オプション 1: ファイアウォールや VPC Service Controls のない GCS バケット
GCS バケットがファイアウォールまたは VPC Service Controls で保護されていない場合は、設定は不要です。
Option 2: ファイアウォールまたは VPC Service Controls の背後にある GCS バケット
プレビュー
このオプションは プライベート プレビュー段階です。
GCS バケットが VPC Service Controls (VPC-SC) によって保護されている場合は、Databricks Serverless コンピュートプロジェクトのみがストレージにアクセスできるように、Databricks Serverless プロジェクト番号を VPC-SC の入力規則に追加してください。SecureConnect 登録の一環として、Databricks アカウントチームから追加するServerlessプロジェクト番号が提供されます。設定の手順については、Serverlessプロジェクト番号を使用したアクセスの設定を参照してください。
さらに、お使いのリージョンのコントロールプレーン VPC ホストプロジェクト番号を VPC-SC イングレスルールに追加します。Private Service Connect (PSC) 添付ファイル URI とプロジェクト番号 の コントロールプレーン VPC ホストプロジェクト # の下で確認できます。
ステップ2：メタストアにSecureConnectを有効化
メタストア管理者は、新しい受信者がSecureConnectを自動的に使用するようにメタストアを構成できます。デフォルトでは、新規および既存の受信者はSecureConnectに登録されていません。既存の受信者は個別に設定する必要があります。ステップ3: 個々の受信者のSecureConnectを有効化を参照してください。
メタストアでSecureConnectを有効にするには:
-
Databricks ワークスペースで、
[カタログ]をクリックして カタログエクスプローラー を開きます。 -
カタログ ウィンドウの上部にある
歯車アイコンをクリックし、 OpenSharing を選択します。または、右上隅の Share > OpenSharing をクリックします。
-
右上隅の 設定 をクリックします。
-
「新規受信者のSecureConnectを有効化」の設定をオンにしてください。
-
保存 をクリックします。
ステップ3：各受信者のSecureConnectを有効化する
受信者オーナーおよびUSE_RECIPIENT権限を持つユーザーは、各受信者に対してSecureConnectのオン/オフを切り替えます。受信者の作成時にメタストアがすべての新規受信者に対して有効にするよう設定されていた場合を除き、SecureConnectはデフォルトでは受信者に対して無効になっています。
受信者でSecureConnectを設定するには：
-
Databricks ワークスペースで、
カタログ をクリックします。 -
カタログ ウィンドウの上部にある
歯車アイコンをクリックし、 OpenSharing を選択します。または、右上隅の Share > OpenSharing をクリックします。
-
自分が共有 タブで、 受信者 タブをクリックします。
-
各受信者ごとにSecureConnectを有効にしてください。
（オプション）ステップ 4: IP アクセス リストでオープン受信者アクセスを制限する
オープンな受信者に対しては、IPアクセスリストを使用することで、SecureConnectに到達できるクライアントIPアドレスを制限できます。IP ACL はオープンな受信者にのみ適用されます。
SecureConnect では、IP ACL は OpenSharing エンドポイントアクセスとストレージアクセスの両方に適用されます。SecureConnectを使用しない場合、IP ACLはOpenSharingエンドポイントへのアクセスのみを制限します；ストレージURLはどのクライアントIPからも引き続きアクセス可能です。
設定手順については、IPアクセスリストを使用してOpenSharing受信者アクセスを制限する (Databricks-to-Open sharing)を参照してください。
SecureConnect が有効なオープン受信者の IP ACL の変更が有効になるまでに、最大10分かかる場合があります。
サポートされている共有シナリオ
サポートされていない機能はすべて、受信者のコンピュートからストレージへの直接アクセスにフォールバックします。プロバイダーは、ストレージファイアウォールで受信者の IP に手動でアクセス権を付与する必要があります。OpenSharing Databricks-to-Databricks プロトコルとは？を参照してください。または Databricks-to-Open Sharing プロトコルとは？。
SecureConnectは、Databricks間共有とDatabricks-to-open共有の両方において、受信者がどのクラウドで実行されているかに関係なく、共有をサポートします。
SecureConnectへのmTLSは、共有データへのアクセスにServerlessコンピュートを使用するDatabricks受信者のみがサポートされています。
機能のサポート
機能 | D2O（トークン） | D2O（OIDC）* | D2O（Iceberg） | D2D（サーバレス） | D2D（クラシック） |
|---|---|---|---|---|---|
履歴があり、パーティションがないテーブル | ✓ | ✓ | 閉じる | ✓ | ✓ |
履歴のない、またはパーティションのあるテーブル | ✓ | ✓ | 閉じる | ✓ | ✓ |
ビュー | ✓ | ✓ | 閉じる | ✓ *** | ✓ |
フォーリンテーブル | ✓ | ✓ | 閉じる | ✓ | ✓ |
マテリアライズドビュー | ✓ | ✓ | 閉じる | ✓ *** | ✓ |
ストリーミングテーブル | ✓ | ✓ | 閉じる | ✓ *** | ✓ |
ボリューム | 閉じる | 閉じる | 閉じる | 閉じる | 閉じる |
ノートブック | 閉じる | 閉じる | 閉じる | 閉じる | 閉じる |
AIモデル | 閉じる | 閉じる | 閉じる | 閉じる | 閉じる |
受信者もDatabricksを使用している場合、OIDC共有は現在機能しません。
クラウドトークンの最適化は SecureConnect ではご利用いただけません。
*** これらのアセットは、プロバイダー側でマテリアライズされ、フィルタリングされます。受信者は、共有ビュー、マテリアライズドビュー、およびストリーミングテーブルの基盤となるデータに直接アクセスできますか？を参照してください。
制限事項：
- アセットはCloudflare R2ストレージにバックアップできません。
- SecureConnectは、SAP HANAを使用して共有データを読み取る受信者には使用できません。これは、SAP HANAがSecureConnectで共有データを配信するために使用するDatabricksの事前署名付きURLをサポートしていないためです。
mTLS サポートや Databricks から Open への共有制限など、受信者側の制限事項については、制限事項を参照してください。
課金
受信者が SecureConnect を通じて共有データにアクセスする場合にプロバイダーにデータ転送（エグレス）の料金が請求されないように、Databricks では SecureConnect ネットワークの課金を導入しています。課金の仕組みについては、OpenSharing SecureConnect のネットワーク課金の拡張を参照してください。