メインコンテンツまでスキップ

ワークスペースの Private サービス Connect を有効にする

このページでは、 Databricks の Private サービス Connect の概要と、 バックエンド のプライベート接続を有効にするための構成手順について説明します。

注記

Databricks アカウント チームに連絡して、ワークスペースで Private Service Connect を有効にするためのアクセスを要求する必要があります。Private サービス Connect を使用したプライベート接続の Databricks サポートが一般提供されています。

この機能には Enterprise レベルが必要です。

プライベート接続の概要​

Private サービス Connect は、 Databricks ワークスペースとユーザーまたはコンピュート リソースとの間の安全でプライベートな接続を可能にし、トラフィックがパブリック インターネットを通過しないようにします。 この機能は、エンドツーエンドのプライベートネットワークを提供し、データ流出のリスクを軽減することで、組織がセキュリティとコンプライアンスの要件を満たすのに役立つように設計されています。

フロントエンドまたはバックエンドの Private サービス Connect は、セキュリティのニーズに応じて個別に実装できます。 ただし、 Databricks がフロントエンドとバックエンドの両方のすべてのパブリック ネットワーク接続を自動的に拒否する、完全なネットワーク分離を実現するには、Private サービス Connect を有効にする必要があります。 この包括的なアプローチにより、エンドツーエンドのプライベートネットワーキングソリューションが作成され、攻撃対象領域が縮小され、機密性の高いワークロードのコンプライアンスがサポートされます。

Private サービス Connect では、次のことができます。

  • Databricks Web アプリケーションまたは API を使用して、承認されていないネットワークやパブリック インターネットからのデータ アクセスを防止します。
  • 承認されたプライベートエンドポイントへのネットワーク露出を制限することで、データ流出のリスクを大幅に低減します。

Private サービス Connect をデプロイするには、次のことを行う必要があります。

  • 顧客管理 を使用する新しい ワークスペースを作成します。DatabricksVPCPrivate サービス Connect 接続は、既存のワークスペースや、 Databricksで管理されている VPCを使用するワークスペースに追加することはできません。
  • 特定の Databricks 構成オブジェクトを作成し、既存の構成を更新して、プライベート アクセス設定と許可された VPC エンドポイントを定義します。「ステップ 3: VPC エンドポイントを作成する」を参照してください。

用語​

このガイドでは、Databricks の構成を説明するために、次の Google Cloud の用語を使用します。

Google と Databricks の用語

説明

Google Cloud : プライベート サービス コネクト(PSC)

VPC ネットワークと Google Cloud サービス間のプライベート接続を提供する Google Cloud の機能。消費者が VPC ネットワーク内からマネージドサービスにプライベートにアクセスできるようにします。 また、VPC と Databricks サービス間のプライベート接続のために Databricks によっても使用されます。

Google Cloud : ホスト プロジェクト

共有 VPC のセットアップでは、これは VPC が作成されるプロジェクトであり、従来のコンピュート プレーン VPC (バックエンド プライベート サービス Connect) とトランジット VPC (フロントエンド プライベート サービス Connect) の両方に使用されます。

Google Cloud : サービス プロジェクト

Shared VPC セットアップでは、これはワークスペース コンピュート リソースを含むプロジェクトです。

Google Cloud : Private サービス Connect エンドポイント or VPC エンドポイント

VPC ネットワークからサービス(Databricks が公開しているサービスなど)へのプライベート接続。GCP では、エンドポイントは、コンシューマ VPC ネットワーク内の内部 IP アドレスであり、そのネットワーク内のクライアントが直接アクセスできます。

Databricks : クライアント

ブラウザ上で Databricks UI にアクセスしているユーザー、または Databricks APIsにアクセスしているアプリケーション クライアント。

Databricks : トランジット VPC

ワークスペース WebApp または VPCにアクセスするクライアントをホストする ネットワーク。DatabricksAPIsGoogle の用語では、これは多くの場合、フロントエンド PSC エンドポイントに使用される VPC です。

Databricks : フロントエンド (ユーザーからワークスペース) Private サービス Connect エンドポイント

トランジット VPC ネットワーク上に構成されたプライベート サービス Connect エンドポイントにより、クライアントは Databricks Web アプリケーションおよび APIにプライベートに接続できます。

Databricks : バックエンド (クラシックコンピュートプレーンからコントロールプレーンまで) Private サービス Connect エンドポイント

Private サービス 顧客管理VPC ネットワーク上のエンドポイントを接続し、従来のコンピュート プレーンと Databricks コントロール プレーン間のプライベート通信を可能にします。

Databricks : クラシックコンピュート プレーン VPC

VPCワークスペースのコンピュート リソースをホストするDatabricks ネットワークで、GCP 組織で構成されています。Google の用語で言えば、これはバックエンドの Private サービス Connect の VPC です。

Databricks : プライベート ワークスペース

クラシック コンピュート プレーン VM にパブリック IP アドレスがないワークスペース。 Databricks コントロールプレーン上のエンドポイントには、承認された VPC ネットワークまたは IP からのみプライベートにアクセスできます。GCPでは、Databricks は デフォルト によってパブリック IP なしでクラスタリングを作成します。

ワークスペースのバックエンド Private サービス Connect を有効にする​

Back-end Private サービス Connect は Databricks 顧客 VPC 内の従来のコンピュート リソースをワークスペース コア サービスに接続します。 クラスタリングは、 Databricks REST APIs で安全なクラスタリング接続リレーのためにコントロールプレーンに接続します。 次のガイドには、Databricks アカウント コンソールまたは API を使用して実行できる構成手順が含まれています。

要件と制限事項​

次の要件と制限が適用されます。

  • 新しいワークスペースのみ : Private サービス Connect 接続を使用して新しいワークスペースを作成できます。 Private サービス Connect 接続を既存のワークスペースに追加することはできません。

  • 顧客管理VPC が必要です : 顧客管理VPCを使用する必要があります。 VPC は Google Cloud コンソールで作成できます。次に、 Databricks アカウントコンソールまたは APIで、 VPC を参照するネットワーク設定を作成し、Private サービス Connect に固有の追加フィールドを設定します。

  • アカウントを有効にする : Databricks では、この機能のアカウントを有効にする必要があります。 1 つ以上のワークスペースで Private サービス Connect を有効にするには、 Databricks アカウント チームに連絡して、アカウントで有効にするようにリクエストしてください。 Google Cloud リージョンと ホスト プロジェクト ID を指定して、Private サービス Connect 接続の割り当てを予約します。 アカウントの Private サービス Connect を有効にしたら、 Databricks アカウント コンソールまたは API を使用して Private サービス Connect オブジェクトを構成し、新しいワークスペースを作成します。

  • クォータ: のホスト プロジェクトごとにリージョンごとに最大 2 つの Private サービス Connect エンドポイント VPC Databricks構成できます。Private サービス Connect エンドポイントはリージョン固有のリソースであるため、同じ VPC とリージョン内の複数の Databricks ワークスペースでこれらのエンドポイントを共有する必要があります。 このクォータにセットアップに制限がある場合は、アカウント チームにお問い合わせください。

  • リージョン間接続なし : Private サービス Connect ワークスペース コンポーネントは、次のような同じリージョンに存在する必要があります。

    • トランジット VPC ネットワークとサブネット
    • ネットワークとサブネット VPC プレーン
    • Databricksワークスペース
    • Private サービス Connect エンドポイント
    • Private サービス Connect エンドポイント サブネット

  • サンプル データセット 。サンプル Unity Catalog データセットと Databricks データセットは、サーバレス コンピュートを使用する場合、または VPC がインターネットアクセスを提供するようにクラウドNAT/プロキシが設定されている場合に利用可能になります。 サンプルデータセットを参照してください。

ネットワークトポロジの複数のオプション​

プライベート Databricks ワークスペースは、次のネットワーク構成オプションを使用してデプロイできます。

  • Databricks ユーザー (クライアント) と Databricks クラシック コンピュート プレーンを同じネットワーク上でホストする : このオプションでは、トランジット プレーン VPC とコンピュート プレーン VPC、同じ基になるVPC ネットワークを参照できます。このトポロジを選択した場合、そのDatabricks から ワークスペースへのすべてのアクセスは、その のフロントエンドVPC PrivateVPC サービス接続を経由する必要があります。「要件と制限事項」を参照してください。
  • Databricks ユーザー (クライアント) と Databricks クラシック コンピュート プレーンを別々のネットワークでホスト する: このオプションでは、ユーザーまたはアプリケーション クライアントは、異なるネットワーク パスを使用して異なるDatabricksワークスペースにアクセスできます。オプションで、トランジット VPC のユーザーが Private サービス Connect 接続を介してプライベートワークスペースにアクセスできるようにしたり、パブリックインターネット上のユーザーがワークスペースにアクセスできるようにしたりできます。
  • Host コンピュート plane for multiple Databricks ワークスペース on the same network : このオプションでは、コンピュート プレーン VPC for multiple Databricks ワークスペースは、同じ基になる VPC ネットワークを参照します。 このようなワークスペースはすべて、同じバックエンドの Private サービス Connect エンドポイントを共有する必要があります。 このデプロイ パターンでは、少数の Private サービス Connect エンドポイントを構成しながら、多数のワークスペースを構成できます。

1 つのトランジット VPC を複数のワークスペースで共有できます。ただし、各トランジット VPC には、フロントエンド Private サービス Connect を使用するワークスペースのみ、またはフロントエンド Private サービス Connect を使用しないワークスペースのみを含める必要があります。 Google Cloud での DNS 解決の仕組みにより、1 つのトランジット VPC で両方のタイプのワークスペースを使用することはできません。

リファレンス・アーキテクチャ​

Databricks ワークスペースのデプロイには、セキュリティで保護できる次のネットワーク パスが含まれています。

  • トランジット VPC 上の Databricks クライアントを Databricks コントロールプレーンに転送します。 これには、Web アプリケーションと REST API アクセスの両方が含まれます。
  • Databricks 古典的なコンピュートプレーン VPC ネットワークを Databricks コントロールプレーンサービスに。 これには、セキュリティで保護されたクラスタリング接続リレーと、 REST API エンドポイントのワークスペース接続が含まれます。
  • Databricks 定番のコンピュートプレーンを Databricks管理プロジェクトのストレージに。
  • Databricks コントロール プレーンをプロジェクト内のストレージに DBFS バケットを含めます。

ファイアウォールなしのアーキテクチャを使用して、送信トラフィックを制限することができます (理想的には外部メタストアを使用します)。パブリック ライブラリ リポジトリへのアウトバウンド トラフィックは Default では不可能ですが、ローカルにミラーリングされた独自のパッケージ リポジトリを持ち込むことができます。

また、ファイアウォール アーキテクチャを使用して、パブリック パッケージ リポジトリとオプションの Databricks マネージド メタストアへのエグレスを許可することもできます。

地域別サービス添付資料参照​

Private サービス Connect を有効にするには、リージョンの次のエンドポイントのサービス添付ファイル URI が必要です。

  • ワークスペースのエンドポイント。 これは、接尾辞 plproxy-psc-endpoint-all-portsで終わります。 これには 2 つの役割があります。 これは、バックエンドの Private サービス Connect が REST APIのコントロール プレーンに接続するために使用されます。 これは、フロントエンドの Private サービス Connect で、トランジット VPC ワークスペース Web アプリケーションと REST APIに接続するためにも使用されます。
  • セキュリティで保護されたクラスタリング接続 (SCC) リレー エンドポイント 。 これは、接尾辞 ngrok-psc-endpointで終わります。これは、バックエンドの Private サービス Connect にのみ使用されます。 これは、セキュア クラスタリング接続 (SCC) リレーのコントロール プレーンに接続します。

リージョンのワークスペース エンドポイントと SCC リレー エンドポイント サービス添付ファイル URI を取得するには、「 Private サービス Connect (PSC) 添付ファイル URI とプロジェクト番号」を参照してください。

ステップ1:アカウントをPrivate Service Connectに有効にする​

Google Cloud プロジェクトからのプライベート サービス コネクト接続を受け入れる Databricks 、 Databricks アカウント チームに連絡し、プライベート サービス コネクトを有効にするワークスペースごとに次の情報を提供する必要があります。

  • DatabricksアカウントID

    1. アカウント管理者として、 Databricks アカウント コンソールにログインします。
    2. 右上隅にあるユーザー名の横にある下矢印をクリックします
    3. メニューで、コピーアイコンをクリックしてアカウントIDをコピーします。

  • VPC コンピュート プレーン VPC のホスト プロジェクト ID、バックエンド プライベート サービス コネクトを有効にする場合

  • VPC トランジット VPC のホスト プロジェクト ID、フロントエンド Private サービス Connect を有効にする場合

  • ワークスペースのリージョン

important

Databricks担当者は、Google Cloud プロジェクトからのプライベート サービス Connect 接続を受け入れるように設定されるとDatabricks確認の返信をします。これには最大3営業日かかる場合があります。

ステップ 2: サブネットを作成する​

従来のコンピュート プレーン VPC ネットワークで、Private サービス Connect エンドポイント専用の サブネット を作成します。 次の手順では Google Cloud コンソールの使用を前提としていますが、 gcloud CLI を使用して同様のタスクを実行することもできます。

サブネットを作成するには:

  1. Google Cloud Cloud コンソールで、 VPC リストページに移動します。

  2. [ サブネットの追加 ] をクリックします。

  3. 名前、説明、および地域を設定します。

  4. [Purpose ] フィールドが表示されている場合 (表示されない場合があります)、[ None] を選択します。

  5. サブネットのプライベート IP 範囲 ( 10.0.0.0/24など) を設定します。

important

IP範囲は、次のいずれかで重複することはできません。

  • BYO VPC のサブネット。

  • Private サービス Connect エンドポイントを保持するサブネット。

  1. サブネットが VPC の Google Cloud コンソールの VPC ビューに追加されたことを確認します。

ステップ 3: VPC エンドポイントを作成する​

Databricks サービスのアタッチメントに接続する VPC エンドポイントを作成する必要があります。サービス添付ファイルの URI は、ワークスペースのリージョンによって異なります。次の手順では Google Cloud コンソールの使用を前提としていますが、 gcloud CLI を使用して同様のタスクを実行することもできます。gcloud CLI または API を使用してサービスアタッチメントへの VPC エンドポイントを作成する手順については、この Google Cloud Platform の記事を参照してください。

作成したサブネットで、クラシック コンピュート プレーン VPCから次のサービス アタッチメントへのVPCエンドポイントを作成します。

  • ワークスペースのエンドポイント。 これは、接尾辞 plproxy-psc-endpoint-all-portsで終わります。
  • セキュリティで保護されたクラスター接続リレー エンドポイント。 これはサフィックスで終わります ngrok-psc-endpoint

Google Cloud コンソールで VPC エンドポイントを作成するには:

  1. Private サービス Connect に移動します。

  2. [接続されたエンドポイント ] タブをクリックします。

  3. [ + エンドポイントの接続 ] をクリックします。

  4. 「ターゲット 」で、「 公開済みサービス 」を選択します。

  5. [ターゲット サービス ] に、サービス添付ファイルの URI を入力します。

important

ワークスペース リージョンの 2 つの Databricks サービス添付ファイル URI を取得するには、「 リージョン サービス添付ファイル リファレンス 」の表を参照してください。

  1. エンドポイント名には、エンドポイントに使用する名前を入力します。

  2. エンドポイントの VPC ネットワークを選択します。

  3. エンドポイントのサブネットを選択します。 Private サービス コネクト エンドポイント用に作成したサブネットを指定します。

  4. エンドポイントの IP アドレスを選択します。 新しいIPアドレスが必要な場合:

    1. [IP アドレス ] ドロップダウン メニューをクリックし、[ IP アドレスの作成 ] を選択します。
    2. 名前と説明(オプション)を入力します。
    3. 静的 IP アドレスの場合は、[ 自動的に割り当てる ] または [ 自分で選択させる ] を選択します。
    4. [自分で選択] を選択した場合は、カスタム IP アドレスを入力します。
    5. 「予約」 をクリックします。

  5. ドロップダウンリストからネームスペースを選択するか、新しいネームスペースを作成します。 領域は、選択したサブネットワークに基づいて設定されます。

  6. [エンドポイントの追加] をクリックします。

ステップ 4: VPC エンドポイントを登録する​

Google Cloud エンドポイントを登録する Databricks アカウント コンソールを使用します。 VPC エンドポイント設定 API を使用することもできます。

  1. Databricks アカウント コンソールに移動します。

  2. [ クラウドリソース ] タブをクリックし、[ VPC エンドポイント] をクリックします。

  3. [ エンドポイント VPC 登録する ] をクリックします。

  4. Private サービス Connect エンドポイントごとに、新しい VPC エンドポイントを登録するための必須フィールドに入力します。

    • VPC エンドポイント名 : VPC エンドポイントを識別するための人間が判読できる名前。Databricks では、Private サービス Connect エンドポイント ID と同じ名前を使用することをお勧めしますが、これらが一致している必要はありません。
    • リージョン : この Private サービス Connect エンドポイントが定義されている Google Cloud リージョン。
    • Google Cloud VPC ネットワーク プロジェクト ID : このエンドポイントが定義されている Google Cloud プロジェクト ID。 バックエンド接続の場合、これはワークスペースの VPC ネットワークのプロジェクト ID です。 フロントエンド接続の場合、これはユーザー接続の起点となる VPC のプロジェクト ID であり、トランジット VPC と呼ばれることもあります。

次の表は、バックエンドとフロントエンドの両方の Private サービス Connect を使用している場合に、各エンドポイントで使用する必要がある情報を示しています。

エンドポイントの種類

フィールド

例

Back-end classic コンピュート plane VPC REST/ワークスペース endpoint (plproxy-psc-endpoint-all-ports)

VPC エンドポイント名 (Databricks では Google Cloud エンドポイント ID を一致させることをお勧めします)

psc-demo-dp-rest-api

Google Cloud VPCネットワークのプロジェクトID

databricks-dev-xpn-host

Google Cloud リージョン

us-east4

バックエンドクラシックコンピュートプレーン VPC SCCリレーエンドポイント(psc-demo-dp-ngrok)

VPC エンドポイント名 (Databricks では Google Cloud エンドポイント ID を一致させることをお勧めします)

psc-demo-dp-ngrok

Google Cloud VPCネットワークのプロジェクトID

databricks-dev-xpn-host

Google Cloud リージョン

us-east4

完了したら、アカウントコンソールの VPC エンドポイントリストを使用して、エンドポイントのリストを確認し、情報を確認できます。 一般的には、次のようになります。

手順 5: Databricks のプライベート アクセス設定オブジェクトを作成する​

ワークスペースのいくつかの Private Service Connect 設定を定義するプライベート アクセス設定オブジェクトを作成します。 このオブジェクトはワークスペースにアタッチされます。1 つのプライベート アクセス設定オブジェクトを、同じリージョン内の複数のワークスペースにアタッチできます。プライベートアクセス設定オブジェクトを作成するには、「 プライベートアクセス設定オブジェクトの作成」を参照してください。

ステップ 6: ネットワーク構成を作成する​

Databricksワークスペースの顧客管理 に関する情報をカプセル化するVPC ネットワーク構成を作成します。このオブジェクトはワークスペースにアタッチされます。ネットワーク構成 API を使用することもできます。

  1. Databricks アカウント コンソールに移動します。
  2. 「 クラウドリソース 」タブをクリックし、「 ネットワーク設定 」をクリックします。
  3. [ネットワーク設定の追加 ] をクリックします。

次の表に、各エンドポイントで使用する必要がある情報を示します。

フィールド

値の例

ネットワーク設定名

psc-demo-network

ネットワーク GCP プロジェクト ID

databricks-dev-xpn-host

VPC名

psc-demo-dp-vpc

サブネット名

subnet-psc-demo-dp-vpc

サブネットのリージョン

us-east4

セキュアなクラスター接続を中継するためのVPCエンドポイント

psc-demo-dp-ngrok

VPCのRESTAPI エンドポイント (ワークスペースへのバックエンド接続)

psc-demo-dp-rest-api

ステップ 7: ワークスペースを作成する​

アカウントコンソールを使用して作成したネットワーク設定を使用してワークスペースを作成します。ワークスペース APIを使用することもできます。

  1. Databricks アカウント コンソールに移動します。

  2. 「 ワークスペース」 タブをクリックします。

  3. [ ワークスペースの作成 ] をクリックします。

  4. 次の標準ワークスペース フィールドを設定します。

    • ワークスペース名
    • リージョン
    • Google Cloud プロジェクト ID(ワークスペースのコンピュート リソースのプロジェクトで、 VPCのプロジェクト ID とは異なる場合があります)。

  5. Private サービス Connect 固有のフィールドを設定します。

    1. [詳細設定 ] をクリックします。
    2. [ ネットワーク設定 ] フィールドで、前の手順で作成したネットワーク設定を選択します。
    3. [ プライベート接続 ] フィールドで、前のステップで作成したプライベートアクセス設定オブジェクトを選択します。 1 つのプライベート アクセス設定オブジェクトを複数のワークスペースにアタッチできることに注意してください。

  6. [ 保存 ]をクリックします。

手順 8: ワークスペースの構成を検証する​

ワークスペースを作成したら、ワークスペース ページに戻り、新しく作成したワークスペースを見つけます。 通常、ワークスペースが PROVISIONING 状態から RUNNING 状態に移行するには、30 秒から 3 分かかります。 ステータスが RUNNINGに変わったら、ワークスペースは正常に構成されています。

Databricks アカウント コンソールを使用して構成を検証できます。

  1. [クラウドリソース ]、[ ネットワーク設定 ]の順にクリックします。アカウントコンソールを使用して、VPC のネットワーク設定を見つけます。 それを確認して、すべてのフィールドが正しいことを確認します。
  2. [ワークスペース ] をクリックし、ワークスペースを見つけます。ワークスペースが実行されていることを確認します。
ヒント

API を使用してワークスペースのセットを確認する場合は、https://accounts.gcp.databricks.com/api/2.0/accounts/<account-id>/workspaces エンドポイントに対してGET要求を行います。

ステップ 9: DNS を構成する​

このセクションでは、従来のコンピュート プレーン VPC ネットワークを含むプライベート DNS ゾーンを作成する方法について説明します。 ワークスペース URL を plproxy-psc-endpoint-all-ports Private サービス Connect エンドポイント IP にマップする DNS レコードを作成する必要があります。

  1. デプロイした Databricks ワークスペースのワークスペース URL があることを確認します。URL の形式は https://33333333333333.3.gcp.databricks.comと似ています。この URL は、ワークスペースを表示しているときに Web ブラウザーから取得するか、ワークスペースの一覧の アカウント コンソール から取得できます。

  2. plproxy-psc-endpoint-all-ports Private サービス Connect エンドポイントの Private サービス Connect エンドポイント IP を見つけます。この例では、Private サービス Connect エンドポイント psc-demo-dp-rest-api の IP は 10.10.0.2です。

  3. 次の A レコードマッピングを作成します。

    • ワークスペース ドメイン ( 33333333333333.3.gcp.databricks.comなど) を 10.10.0.2
    • プレフィックスが dp-のワークスペース ドメイン ( dp-33333333333333.3.gcp.databricks.comなど) を 10.10.0.2

  4. gcp.databricks.comの同じゾーンで、プライベート DNS レコードを作成し、エンドポイント IP を使用して SCC リレー URL を SCC リレー エンドポイント ngrok-psc-endpoint にマッピングします。

    1. SCC リレー URL の形式は tunnel.<workspace-gcp-region>.gcp.databricks.comです。 この例では、SCC リレー URL は tunnel.us-east4.gcp.databricks.comです。
    2. ngrok-psc-endpoint Private サービス Connect エンドポイントの Private サービス Connect エンドポイント IP を見つけます。この例では、Private サービス Connect エンドポイント psc-demo-dp-ngrok の IP は 10.10.0.3です。
    3. Aレコードを作成して、tunnel.us-east4.gcp.databricks.comを10.10.0.3にマッピングします。

DNS 設定の検証​

VPC ネットワークで、DNS 構成を確認します。

従来のコンピュート プレーン VPC ネットワークで、 nslookup ツールを使用して、次の URL が正しいプライベート サービス コネクト エンドポイント IP に解決されることを確認します

  • <workspace-url> は、名前に plproxy-psc-endpoint-all-ports が含まれるエンドポイントの Private サービス Connect エンドポイント IP にマップされます。
  • dp-<workspace-url> は、名前に plproxy-psc-endpoint-all-ports が含まれるエンドポイントの Private サービス Connect エンドポイント IP にマップされます。
  • tunnel.<workspace-gcp-region>.gcp.databricks.com は、名前に ngrok-psc-endpoint が含まれるエンドポイントの Private サービス Connect エンドポイント IP にマップされます。

Private サービスコネクトの中間 DNS 名​

バックエンドまたはフロントエンドの Private サービス Connect を有効にするワークスペースの中間 DNS 名は <workspace-gcp-region>.psc.gcp.databricks.comです。 これにより、アクセスする必要があるワークスペースのトラフィックを、アカウント コンソールなど、Private サービス Connect をサポートしていない他の Databricks サービスから分離できます。

手順 10 (省略可能): メタストア アクセスを構成する​

SQLアクセス制御リスト (ACL) などの機能には、従来のワークスペース レベルのHive metastoreへのアクセスが必要です。デフォルトでは、コンピュートプレーン VPC は公開インターネットにアクセスできないため、メタストアにアクセスできる Cloud NAT を作成する必要があります。「 リージョン別のコントロール プレーン サービス エンドポイントの IP アドレス」を参照してください。

さらに、ファイアウォールを設定して、他のすべてのソースからのイングレス トラフィックとエグレス トラフィックを防ぐことができます。または、VPC の Cloud NAT を構成したくない場合は、外部メタストアへのプライベート接続を構成することもできます。

ステップ 11 (オプション): IP アクセスリストの設定​

re[PSC] ワークスペースへのフロントエンド接続は、デフォルトでパブリックアクセスを許可します。公開アクセスを制御するには、非公開アクセス設定オブジェクトを作成します。

パブリック アクセスを管理するには、次の手順に従います。

  1. パブリックアクセスを決定します。
  • パブリックアクセスを拒否する : ワークスペースへのパブリック接続は許可されません。
  • パブリックアクセスを許可する : IPアクセスリストを使用して、アクセスをさらに制限できます。
  1. パブリック アクセスを許可する場合は、IP アクセス リストを設定します。
  • IP アクセス リストを設定して 、Databricks ワークスペースにアクセスできるパブリック IP アドレスを制御します。
  • IP アクセス リストは、インターネット経由のパブリック IP アドレスからの要求にのみ影響します。Private サービス Connect からのプライベートトラフィックはブロックされません。
  1. すべてのインターネットアクセスをブロックするには:
注記

IPアクセスリストは、Private Service Connectで接続している VPC ネットワークからのリクエストには影響しません。 これらの接続は、Private サービス Connect のアクセスレベル設定を使用して管理されます。 「手順 5: Databricks プライベート アクセス設定オブジェクトを作成する」を参照してください。

ステップ 12 (オプション): VPC Service Controls を構成する​

Private サービス Connect を使用して Databricks サービスにプライベートに接続するだけでなく、トラフィックをプライベートに保ち、データ流出のリスクを軽減するように VPC Service Controls を構成できます。

コンピュート プレーン VPC から Cloud Storage へのバックエンド プライベート アクセスを構成する​

「限定公開 Google アクセス」または「非公開サービス コネクト」を設定すると、コンピュートプレーン VPCからクラウドストレージリソースにプライベートアクセスすることができます。

コンピュートプレーンプロジェクトを VPC Service Controls サービス境界に追加する​

Databricks ワークスペースごとに、次の Google Cloud プロジェクトを VPC Service Controls サービス境界に追加できます。

  • コンピュートプレーン VPC ホストプロジェクト
  • ワークスペースのストレージバケットを含むプロジェクト
  • ワークスペースのコンピュート リソースを含むサービス プロジェクト

この設定では、次の両方にアクセス権を付与する必要があります。

  • Databricks コントロール プレーンからのコンピュート リソース バケットとワークスペース ストレージ バケット
  • Databricksコンピュートプレーン からの 管理ストレージバケットVPC

イングレス ルール​

Databricks コントロールプレーン VPC から VPC Service Controls サービス境界へのアクセスを許可するには、イングレスルールを追加する必要があります。

次に、イングレス ルールの例を示します。

From:
      Identities: ANY_IDENTITY
      Source > Projects =
        <regional-control-plane-vpc-host-project-number-1>
        <regional-control-plane-vpc-host-project-number-2>
        <regional-control-plane-uc-project-number>
        <regional-control-plane-audit-log-delivery-project-number>
To:
      Projects =
         <list of compute plane Project Ids>
      Services =
         Service name: storage.googleapis.com
         Service methods: All actions
         Service name: compute.googleapis.com
         Service methods: All actions
         Service name: container.googleapis.com
         Service methods: All actions
         Service name: logging.googleapis.com
         Service methods: All actions
         Service name: cloudresourcemanager.googleapis.com
         Service methods: All actions
         Service name: iam.googleapis.com
         Service methods: All actions

イングレス ルールのプロジェクト番号を取得するには、「 Private サービス Connect (PSC) 添付ファイルの URI とプロジェクト番号」を参照してください。

エグレス ルール​

DatabricksVPCで管理されるストレージバケットへのアクセスを許可するには、エグレスルールを追加する必要があります。次に、出力ルールの例を示します。

From:
      Identities: ANY_IDENTITY
To:
      Projects =
        <regional-control-plane-asset-project-number>
        <regional-control-plane-vpc-host-project-number-1>
        <regional-control-plane-vpc-host-project-number-2>
      Services =
        Service name: storage.googleapis.com
        Service methods: All actions
        Service name: artifactregistry.googleapis.com
        Service methods:
           artifactregistry.googleapis.com/DockerRead'

エグレスルールのプロジェクト番号を取得するには、「 Private サービス接続 (PSC) アタッチメント URI とプロジェクト番号」を参照してください。

VPC Service Controls によって保護されたデータレイク ストレージ バケットにアクセスする​

データレイク ストレージ バケットを含む Google Cloud プロジェクトを VPC Service Controls サービス境界に追加できます。

データレイク ストレージ バケットと Databricks ワークスペース プロジェクトが同じ VPC Service Controls サービス境界にある場合、追加のイングレス ルールまたはエグレス ルールは必要ありません。

データレイク ストレージ バケットが別の VPC Service Controls サービス境界にある場合は、次のように設定する必要があります。

  • データレイクサービス境界のイングレスルール:

    • DatabricksコンピュートプレーンVPCからCloud Storageへのアクセスを許可する
    • リージョン ページに記載されているプロジェクト ID を使用して、Databricks コントロール プレーン VPC から Cloud Storage へのアクセスを許可します。このアクセスは、 Databricks が Unity Catalogなどの新しいデータガバナンス機能を導入する際に必要になります。

  • Egress rules on Databricks コンピュート プレーン サービス境界:

    • データレイク プロジェクト上の Cloud Storage への下り(外向き)を許可する
に最終更新