メインコンテンツまでスキップ
非公開のページ
このページは非公開です。 検索対象外となり、このページのリンクに直接アクセスできるユーザーのみに公開されます。
に最終更新

Google APIs へのプライベート接続を構成する

備考

プレビュー

この機能はベータ版です。このベータ版に参加するには、Databricks アカウント チームにお問い合わせください。

注記

現在、Serverless機能に対するネットワーク料金は発生しません。将来のリリースで、料金が発生する可能性があります。Databricksは、ネットワーク価格の変更について事前に通知します。

Databricksのネットワークコストを理解するを参照してください。

Serverless コンピュートは、GCP Private サービス Connect（PSC）を使用して、クラウド StorageやBigQueryなどのGoogle APIsにプライベートに接続できます。この接続は、Databricksアカウントコンソールで構成します。

Serverlessコンピュートのプライベート接続を構成すると、以下が可能になります：

  • 専用のプライベート接続： プライベートEndpointは、お使いのDatabricksアカウント専用であり、承認されたワークスペースからのみアクセス可能です。
  • データ流出対策の強化： Unity Catalogを使用したServerlessコンピュートは、組み込みのデータ流出保護を提供します。Private Service Connectはネットワーク層の制御を追加します。専用のPSC Endpointを VPC Service Controls のサービス境界で許可リストに登録することで、その EndpointからのトラフィックのみがGoogle APIリソースに到達できるように設定できます。

Google APIsへのプライベート接続の仕組み​

Serverless ネットワーク接続は、ネットワーク接続構成（NCC）で管理されます。アカウント管理者はアカウントコンソールで NCC を作成し、1 つの NCC を 1 つ以上のワークスペースにアタッチできます。

Google APIsをターゲットとするプライベートEndpointルールを追加すると、DatabricksはServerlessコンピュートプレーンから指定したGoogle APIsに向けてPrivate サービス Connect Endpointをプロビジョニングします。その後、Databricksはルールに対するPSC endpoint URIを返します。そのURIをVPC Service Controlsの境界にイングレスルールとして追加し、ルールを有効にすることで、それらのGoogle APIsへのServerlessトラフィックがパブリックインターネットではなくGoogle Cloudバックボーン経由でルーティングされるようになります。

NCCの詳細については、Serverless コンピュートプレーンのネットワーキングを参照してください。

要件​

  • NCCにアタッチされているすべてのワークスペースは、Enterpriseプランです。
  • Databricksアカウントの管理者である必要があります。
  • Serverlessコンピュートを使用しているアクティブなワークスペースが少なくとも1つあります。
  • この機能は、Serverlessコンピュートが有効になっているGoogle Cloudリージョンで利用可能です。利用可能な地域が限られている機能を参照してください。NCCはリージョンオブジェクトであり、同じリージョン内のワークスペースにのみアタッチできます。
  • Google APIs プライベートエンドポイントに対する Terraform 自動化サポートはありません。

各Databricksアカウントには、Google Cloud上で以下のクォータが設定されています。

  • 各 NCC は最大 50 個のワークスペースにアタッチできます。
  • 各アカウントには、リージョンごとに最大 10 個の NCC を含めることができます。
  • 各リージョンには最大10個のプライベートEndpointを配置でき、NCC全体に必要に応じて分散させることができます。

プレビューを有効化​

  1. プレビューへのアクセスをリクエストするには、アカウントチームにお問い合わせください。お客様のアカウントチームが承認のためのチケットを提出します。許可リストへの登録には最大7日かかる場合があります。
  2. アカウントの許可リストへの登録が完了したら、アカウント コンソールに移動し、サイドバーで Previews を選択して、 Outbound (serverless) GCP Private Link to Google APIs を有効にします。

プライベート接続を構成する​

アカウントコンソールを使用して、Google APIsへのプライベート接続を構成します。

ネットワーク接続構成を作成する​

使用したい既存のNCCが同じリージョンにある場合は、このステップをスキップできます。

  1. アカウント管理者として、アカウントコンソールに移動します。
  2. サイドバーで、 セキュリティ をクリックします。
  3. Click the Networking tab.
  4. ネットワーク接続構成 で、 ネットワーク接続構成を追加 をクリックします。
  5. NCCの名前を入力してください。
  6. リージョンを選択します。これはワークスペースのリージョンと一致している必要があります。
  7. [ 追加 ] をクリックします。

Google APIs へのプライベートEndpointルールを作成します​

  1. 作成した NCC を選択し、 Private Endpoint rules セクションに移動します。

  2. プライベート Endpoint ルールの追加 をクリックします。

  3. リソースタイプとして Google API を選択します。

  4. ターゲットとする Google APIs を選択します：

    • Cloud Storage や BigQuery などの特定の Google APIs を選択します。
    • または、 すべてのGoogle APIs を選択して、すべてのGoogle APIsに対する包括的なルールを作成します。
    • または、 VPC Service Controls に対応するすべてのサービス を選択して、VPC Service Controls をサポートするすべての Google APIs に対する包括的なルールを作成します。新しいサービスは自動的に検出されます。

  5. [ 追加 ] をクリックします。

PSC Endpoint URIを取得する​

プライベートEndpointのプロビジョニングが完了するまで数分お待ちください。接続ステータスが ESTABLISHED に移行します。ページを更新し、ルールから PSC Endpoint URI をコピーします。

VPC Service Controls 境界で Endpoint を許可リストに追加する​

重要

You perform this step in your own Google Cloud account, not in Databricks.

PSC endpoint URIを、イングレスルールとしてVPC Service Controlsの境界に追加します。Private Service Connect Endpointは、Databricks ServerlessコンピュートからGoogle APIリソースへのアウトバウンド接続です。

ルールを有効にする​

After the Endpoint has access to your リソース within your perimeter, enable the rule.

  1. プライベートEndpointルール セクションで、対象のルールを見つけてケバブメニュー ケバブメニューアイコン。 をクリックします。
  2. ルールを更新 をクリックします。
  3. ルールを有効にする を選択します。
重要

This step routes traffic for the configured Google APIs through Private Service Connect for any workspace attached to the NCC. Before you continue, verify that you have allowlisted the PSC endpoint URI in your VPC Service Controls perimeter.

NCCを1つ以上のワークスペースにアタッチする​

ワークスペースが既にNCCにアタッチされている場合は、このステップをスキップしてください。NCCをワークスペースにアタッチするには：

  1. サイドバーで ワークスペース に移動します。
  2. 既存のワークスペースを選択してください。
  3. [ワークスペースを更新] をクリックします。
  4. ネットワーク接続構成 で、作成した NCC を選択します。
  5. このNCCを適用するすべてのワークスペースに対して繰り返します。

NCCはリージョンオブジェクトであるため、同じリージョン内のワークスペースにのみアタッチできます。

接続の検証​

次の例では、Cloud Storage バケットを外部ロケーションとして登録し、クエリーを実行することで、そのバケットへの接続性をテストします。

  1. バケットを外部ロケーションとして登録します。See 外部ロケーション.

  2. SQLエディターを開き、Serverless SQLウェアハウスをアタッチします。

  3. 以下のクエリーを実行します。

    SQL
    CREATE TABLE {catalog}.{schema}.test_connectivity LOCATION 'gs://{your-gcs-bucket}/test_connectivity'

接続が完全に確立されるまで数分かかる場合があります。

注記

If your network policy restricts external access, direct access to your bucket from a notebook or REPL can fail. Register the bucket as an external location to test connectivity, as shown in the preceding steps. See Manage network policies for serverless egress control.

接続状態​

プライベート Endpoint ルールを作成すると、アカウント コンソールの プライベート Endpoint ルール セクションでその接続状態を表示できます。

  • CREATING：プライベートEndpointを作成中です。
  • PENDING: リソースの承認待ち。
  • ESTABLISHED: リソース上で確立されました。
  • REJECTED: リソース上で却下されました。
  • DISCONNECTED: リソース上で接続が解除されました。
  • EXPIRED：ルールは、REJECTED、DISCONNECTED、またはPENDINGの状態が14日間続いた後に期限切れになりました。

Most changes to private Endpoint rules propagate to Serverless コンピュート within 10 minutes, but can take up to 24 hours to fully apply.

トラブルシューティングとフィードバック​

トラブルシューティングについては、アカウントチームにお問い合わせください。Databricksは、このプレビューに関するフィードバックをアカウントチームを通じて収集しています。将来の機能改善に役立てるため、発生した問題は記録しておいてください。

次のステップ​

このページの見出し