ネットワーキング

この記事では、Databricks アカウントとワークスペースのデプロイと管理のためのネットワーク構成について説明します。

注記

現在、サーバレス機能にはネットワーク料金はかかりません。 それ以降のリリースでは、課金される場合があります。 Databricks は、ネットワーキングの価格変更について事前に通知します。

Databricks サーバレスのネットワーク・コストについてを参照してください。

Databricks アーキテクチャの概要

Databricks は、 コントロールプレーン と コンピュートプレーン から動作します。

• コントロールプレーン には、DatabricksアカウントでDatabricksが管理するバックエンドサービスが含まれます。 Webアプリケーションはコントロールプレーンにあります。
• コンピュートプレーン は、データが処理される場所です。 使用するコンピュートに応じた2 種類のコンピュートプレーンが存在します。
  • クラシック Databricks コンピュートの場合、コンピュート リソースは Google Cloud リソース内の クラシック コンピュートプレーン 内にあります。 これは、Google Cloud リソースとそのリソース内のネットワークを指します。Classic コンピュート plane リソースは、ワークスペースがあるリージョンにあります。
  • サーバレス コンピュートの場合、サーバレス コンピュート リソース は、お客様のDatabricksアカウントの サーバレス コンピュート plane で実行されます。サーバレス コンピュート plane リソースは、ワークスペースの従来のコンピュート plane と同じクラウド リージョンにあります。 このリージョンは、ワークスペースの作成時に選択します。

classic コンピュートとサーバレス コンピュートの詳細については、「 コンピュート」を参照してください。 その他のアーキテクチャ情報については、「 高レベルのアーキテクチャ」を参照してください。

安全なネットワーク接続

Databricks はデフォルトで安全なネットワーク環境を提供しますが、組織に追加のニーズがある場合は、次の図に示すさまざまなネットワーク接続間でネットワーク接続機能を構成できます。

1. Databricks へのユーザーとアプリケーション : アクセスを制御し、ユーザーと Databricks ワークスペース間のプライベート接続を提供する機能を構成できます。 ユーザーからDatabricksへのネットワーキングを参照してください。
2. コントロール プレーンとクラシック コンピュート プレーン : クラシック コンピュート リソース(クラスターなど)は、 Google クラウド リソースにデプロイされ、コントロール プレーンに接続されます。 クラシック・ネットワーク接続機能を使用して、独自の仮想プライベート・クラウドにクラシック・コンピュート・プレーン・リソースをデプロイし、クラスターからコントロール・プレーンへのプライベート接続を有効にすることができます。「クラシック コンピュート プレーン ネットワーク」を参照してください。
3. サーバレス コンピュート プレーンとストレージ :リソースでファイアウォールを設定して、Databricksサーバレス コンピュート プレーンからのアクセスを許可できます。 サーバレス コンピュートプレーンのネットワーキングを参照してください。

GCPストレージネットワーク機能を設定して、コンピュートプレーンとGoogle Cloud Storageの間の接続を保護できます。詳細については、「 レイクハウスフェデレーションのネットワークに関する推奨事項」を参照してください。

コントロール プレーンとサーバレス コンピュート プレーン間の接続は、パブリック インターネットではなく、常にクラウド ネットワーク バックボーン経由で行われます。

始めましょう

Databricks ネットワーク アーキテクチャを理解し、主要な概念を探ります。

• • Databricks アーキテクチャの概要
  • Databricksネットワーキングの基盤を形成するコントロール プレーンとコンピュート プレーンのアーキテクチャについて学びます。
• • プライベートサービスコネクト
  • セキュリティを強化するために、Private Services Connect を使用して、ネットワークとDatabricksの間にプライベート接続を確立します。
• • データ転送と接続コストを理解する
  • データ転送の価格について理解し、ネットワーク接続機能のコストを最適化します。

接続性

ワークスペースへの受信アクセスとコンピュート リソースからの送信接続のための安全なネットワーク接続を構成します。

• • フロントエンドネットワーク
  • Web インターフェイスとAPIsを介してDatabricksワークスペースに接続するユーザーのネットワーク アクセス制御を構成します。
• • フロントエンドPrivateLink
  • Private Service Connect を使用して、企業ネットワークからDatabricksワークスペースへのプライベート接続を有効にします。
• • サーバーレスコンピュートプレーンネットワーキング
  • サーバレス コンピュート リソースとデータ ソースおよびサービスの間の安全なネットワーク アクセスを構成します。
• • クラシックコンピュートプレーンネットワーク
  • 仮想ネットワークにデプロイされたクラシック コンピュート リソースのネットワーク オプションについて説明します。
• • 顧客管理VPCにDatabricksをデプロイする
  • ネットワーク制御を強化するには、独自の Google クラウドVPCでDatabricksクラスターをホストします。
• • バックエンドプライベートサービス接続
  • クラシック コンピュート リソースとDatabricksコントロール プレーン間のプライベート接続を確立します。
• • プライベートアクセス設定を管理する
  • ワークスペースの展開のために、アカウント レベルでプライベート接続設定を構成します。

ネットワークセキュリティ

ネットワーク アクセスを制限および監視するためのセキュリティ制御を実装します。

• • サーバレス下り制御とは何ですか?
  • サーバーレス コンピュート リソースからのアウトバウンド ネットワーク接続を制限して、データ漏洩を防止し、コンプライアンスを強制します。
• • サーバーレス下り制御のためのネットワークポリシーを管理する
  • サーバレス コンピュートからの許可された出力接続を定義するネットワーク ポリシーを作成および管理します。
• • IPアクセスリストの概要
  • IP アクセス リストを使用して、Databricks ワークスペースにアクセスできる IP アドレスを制御する方法を学習します。
• • ワークスペースのIPアクセスリスト
  • 承認されたネットワークからのアクセスを制限するために、ワークスペース レベルの IP アクセス制御を構成します。
• • アカウントコンソールのIPアクセスリスト
  • 集中的なセキュリティ管理のために、複数のワークスペースに適用されるアカウント レベルの IP 制限を設定します。
• • ファイアウォールを使用してワークスペースのネットワークエグレスを制限する
  • クラシック コンピュート リソースからの送信トラフィックを制御するファイアウォール ルールを構成します。
• • ドメイン名のファイアウォールルール
  • ドメインベースのファイアウォール ルールを構成して、ネットワーク セキュリティ コントロールを介して Databricks サービスを許可します。