ネットワーキング

この記事では、Databricks アカウントとワークスペースのデプロイと管理のためのネットワーク構成について説明します。

注記

サーバレスワークロードが顧客リソースに接続する際のネットワークコストのDatabricks請求。サーバ レス ネットワーク コスト Databricks 理解するを参照してください。

Databricks アーキテクチャの概要

Databricks は、 コントロールプレーン と コンピュートプレーン から動作します。

• コントロールプレーン には、DatabricksアカウントでDatabricksが管理するバックエンドサービスが含まれます。 Webアプリケーションはコントロールプレーンにあります。
• コンピュートプレーン は、データが処理される場所です。 使用するコンピュートに応じた2 種類のコンピュートプレーンが存在します。
  • Databricksクラシック コンピュートの場合、コンピュート リソースは 、クラシックAWS コンピュートプレーン と呼ばれる アカウントにあります。これは、AWS アカウント のネットワークとそのリソースを指します。Classic コンピュート plane リソースは、ワークスペースがあるリージョンにあります。
  • サーバレス コンピュートの場合、サーバレス コンピュート リソース は、お客様のDatabricksアカウントの サーバレス コンピュート plane で実行されます。サーバレス コンピュート plane リソースは、ワークスペースの従来のコンピュート plane と同じクラウド リージョンにあります。 このリージョンは、ワークスペースの作成時に選択します。

classic コンピュートとサーバレス コンピュートの詳細については、「 コンピュート」を参照してください。 その他のアーキテクチャ情報については、「 高レベルのアーキテクチャ」を参照してください。

安全なネットワーク接続

Databricks はデフォルトで安全なネットワーク環境を提供しますが、組織に追加のニーズがある場合は、次の図に示すさまざまなネットワーク接続間でネットワーク接続機能を構成できます。

1. Databricks へのユーザーとアプリケーション : アクセスを制御し、ユーザーと Databricks ワークスペース間のプライベート接続を提供する機能を構成できます。 ユーザーからDatabricksへのネットワーキングを参照してください。
2. コントロール プレーンとクラシック コンピュート プレーン : クラシック コンピュート リソース(クラスターなど)は、 あなたの AWS アカウント に展開され、コントロール プレーンに接続します。 クラシック・ネットワーク接続機能を使用して、独自の仮想プライベート・クラウドにクラシック・コンピュート・プレーン・リソースをデプロイし、クラスターからコントロール・プレーンへのプライベート接続を有効にすることができます。「クラシック コンピュート プレーン ネットワーク」を参照してください。
3. サーバレス コンピュート プレーンとストレージ :リソースでファイアウォールを設定して、Databricksサーバレス コンピュート プレーンからのアクセスを許可できます。 サーバレス コンピュートプレーンのネットワーキングを参照してください。

AWSストレージネットワーク機能を設定して、従来のコンピュートプレーンとS3の間の接続を保護できます。詳細については、Databricks S3 コミット サービス関連の設定を構成するおよびレイクハウスフェデレーションのネットワークに関する推奨事項を参照してください。

コントロール プレーンとサーバレス コンピュート プレーン間の接続は、パブリック インターネットではなく、常にクラウド ネットワーク バックボーン経由で行われます。

始めましょう

Databricks ネットワーク アーキテクチャを理解し、主要な概念を探ります。

• • Databricks アーキテクチャの概要
  • Databricksネットワーキングの基盤を形成するコントロール プレーンとコンピュート プレーンのアーキテクチャについて学びます。
• • AWS PrivateLink
  • セキュリティを強化するために、AWS PrivateLink を使用してネットワークと Databricks の間にプライベート接続を確立します。
• • データ転送と接続コストを理解する
  • データ転送の価格について理解し、ネットワーク接続機能のコストを最適化します。

接続性

ワークスペースへの受信アクセスとコンピュート リソースからの送信接続のための安全なネットワーク接続を構成します。

• • フロントエンドネットワーク
  • Web インターフェイスとAPIsを介してDatabricksワークスペースに接続するユーザーのネットワーク アクセス制御を構成します。
• • フロントエンドPrivateLink
  • AWS PrivateLink を使用して、企業ネットワークから Databricks ワークスペースへのプライベート接続を有効にします。
• • サーバーレスコンピュートプレーンネットワーキング
  • サーバレス コンピュート リソースとデータ ソースおよびサービスの間の安全なネットワーク アクセスを構成します。
• • AWS リソースへのプライベート接続
  • サーバーレス コンピュートからS3 、DynamoDB、RDS などのAWSサービスへのプライベート接続を確立します。
• • VPC 内のリソースへのプライベート接続
  • プライベート エンドポイントを使用して、サーバーレス コンピュートを独自のVPCで実行されているリソースに接続します。
• • プライベートエンドポイントルールを管理する
  • サーバレス コンピュート接続のためのプライベート エンドポイント ルールを構成および管理します。
• • クラシックコンピュートプレーンネットワーク
  • 仮想ネットワークにデプロイされたクラシック コンピュート リソースのネットワーク オプションについて説明します。
• • 顧客管理VPCにDatabricksをデプロイする
  • ネットワーク制御を強化するために、独自の AWS VPC で Databricks クラスターをホストします。
• • VPCピアリング
  • 追加のリソースにアクセスするには、Databricks VPC を AWS アカウント内の他の VPC に接続します。
• • バックエンドPrivateLink
  • クラシック コンピュート リソースとDatabricksコントロール プレーン間のプライベート接続を確立します。
• • プライベートアクセス設定を管理する
  • ワークスペースの展開のために、アカウント レベルでプライベート接続設定を構成します。
• • VPCエンドポイント登録を管理する
  • Databricksサービスへのプライベート接続のためのVPCエンドポイントを登録し、管理します。
• • Databricks S3コミットサービス関連の設定
  • Databricks S3 コミット サービスのネットワーク構成を使用して、S3 書き込み操作を最適化します。

ネットワークセキュリティ

ネットワーク アクセスを制限および監視するためのセキュリティ制御を実装します。

• • サーバレス下り制御とは何ですか?
  • サーバーレス コンピュート リソースからのアウトバウンド ネットワーク接続を制限して、データ漏洩を防止し、コンプライアンスを強制します。
• • サーバーレス下り制御のためのネットワークポリシーを管理する
  • サーバレス コンピュートからの許可された出力接続を定義するネットワーク ポリシーを作成および管理します。
• • IPアクセスリストの概要
  • IP アクセス リストを使用して、Databricks ワークスペースにアクセスできる IP アドレスを制御する方法を学習します。
• • ワークスペースのIPアクセスリスト
  • 承認されたネットワークからのアクセスを制限するために、ワークスペース レベルの IP アクセス制御を構成します。
• • アカウントコンソールのIPアクセスリスト
  • 集中的なセキュリティ管理のために、複数のワークスペースに適用されるアカウント レベルの IP 制限を設定します。
• • サーバレスコンピュートアクセス用のファイアウォールを設定する
  • 安定した IP アドレスを使用して、サーバレス コンピュート接続用のファイアウォール ルールを構成します。
• • ドメイン名のファイアウォールルール
  • ドメインベースのファイアウォール ルールを構成して、ネットワーク セキュリティ コントロールを介して Databricks サービスを許可します。