クラシック コンピュート プレーン ネットワーキング
この記事では、 Databricks コントロール プレーンと従来のコンピュート プレーン間のネットワーク アクセスをカスタマイズする機能について説明します。 コントロール プレーンとサーバレス コンピュート プレーン間の接続は、パブリック インターネットではなく、常にクラウド ネットワーク バックボーン経由で行われます。
コントロールプレーンとコンピュートプレーンの詳細については、アーキテクチャの概要Databricksを参照してください。
クラシック コンピュートとサーバレス コンピュートの詳細については、 コンピュートの種類を参照してください。
このセクションの機能は、 Databricks コントロール プレーンと従来のコンピュート プレーン間の接続の確立と保護に重点を置いています。 この接続には、次の図の 2 というラベルが付けられています。
セキュアなクラスター接続とは?
すべての新しいワークスペースは、デフォルトによる安全なクラスター接続を使用して作成されます。 セキュアなクラスター接続とは、顧客 VPC にはオープンポートがなく、クラシックコンピュートプレーンリソースにはパブリック IP アドレスがないことを意味します。 これにより、セキュリティグループやネットワークピアリングでポートを設定する必要がなくなり、ネットワーク管理が簡素化されます。
セキュアなクラスター接続により、クラスター・ノード上のパブリックIPアドレスを必要とせずに、HTTPS(ポート443)を使用したセキュア・トンネルを介してクラスターが Databricks コントロール・プレーンに接続できるようになります。 この接続は、セキュリティで保護されたクラスター接続リレーを使用して確立され、Web アプリケーションと REST API のネットワーク トラフィックをクラスター管理タスクから分離します。
サーバレス コンピュート プレーンはクラシック コンピュート プレーンのセキュア クラスター接続リレーを使用しませんが、サーバレス コンピュート リソースにはパブリック IP アドレスがありません。
デフォルトにより、安全なクラスター接続が有効になります。 ワークスペースの作成時に [ Enable private clustering ] 設定をオフにすると、ワークスペースは公開 GKE クラスターを使用し、セキュア クラスター接続は無効になります。
アカウントには、GKE(Kubernetes)クラスター制御用の公開 IP アドレスが 1 つあり、GKE は GKE kube-masterと呼ばれます。 この kube-master は、Google Cloud のデフォルトの GKE デプロイの一部です。 そのIPアドレスはGoogle Cloudアカウントにありますが、従来のコンピュートプレーン VPCにはありません。 この IP アドレスは GKE によって管理され、Databricks コントロール プレーンからのトラフィックのみを許可するファイアウォール ルールがあります。
独自の VPC にワークスペースをデプロイする
Google Cloud Virtual Private Cloud(VPC)を使用すると、Google Cloud の論理的に分離されたセクションをプロビジョニングして、仮想ネットワークで GCP リソースを起動できます。 VPCは、Databricks クラスターのネットワーク場所です。By デフォルト,Databricks VPCDatabricksは ワークスペースの を作成および管理します。
VPCDatabricks代わりに、 クラスターをホストする独自の を提供できるため、独自のGCP アカウントの制御を強化し、送信接続を制限できます。顧客管理VPC VPCを利用するには、Databricks ワークスペースを最初に作成するときに を指定する必要があります。VPC はワークスペース間で共有できますが、サブネットはワークスペース間で共有できません。 詳細については、「顧客管理VPCの構成」を参照してください。
コントロールプレーンからコンピュートプレーンへのプライベート接続を有効にする
Google Private サービス Connect(PSC)は、トラフィックをパブリック ネットワークに公開することなく、Google Cloud VPC から Google Cloud サービスへのプライベート接続を提供します。 これにより Databricks 顧客管理VPC の Databricks ワークスペースのコア サービスへのプライベート接続が可能になります。
詳細については、「 ワークスペースの Private サービス Connect を有効にする」を参照してください。