クラシック コンピュート プレーン ネットワーキング

この記事では、 Databricks コントロール プレーンと従来のコンピュート プレーン間のネットワーク アクセスをカスタマイズする機能について説明します。 コントロール プレーンとサーバレス コンピュート プレーン間の接続は、パブリック インターネットではなく、常にクラウド ネットワーク バックボーン経由で行われます。

コントロール プレーンとコンピュート プレーンの詳細については、「 Databricks アーキテクチャの概要」を参照してください。

クラシック コンピュートとサーバレス コンピュートの詳細については、 コンピュートの種類を参照してください。

このセクションの機能は、Databricks コントロール プレーンとクラシック コンピュート プレーン間の接続を確立してセキュリティで保護することに重点を置いています。 この接続には、次の図の 2 というラベルが付けられています。

セキュアなクラスター接続とは

すべての新しいワークスペースは、デフォルトによるセキュリティで保護されたクラスター接続で作成されます。 セキュアなクラスター接続とは、顧客 VPC にはオープンポートがなく、クラシックコンピュートプレーンリソースにはパブリック IP アドレスがないことを意味します。 これにより、セキュリティグループやネットワークピアリングでポートを設定する必要がなくなり、ネットワーク管理が簡素化されます。

セキュリティで保護されたクラスター接続により、クラスター ノード上のパブリック IP アドレスを必要とせずに、HTTPS (ポート 443) を使用してセキュリティで保護されたトンネルを介してクラスターが Databricks コントロール プレーンに接続できるようになります。 この接続は、セキュリティで保護されたクラスター接続リレーを使用して確立され、Web アプリケーションと REST API のネットワーク トラフィックをクラスター管理タスクから分離します。

サーバレス コンピュート プレーンはクラシック コンピュート プレーンのセキュア クラスター接続リレーを使用しませんが、サーバレス コンピュート リソースにはパブリック IP アドレスがありません

独自の VPC にワークスペースをデプロイする

AWS Virtual Private Cloud (VPC) を使用すると、仮想ネットワークで AWS リソースを起動できる AWS クラウドの論理的に分離されたセクションをプロビジョニングできます。 VPC は、Databricks クラスターのネットワークの場所です。 デフォルトでは、Databricks は Databricks ワークスペースの VPC を作成して管理します。

代わりに、Databricks クラスターをホストする独自の VPC を提供することで、独自の AWS アカウントをより詳細に制御し、送信接続を制限できます。 顧客管理 VPC を利用するには、Databricks ワークスペースを最初に作成するときに VPC を指定する必要があります。 詳細については、「 顧客管理 VPC の設定」を参照してください。

Databricks VPC を別の AWS VPCとピアリングする

デフォルトでは、Databricks は Databricks ワークスペースの VPC を作成して管理します。 セキュリティを強化するために、クラスターに属するワーカーは、同じクラスターに属する他のワーカー とのみ 通信できます。 ワーカーは、Databricks VPC で実行されている他の EC2 インスタンスや他の AWS サービスと通信できません。 Databricks クラスターと同じ VPC で実行されている AWS サービスがある場合、このファイアウォールの制限により、サービスと通信できない可能性があります。 このようなサービスを Databricks VPC の外部で実行し、その VPC とピアリングしてそれらのサービスに接続できます。 「 VPC ピアリング」を参照してください。

コントロールプレーンからクラシックコンピュートプレーンへのプライベート接続を有効にする

AWS PrivateLink は、トラフィックをパブリックネットワークに公開することなく、AWS VPC およびオンプレミスネットワークから AWS のサービスへのプライベート接続を提供します。 AWS Private Link を有効にすることで、コントロール プレーン内のクラシック コンピュート プレーンから Databricks ワークスペースのコア サービスへのプライベート接続を有効にすることができます。

詳細については、 「 AWS PrivateLink を使用してプライベート接続を有効にする」を参照してください。