Databricks へのプライベート接続を構成する
このページでは、ユーザーと Databricks ワークスペース間の フロントエンド プライベート接続の構成手順について説明します。ワークスペースのサーバレス実装にセキュリティを追加するには、フロントエンドのプライベート接続が必要です。
- Databricks でのプライベート接続の概要については、「クラシック コンピュート プレーン ネットワーク」を参照してください。
- Databricks へのバックエンドのプライベート接続を有効にするには、「 AWS PrivateLink を使用してプライベート接続を有効にする」を参照してください。
ワークスペースのフロントエンド PrivateLink を有効にする
フロントエンドの PrivateLink を使用して、AWS VPC またはオンプレミスネットワークから Databricks サービスへの安全なプライベート接続を確立し、パブリックインターネットではなく VPC インターフェースエンドポイントを介してトラフィックをルーティングします。
フロントエンドのPrivateLinkでは、次のことができます。
- プライベート アクセスを構成する: Databricks Web アプリケーション、REST API、Databricks Connect API へのフロントエンド PrivateLink 接続を構成します。
- プライベートアクセスを簡単に有効にする : 新しいワークスペースの作成時に、または既存のワークスペースで有効にするときにPrivateLinkを構成します。
- 必須のプライベート接続を強制 する: ワークスペースのプライベート接続を必須にするには、ユーザーから Databricks へのプライベート接続と、コントロール プレーンからコンピュート プレーンへのプライベート接続を構成する必要があります。
必要条件
- DatabricksアカウントがEnterprise価格プランである必要があります。
- Databricksワークスペースでは、顧客管理VPCを使用する必要があります。既存のワークスペースを Databricks管理の VPC から顧客管理VPCに変換することはできません。 顧客管理VPCの設定を参照してください。
- Databricks ワークスペースを設定し、ワークスペースの新しい VPC エンドポイントを作成するには、必要なすべての AWS アクセス許可が必要です。
- オンプレミスネットワークからワークスペースにアクセスするためのフロントエンド PrivateLink 接続を確立するには、Direct Connect または VPN を使用してオンプレミスネットワークを AWS VPC に接続する必要があります。
- ローカルネットワーク内のすべての関連するアドレス空間からのネットワークトラフィックが TCP ポート 443 を使用して VPC エンドポイントに接続できるようにする必要があります。
ステップ 1: VPC エンドポイントを作成する
フロントエンドエンドポイントはトランジット VPC から発信され、通常はユーザーのウェブアプリケーションアクセスのソースとして機能します。これは通常、ワークスペースのコンピュートプレーンVPCとは別のVPCであり、オンプレミスネットワークに接続できます。複数の Databricks アカウントがある場合は、これらのアカウント間でフロントエンド VPC エンドポイントを共有できます。登録する 各関連する Databricks アカウントのエンドポイント。
AWS Management Console でフロントエンド VPC エンドポイントを作成するには:
- AWSマネジメントコンソールの [VPCエンドポイント] セクションに移動します。
- 右上で、リージョンをトランジット VPC リージョンと同じリージョンに設定します。
- [ エンドポイントの作成 ] をクリックします。
- エンドポイントに名前を付けるときは、リージョンと、
workspaceまたはfrontend(databricks-us-west-2-workspace-vpceなど) のいずれかの単語を含めることをお勧めします。 - [サービス カテゴリ] で、 [NLB と GWLB を使用するエンドポイント サービス ] を選択します。
- [サービス名] フィールドに、サービス名を貼り付けます。PrivateLink VPCエンドポイント サービスの表を使用して、リージョンのサービス名を検索します。 「ワークスペース (REST API を含む)」 というラベルの付いたものをコピーします。
- [サービスの確認 ] をクリックし、ページに緑色のボックスで [サービス名が確認済み ] と表示されていることを確認します。「サービス名を確認できませんでした」というエラーが表示された場合は、VPC、サブネット、および新しい VPC エンドポイントのリージョンが正しく一致していることを確認します。
- [ VPC ] メニューで、トランジットVPCをクリックします。
- [ サブネット ] セクションで、サブネットを選択します。
- [ セキュリティ グループ ] セクションで、フロントエンド接続用に作成したセキュリティ グループを選択します。
- [ エンドポイントの作成 ] をクリックします。
ステップ 2: VPC エンドポイントを登録する
VPCAWS管理コンソールで エンドポイントを作成したら、 で登録するDatabricks VPCエンドポイント登録を確立します。ネットワーク設定は、作成後に更新することはできません。次の手順に従って、 VPC エンドポイントを登録します。
-
Databricks アカウント コンソールに移動します。
-
サイドバーの 「クラウドリソース 」をクリックします。
-
[ネットワーク ] を選択します。
-
垂直ナビゲーションから [VPC エンドポイント登録 ] をクリックします。
-
[VPCエンドポイントの登録] をクリックします。
-
VPC エンドポイント登録のわかりやすい名前を入力します。
VPCE us-west-2 for SCCのように、地域と目的を含む命名規則を使用します。
-
適切なリージョンを選択します。リージョンは、ワークスペースリージョンと、登録する AWS VPC エンドポイントのリージョンの両方と一致する必要があります。
-
AWS VPC エンドポイント ID を AWS VPC エンドポイント ID フィールドに貼り付けます。
-
[ 登録する new VPC endpoint ] をクリックします。
同じ顧客管理VPCを共有する複数のワークスペースがある場合は、それらの間で AWS VPC エンドポイントを共有できます。 複数の Databricks アカウントの場合は、各アカウントの AWS VPC エンドポイントを登録します。
ステップ 3: プライベートアクセス設定を作成する
プライベート アクセス設定は、ワークスペースの PrivateLink 接続について説明し、プライベート接続を有効にするために必要です。PrivateLink を使用するには、ワークスペースの作成時にプライベート アクセス設定オブジェクトをアタッチする必要があります。次の手順に従って、プライベート アクセス設定を作成します。
-
アカウントコンソールで、サイドバーの 「クラウドリソース 」をクリックします。
-
[ネットワーク ] を選択します。
-
サイドバーの 「プライベートアクセス設定 」をクリックします。
-
[プライベートアクセス設定の追加] をクリックします。
-
新しいプライベートアクセス設定オブジェクトの名前を入力します。
-
ワークスペースの地域に一致する地域を選択します。
-
[パブリックアクセスが有効] フィールドを設定します。
- False (デフォルト): フロントエンド接続は PrivateLink を介してのみアクセスでき、パブリック インターネット アクセスをブロックします。
- True : フロントエンド接続には、PrivateLink とパブリック インターネットの両方からアクセスできます。
-
プライベートアクセスレベル を選択します。
- アカウント: VPC接続をDatabricks アカウントに登録されている エンドポイントに制限します。
- エンドポイント : 接続を明示的な VPC エンドポイントのセットに制限します。フロントエンド VPC エンドポイントの登録を含めます。
-
[ プライベートアクセス設定を追加 ]をクリックします。
ステップ 4: PrivateLink オブジェクトを使用してワークスペースを作成する
この手順を完了するには、ワークスペースで既に顧客管理VPC とセキュリティで保護されたクラスタリング接続が使用されている必要があります。
-
ワークスペースを作成するには、「 ワークスペース (既存の Databricks アカウント) を手動で作成する」 を参照してください。ワークスペース URL、リージョン、Unity Catalog、資格情報構成、ストレージ構成などのワークスペース フィールドに関するガイダンスについては、そのページを参照してください。[ 保存] ボタンはまだクリックしないでください。
-
詳細設定 をクリックして、追加のフィールドを表示します。
-
[ PrivateLink] ドロップダウンで、前の手順で作成したプライベートアクセス設定オブジェクトの名前を選択します。
-
保存 をクリックします。
-
ワークスペースを作成または更新した後は、使用可能になるまで待ってから、クラスタリングを使用または作成します。
ワークスペースのステータスはステータス
RUNNINGのままで、VPC の変更はすぐに行われます。 ただし、さらに 20 分間はクラスターを使用または作成することはできません。 この時間間隔が経過する前にクラスターを作成または使用すると、クラスターが正常に起動しない、失敗する、またはその他の予期しない動作が発生する可能性があります。
ステップ 5: ユーザー要求を Web アプリケーションにリダイレクトするように内部 DNS を構成する
ユーザー要求をフロントエンドの PrivateLink 接続にルーティングするには、プライベート DNS 設定を更新する必要があります。このプロセスにより、ワークスペース URL が VPC エンドポイントのプライベート IP に解決されます。
DNS マッピングを構成する
-
ワークスペースに PrivateLink が含まれていることを確認します。
-
ワークスペース URL をフロントエンド VPC エンドポイントのプライベート IP にマッピングするように内部 DNS を構成します。
-
nslookupコマンドを使用してDNS解決をテストします。Bashnslookup my-workspace-name-here.cloud.databricks.com
応答例：
Non-authoritative answer:
my-workspace-name-here.cloud.databricks.com canonical name = oregon.cloud.databricks.com.
oregon.cloud.databricks.com canonical name = a89b3c627d423471389d6ada5c3311b4-f09b129745548506.elb.us-west-2.amazonaws.com.
Name: a89b3c627d423471389d6ada5c3311b4-f09b129745548506.elb.us-west-2.amazonaws.com
Address: 44.234.192.47F
DNS マッピングの例
AWS リージョン us-east-1 にフロントエンド VPC エンドポイントがあるワークスペースの場合:
デフォルトのDNSマッピング:
myworkspace.cloud.databricks.comはnvirginia.privatelink.cloud.databricks.comにマップします。この場合、nvirginiaは、そのリージョンのコントロール プレーン インスタンスの短い名前です。nvirginia.privatelink.cloud.databricks.comはnvirginia.cloud.databricks.comにマップします。nvirginia.cloud.databricks.comは AWS パブリック IP にマップされます。
変更後に必要なDNSマッピング:
myworkspace.cloud.databricks.comはnvirginia.privatelink.cloud.databricks.comにマップします。nvirginia.privatelink.cloud.databricks.comはフロントエンド接続のために VPC エンドポイントのプライベート IP にマッピングされます。
構成オプション
ワークスペース URL をオンプレミスネットワークから VPC エンドポイントのプライベート IP にマッピングするには、次のいずれかのオプションを選択します。
- AmazonDNS を使用するようにワークスペース URL の条件付き転送を構成します。
- VPC エンドポイントのプライベート IP にマッピングするオンプレミス DNS のワークスペース URL の A レコードを作成します。
myworkspace.cloud.databricks.comが VPC エンドポイントのプライベート IP を直接指す直接マッピングを作成します。
必要なDNSレコード
DNS サーバー上に次のレコードを作成して、すべてのサービスにアクセスできるようにします。
レコードの種類 | レコード名 | Value |
|---|---|---|
A | <deployment-name>.cloud.databricks.com | PrivateLinkインターフェースIP |
CNAME | dbc-dp-<workspace-id>.cloud.databricks.com | <deployment-name>.cloud.databricks.com |
検証
DNS設定を更新した後:
- トランジット VPC から Databricks ワークスペース Web アプリケーションにアクセスして、構成をテストします。
- REST API 接続をテストします。
- テストに必要な場合は、トランジット VPC に VPC エンドポイントを作成します。
エラーが発生した場合は、必要なすべての DNS レコードが正しく設定されていることを確認してください。
ステップ 6: 統合ログインでフロントエンド PrivateLink を構成する
プレビュー
フロントエンドの PrivateLink を使用した統合ログインは、プライベート プレビュー段階です。このプレビューへのアクセスを要求するには、Databricks アカウント チームに連絡する必要があります。統合ログインの詳細については、「 統合ログインを有効にする」を参照してください。
ユーザーが公共のインターネットにアクセスできる場合、この手順は必要ありません。
ユーザーが統合ログインが有効になっているワークスペースにログインすると、システムは認証フローの accounts.cloud.databricks.com にリダイレクトします。フロントエンド PrivateLink が有効で、ユーザーがパブリック インターネットにアクセスできないワークスペースで統合ログインを使用するには、次の手順に従って ID プロバイダーと内部 DNS を構成する必要があります。
ID プロバイダーで PrivateLink リダイレクト URI を承認します
- アカウント管理者として、アカウントコンソールにログインします。
- サイドバーで、 設定 をクリックします。
- 認証 タブをクリックします。
- 認証 の横にある 管理 をクリックします。
- [ ID プロバイダーによるシングル サインオン ] を選択します。
- 続行 をクリックします。
- [Databricks リダイレクト URL ] フィールドの値をコピーします。
accountsをaccounts-pl-authに置き換えて、Databricks PrivateLink リダイレクト URI を取得します。- ID プロバイダーに移動します。
- Databricks PrivateLink リダイレクト URI を追加のリダイレクト URL として追加します。SAML を使用して SSO を構成する場合は、Databricks PrivateLink リダイレクト URI も追加のエンティティ ID として追加します。
アカウントに PrivateLink ワークスペースと非 PrivateLink ワークスペースの両方がある場合は、ID プロバイダーのリダイレクト URL から Databricks リダイレクト URL と account を削除しないでください。
トランジット VPC のプライベートホストゾーンを設定する
トランジット VPC で次の構成を実行して、Databricks PrivateLink リダイレクト URI がワークスペース VPC エンドポイントの VPC エンドポイントのプライベート IP アドレスにマップされるようにします。
- トランジット VPC から、
nslookupUnix コマンドラインツールを使用して、ワークスペース URL を使用して DNS 解決を取得します。「ステップ 5: ユーザー要求を Web アプリケーションにリダイレクトするように内部 DNS を構成する」の例を参照してください。 - PrivateLink ワークスペースのコントロール プレーン インスタンス URL をコピーします。コントロールプレーンインスタンスのURLは、
<region>.privatelink.cloud.databricks.com形式です。 - トランジット VPC で、ドメイン名
privatelink.cloud.databricks.comのプライベートホストゾーンを作成します。 accounts-pl-auth.privatelink.cloud.databricks.comを解決する CNAME レコードをコントロールプレーンインスタンス URL に追加します。- トランジット VPC から Databricks PrivateLink リダイレクト URI にアクセスして、構成をテストします。
次のステップ
- バックエンドのプライベート接続の強化 : コンピュート プレーンからコントロール プレーンへの PrivateLink を構成して、エンドツーエンドのネットワーク分離を実現することで、プライベート接続のセットアップを完了します。 「 AWS PrivateLink を使用してプライベート接続を有効にする」を参照してください。
- 顧客管理VPC デプロイ : ワークスペースを独自の VPC にデプロイして、ネットワーク構成とセキュリティ ポリシーをより詳細に制御できます。 「顧客管理VPCの設定」を参照してください。
- IP アクセス リストのセキュリティ制御 : 構成可能な許可ルールと拒否ルールを使用してワークスペースにアクセスできるパブリック IP アドレスを制御することで、セキュリティのレイヤーを追加します。ワークスペースの IP アクセス リストの構成を参照してください。