Databricks へのプライベート接続を構成する
このページでは、ユーザーとDatabricksワークスペース間の フロントエンド のプライベート接続の構成ステップについて説明します。 ワークスペースのサーバレス実装にセキュリティを追加するには、フロントエンドのプライベート接続を使用する必要があります。
- Databricksでのプライベート接続の概要については、「クラシック コンピュート プレーン ネットワーク」を参照してください。
- Databricks へのバックエンドのプライベート接続を有効にするには、「 AWS PrivateLink を使用してプライベート接続を有効にする」を参照してください。
ワークスペースのフロントエンド PrivateLink を有効にする
フロントエンドの PrivateLink を使用して、AWS VPC またはオンプレミスネットワークから Databricks サービスへの安全なプライベート接続を確立し、パブリックインターネットではなく VPC インターフェースエンドポイントを介してトラフィックをルーティングします。
フロントエンド PrivateLink を使用すると、次のことが可能になります。
- プライベート アクセスを構成する: Databricks Web アプリケーション、REST API、Databricks Connect API へのフロントエンド PrivateLink 接続を構成します。
- プライベート アクセスを有効にする : 新しいワークスペースを作成するとき、または既存のワークスペースで PrivateLink を構成します。
- プライベート接続の強制 : ユーザーからDatabricksへ、およびコントロール プレーンからコンピュート プレーンへのプライベート接続を構成します。
必要条件
- Databricks アカウントはEnterprise プランにあります。
- Databricksワークスペースでは顧客管理VPC使用する必要があります。 既存のワークスペースをDatabricks管理のVPCからカスタマー管理VPCに変換することはできません。 「顧客管理VPC構成」を参照してください。
- Databricks ワークスペースを設定し、ワークスペースの新しい VPC エンドポイントを作成するには、必要なすべての AWS アクセス許可が必要です。
- オンプレミス ネットワークからワークスペースにアクセスするためのフロントエンド PrivateLink 接続を確立するには、Direct Connect または VPN を使用してオンプレミス ネットワークを AWS VPC に接続します。
- ローカル ネットワーク内のすべての関連アドレス空間からのネットワーク トラフィックが TCP ポート 443 を使用して VPC エンドポイントに接続できるようにします。
ステップ 1: VPC エンドポイントを作成する
フロントエンドエンドポイントはトランジット VPC から発信され、通常はユーザーのウェブアプリケーションアクセスのソースとして機能します。これは通常、ワークスペースのコンピュートプレーンVPCとは別のVPCであり、オンプレミスネットワークに接続できます。複数の Databricks アカウントがある場合は、これらのアカウント間でフロントエンド VPC エンドポイントを共有できます。登録する 各関連する Databricks アカウントのエンドポイント。
AWS Management Console でフロントエンド VPC エンドポイントを作成するには:
- AWSマネジメントコンソールの [VPCエンドポイント] セクションに移動します。
- 右上で、リージョンをトランジット VPC リージョンと同じリージョンに設定します。
- [ エンドポイントの作成 ] をクリックします。
- エンドポイントに名前を付けるとき、Databricks では、リージョンと
workspaceまたはfront-endのいずれか (例:databricks-us-west-2-workspace-vpceを含めることをお勧めします。 - [サービス カテゴリ] で、 [NLB と GWLB を使用するエンドポイント サービス ] を選択します。
- [サービス名] フィールドに、サービス名を貼り付けます。PrivateLink VPCエンドポイント サービスの表を使用して、リージョンのサービス名を検索します。 「ワークスペース (REST API を含む)」 というラベルの付いたものをコピーします。
- 「サービスの検証」 をクリックし、 検証されたサービス名が 緑色のボックスに表示されることを確認します。 「サービス名を検証できませんでした」というエラーが発生した場合は、VPC、サブネット、新しい VPC エンドポイントのリージョンが正しく一致していることを確認してください。
- [ VPC ] メニューで、トランジットVPCをクリックします。
- [ サブネット ] セクションで、サブネットを選択します。
- [ セキュリティ グループ ] セクションで、フロントエンド接続用に作成したセキュリティ グループを選択します。
- [ エンドポイントの作成 ] をクリックします。
ステップ 2: VPC エンドポイントを登録する
AWSマネジメントコンソールでVPCエンドポイントを作成したら、 Databricksでそれらを登録します。 ネットワーク構成は、作成後に更新することはできません。次のステップに従って、 VPCエンドポイントを登録します。
-
Databricks アカウント コンソールに移動します。
-
サイドバーの 「クラウドリソース 」をクリックします。
-
[ネットワーク ] を選択します。
-
垂直ナビゲーションから [VPC エンドポイント登録 ] をクリックします。
-
[VPCエンドポイントの登録] をクリックします。
-
VPC エンドポイント登録のわかりやすい名前を入力します。
VPCE us-west-2 for SCCのように、地域と目的を含む命名規則が推奨されます。
-
適切なリージョンを選択します。リージョンは、ワークスペースリージョンと、登録する AWS VPC エンドポイントのリージョンの両方と一致する必要があります。
-
AWS VPC エンドポイント ID を AWS VPC エンドポイント ID フィールドに貼り付けます。
-
[新しい VPC エンドポイントを登録] をクリックします。
同じ顧客管理VPCを共有する複数のワークスペースがある場合は、それらの間で AWS VPC エンドポイントを共有できます。 複数の Databricks アカウントの場合は、各アカウントの AWS VPC エンドポイントを登録します。
ステップ 3: プライベートアクセス設定を作成する
プライベート アクセス設定は、ワークスペースの PrivateLink 接続を説明するものであり、プライベート接続を有効にするために必要です。PrivateLink を使用するには、ワークスペースを作成するときにプライベート アクセス設定オブジェクトを添付する必要があります。次のステップに従って、プライベート アクセス設定を作成します。
-
アカウント コンソールで、サイドバーの [セキュリティ] をクリックします。
-
サイドバーの 「プライベートアクセス設定 」をクリックします。
-
[プライベートアクセス設定の追加] をクリックします。
-
新しいプライベートアクセス設定オブジェクトの名前を入力します。
-
ワークスペースの地域に一致する地域を選択します。
-
[パブリックアクセスが有効] フィールドを設定します。
- False (デフォルト): フロントエンド接続は PrivateLink を介してのみアクセスでき、パブリック インターネット アクセスをブロックします。
- True : フロントエンド接続には、PrivateLink とパブリック インターネットの両方からアクセスできます。
-
プライベートアクセスレベル を選択します。
- アカウント: VPC接続をDatabricks アカウントに登録されている エンドポイントに制限します。
- エンドポイント : 接続を明示的な VPC エンドポイントのセットに制限します。フロントエンド VPC エンドポイントの登録を含めます。
-
[プライベートアクセス設定の追加] をクリックします。
ステップ 4: PrivateLink オブジェクトを使用してワークスペースを作成する
この手順を完了するには、ワークスペースで既に顧客管理VPC とセキュリティで保護されたクラスタリング接続が使用されている必要があります。
-
ワークスペースを作成するには、「 ワークスペース (既存の Databricks アカウント) を手動で作成する」 を参照してください。ワークスペース URL、リージョン、Unity Catalog、資格情報構成、ストレージ構成などのワークスペース フィールドに関するガイダンスについては、そのページを参照してください。[ 保存] ボタンはまだクリックしないでください。
-
詳細設定 をクリックして、追加のフィールドを表示します。
-
[ PrivateLink] ドロップダウンで、前の手順で作成したプライベートアクセス設定オブジェクトの名前を選択します。
-
保存 をクリックします。
-
ワークスペースを作成または更新した後は、使用可能になるまで待ってから、クラスタリングを使用または作成します。
ワークスペースのステータスは
RUNNINGままで、VPC の変更は直ちに行われます。ただし、さらに 20 分間はクラスターの使用や作成はできません。この間隔が終了する前にクラスターを作成または使用すると、クラスターの起動に失敗したり、その他の予期しない動作が発生したりする可能性があります。
ステップ 5: ユーザー要求を Web アプリケーションにリダイレクトするように内部 DNS を構成する
ユーザー リクエストをフロントエンドの PrivateLink 接続にルーティングするには、プライベート DNS 設定を更新します。このプロセスにより、ワークスペース URL が VPC エンドポイントのプライベート IP に解決されるようになります。
DNS マッピングを構成する
-
ワークスペースに PrivateLink が含まれていることを確認します。
-
ワークスペース URL をフロントエンド VPC エンドポイントのプライベート IP にマッピングするように内部 DNS を構成します。
-
nslookupコマンドを使用してDNS解決をテストします。Bashnslookup my-workspace-name-here.cloud.databricks.com
応答例：
Non-authoritative answer:
my-workspace-name-here.cloud.databricks.com canonical name = oregon.cloud.databricks.com.
oregon.cloud.databricks.com canonical name = a89b3c627d423471389d6ada5c3311b4-f09b129745548506.elb.us-west-2.amazonaws.com.
Name: a89b3c627d423471389d6ada5c3311b4-f09b129745548506.elb.us-west-2.amazonaws.com
Address: 44.234.192.47
DNS マッピングの例
AWS リージョン us-east-1 にフロントエンド VPC エンドポイントがあるワークスペースの場合:
デフォルトのDNSマッピング:
myworkspace.cloud.databricks.comはnvirginia.privatelink.cloud.databricks.comにマップします。この場合、nvirginiaは、そのリージョンのコントロール プレーン インスタンスの短い名前です。nvirginia.privatelink.cloud.databricks.comはnvirginia.cloud.databricks.comにマップします。nvirginia.cloud.databricks.comは AWS パブリック IP にマップされます。
変更後に必要なDNSマッピング:
myworkspace.cloud.databricks.comはnvirginia.privatelink.cloud.databricks.comにマップします。nvirginia.privatelink.cloud.databricks.comはフロントエンド接続のために VPC エンドポイントのプライベート IP にマッピングされます。
構成オプション
ワークスペース URL をオンプレミスネットワークから VPC エンドポイントのプライベート IP にマッピングするには、次のいずれかのオプションを選択します。
- AmazonDNS を使用するようにワークスペース URL の条件付き転送を構成します。
- VPC エンドポイントのプライベート IP にマッピングされるオンプレミス DNS 内のワークスペース URL の
Aレコードを作成します。 myworkspace.cloud.databricks.comが VPC エンドポイントのプライベート IP を直接指す直接マッピングを作成します。
必要なDNSレコード
DNS サーバー上に次のレコードを作成して、すべてのサービスにアクセスできるようにします。
レコードの種類 | レコード名 | Value |
|---|---|---|
A | <deployment-name>.cloud.databricks.com | PrivateLinkインターフェースIP |
CNAME | dbc-dp-<workspace-id>.cloud.databricks.com | <deployment-name>.cloud.databricks.com |
検証
DNS設定を更新した後:
- トランジット VPC から Databricks ワークスペース Web アプリケーションにアクセスして、構成をテストします。
- REST API 接続をテストします。
- テストに必要な場合は、トランジット VPC に VPC エンドポイントを作成します。
エラーが発生した場合は、必要なすべての DNS レコードが正しく設定されていることを確認してください。
ステップ 6: 統合ログインでフロントエンド PrivateLink を構成する
プレビュー
フロントエンドの PrivateLink を使用した統合ログインは、プライベート プレビュー段階です。このプレビューへのアクセスを要求するには、Databricks アカウント チームに連絡する必要があります。統合ログインの詳細については、「 統合ログインを有効にする」を参照してください。
ユーザーが公共のインターネットにアクセスできる場合、この手順は必要ありません。
統合ログインが有効になっているワークスペースにユーザーがログインすると、システムは認証フローでユーザーをaccounts.cloud.databricks.comにリダイレクトします。フロントエンド PrivateLink が有効で、ユーザーがパブリック インターネットにアクセスできないワークスペースで統合ログインを使用するには、次のステップに従ってアイデンティティ プロバイダーと内部 DNS を構成します。
ID プロバイダーで PrivateLink リダイレクト URI を承認します
- アカウント管理者として、アカウントコンソールにログインします。
- サイドバーで、 設定 をクリックします。
- 認証 タブをクリックします。
- 認証 の横にある 管理 をクリックします。
- [ ID プロバイダーによるシングル サインオン ] を選択します。
- 続行 をクリックします。
- [Databricks リダイレクト URL ] フィールドの値をコピーします。
accountsをaccounts-pl-authに置き換えて、Databricks PrivateLink リダイレクト URI を取得します。- ID プロバイダーに移動します。
- Databricks PrivateLink リダイレクト URI を追加のリダイレクト URL として追加します。SAML を使用して SSO を構成する場合は、Databricks PrivateLink リダイレクト URI も追加のエンティティ ID として追加します。
アカウントに PrivateLink ワークスペースと非 PrivateLink ワークスペースの両方がある場合は、ID プロバイダーのリダイレクト URL から Databricks リダイレクト URL と account を削除しないでください。
トランジット VPC のプライベートホストゾーンを設定する
トランジット VPC で次の構成を実行して、Databricks PrivateLink リダイレクト URI がワークスペース VPC エンドポイントの VPC エンドポイント プライベート IP アドレスにマップされていることを確認します。
- トランジット VPC から、
nslookupUnix コマンドライン ツールを使用して、ワークスペース URL を使用した DNS 解決を取得します。「ステップ 5: ユーザー要求を Web アプリケーションにリダイレクトするように内部 DNS を構成する」の例を参照してください。 - PrivateLink ワークスペースのコントロール プレーン インスタンス URL をコピーします。コントロールプレーンインスタンスのURLは、
<region>.privatelink.cloud.databricks.com形式です。 - トランジット VPC で、ドメイン名
privatelink.cloud.databricks.comを持つプライベート ホストゾーンを作成します。 accounts-pl-auth.privatelink.cloud.databricks.comを解決する CNAME レコードをコントロールプレーンインスタンス URL に追加します。- トランジット VPC から Databricks PrivateLink リダイレクト URI にアクセスして、構成をテストします。
次のステップ
- バックエンドのプライベート接続の強化 : コンピュート プレーンからコントロール プレーンへの PrivateLink を構成して、エンドツーエンドのネットワーク分離を実現することで、プライベート接続のセットアップを完了します。 「 AWS PrivateLink を使用してプライベート接続を有効にする」を参照してください。
- 顧客管理VPC デプロイ : ワークスペースを独自の VPC にデプロイして、ネットワーク構成とセキュリティ ポリシーをより詳細に制御できます。 「顧客管理VPCの設定」を参照してください。
- IP アクセス リストのセキュリティ制御 : 構成可能な許可ルールと拒否ルールを使用してワークスペースにアクセスできるパブリック IP アドレスを制御することで、セキュリティのレイヤーを追加します。ワークスペースの IP アクセス リストの構成を参照してください。
カスタムDNS構成
独自のカスタム DNS でプライベート フロントエンド エンドポイントを使用する場合は、ワークスペース URL と SSO (シングル サインオン) 認証 URL の両方がプライベート エンドポイントの IP アドレスに正しく解決されることを確認する必要があります。
- Recommended: Conditional forwarding
- Alternative: Manual A Records
最も信頼性の高い方法は、すべての Databricks ドメインのクエリを Azure の内部 DNS に転送するように DNS サーバーを構成することです。
-
次のドメインを Azure DNS サーバーに条件付き転送するように設定します。
*.azuredatabricks.net*.privatelink.azuredatabricks.net*.databricksapps.com
-
VNet が Azure プライベート DNS ゾーンにリンクされていることを確認します。
これにより、Azure は、SSO やワークスペース URL など、必要なすべてのホスト名をプライベート エンドポイントの IP アドレスに自動的に解決できるようになります。
条件付き転送がオプションでない場合は、DNS Aレコードを手動で作成する必要があります。
- ワークスペース URL:
adb-1111111111111.15.azuredatabricks.netなどのワークスペースごとの URL をプライベート エンドポイント IP アドレスにマッピングするAレコードを作成します。 - SSO 認証 URL: リージョン SSO URL (例:
westus.pl-auth.azuredatabricks.net) を 同じ プライベート エンドポイント IP アドレスにマッピングするAレコードを作成します。
一部の Azure リージョンでは、SSO に複数のコントロール プレーン インスタンスが使用されます。認証のために複数のAレコードを作成する必要がある場合があります。あなたの地域のドメインの完全なリストについては、Databricks アカウント チームにお問い合わせください。