受信PrivateLinkを構成する
このページでは、ユーザーとそのDatabricks間の受信プライベート接続の構成ステップについて説明します。 ワークスペースのサーバレス実装のセキュリティを強化するには、フロントエンドのプライベート接続を使用する必要があります。
- アーキテクチャの概念と展開オプションについては、 「PrivateLink の概念」を参照してください。
- Databricksでのプライベート接続の概要については、「クラシック コンピュート プレーン ネットワーク」を参照してください。
- Databricks への従来のプライベート接続を有効にするには、 「Databricks への従来のプライベート接続の構成」を参照してください。
インバウンド PrivateLink を使用して、AWS VPC またはオンプレミス ネットワークから Databricks サービスへの安全なプライベート接続を確立します。これにより、トラフィックはパブリック インターネットではなく VPC インターフェイス エンドポイント経由でルーティングされます。
インバウンド エンドポイントはトランジット VPC から発信され、通常はユーザーの Web アプリケーション アクセスのソースとして機能します。これは通常、ワークスペースのコンピュート プレーンVPCとは別のVPCであり、オンプレミス ネットワークに接続できます。 複数のDatabricksアカウントをお持ちの場合は、関連する各Databricksアカウントにエンドポイントを登録することで、これらのアカウント間でインバウンドVPCエンドポイントを共有します。
インバウンド PrivateLink の場合:
- プライベート アクセスを構成する : Databricks Web アプリケーション、REST API、および Databricks Connect API への受信 PrivateLink 接続を構成します。
- プライベート アクセスを有効にする : 新しいワークスペースを作成するとき、または既存のワークスペースで PrivateLink を構成します。
- プライベート接続を強制する : ユーザーから Databricks へのプライベート接続を構成します。
必要条件
- Databricks アカウントはEnterprise プランにあります。
- Databricks ワークスペースを設定し、ワークスペースの新しい VPC エンドポイントを作成するには、必要なすべての AWS アクセス許可が必要です。
- オンプレミス ネットワークからワークスペースにアクセスするためのインバウンド PrivateLink 接続を確立するには、Direct Connect または VPN を使用してオンプレミス ネットワークを AWS VPC に接続します。
- ローカル ネットワーク内のすべての関連アドレス空間からのネットワーク トラフィックが TCP ポート 443 を使用して VPC エンドポイントに接続できるようにします。
ステップ 1: VPC エンドポイントを作成する
AWS マネジメントコンソールでインバウンド VPC エンドポイントを作成するには:
- AWSマネジメントコンソールの [VPCエンドポイント] セクションに移動します。
- 右上で、リージョンをトランジット VPC リージョンと同じリージョンに設定します。
- [ エンドポイントの作成 ] をクリックします。
- エンドポイントに名前を付けるとき、Databricks では、リージョンと
workspaceまたはfront-endのいずれか (例:databricks-us-west-2-workspace-vpceを含めることをお勧めします。 - [サービス カテゴリ] で、 NLB と GWLB を使用するエンドポイント サービス を選択します。
- [サービス名] フィールドに、サービス名を貼り付けます。PrivateLink VPCエンドポイント サービスの表を使用して、リージョンのサービス名を検索します。 「ワークスペース (REST API を含む)」 というラベルの付いたものをコピーします。
- 「サービスの検証」 をクリックし、 検証されたサービス名が 緑色のボックスに表示されることを確認します。 「サービス名を検証できませんでした」というエラーが発生した場合は、VPC、サブネット、新しい VPC エンドポイントのリージョンが正しく一致していることを確認してください。
- [ VPC ] メニューで、トランジットVPCをクリックします。
- [ サブネット ] セクションで、サブネットを選択します。
- [セキュリティ グループ] セクションで、ワークスペースにアクセスする必要がある IP 範囲からポート 443 での受信トラフィックを許可するセキュリティ グループを選択します。
- [ エンドポイントの作成 ] をクリックします。
ステップ 2: VPC エンドポイントを登録する
AWSマネジメントコンソールでVPCエンドポイントを作成したら、 Databricksでそれらを登録します。 ネットワーク構成は、作成後に更新することはできません。次のステップに従って、 VPCエンドポイントを登録します。
-
Databricks アカウント コンソールに移動します。
-
サイドバーの クラウドリソース をクリックします。
-
[ネットワーク ] を選択します。
-
垂直ナビゲーションから VPC エンドポイント登録 をクリックします。
-
[VPCエンドポイントの登録] をクリックします。
-
VPC エンドポイント登録のわかりやすい名前を入力します。
VPCE us-west-2 for RESTのように、地域と目的を含む命名規則が推奨されます。
-
適切なリージョンを選択します。リージョンは、ワークスペースリージョンと、登録する AWS VPC エンドポイントのリージョンの両方と一致する必要があります。
-
AWS VPC エンドポイント ID を AWS VPC エンドポイント ID フィールドに貼り付けます。
-
[新しい VPC エンドポイントを登録] をクリックします。
同じ顧客管理VPCを共有する複数のワークスペースがある場合は、それらの間で AWS VPC エンドポイントを共有できます。 複数の Databricks アカウントの場合は、各アカウントの AWS VPC エンドポイントを登録します。
ステップ 3: プライベートアクセス設定を作成する
プライベート アクセス設定は、ワークスペースの PrivateLink 接続を説明するものであり、プライベート接続を有効にするために必要です。PrivateLink を使用するには、ワークスペースを作成するときにプライベート アクセス設定オブジェクトを添付する必要があります。次のステップに従って、プライベート アクセス設定を作成します。
-
アカウント コンソールで、サイドバーの [セキュリティ] をクリックします。
-
サイドバーの プライベートアクセス設定 をクリックします。
-
[プライベートアクセス設定の追加] をクリックします。
-
新しいプライベートアクセス設定オブジェクトの名前を入力します。
-
ワークスペースの地域に一致する地域を選択します。
-
[パブリックアクセスが有効] フィールドを設定します。
- False (デフォルト) : 着信接続は PrivateLink 経由でのみアクセス可能であり、パブリック インターネット アクセスはブロックされます。
- True : 着信接続は、PrivateLink とパブリック インターネットの両方からアクセスできます。
Databricks では、DNS 構成をテストする際には True から始めることをお勧めします。DNS が完成し、動作していることが確認されたら、メンテナンス ウィンドウ中に False に変更して、排他的なプライベート接続を強制します。プライベート アクセス設定オブジェクトは作成後に変更できないため、新しい PAS オブジェクトを作成し、ワークスペース構成を更新する必要があることに注意してください。
-
プライベートアクセスレベル を選択します。
- アカウント: VPC接続をDatabricks アカウントに登録されている エンドポイントに制限します。
- エンドポイント : 明示的な VPC エンドポイントのセットへの接続を制限します。インバウンド VPC エンドポイント登録を含めます。
-
[プライベートアクセス設定の追加] をクリックします。
ステップ 4: PrivateLink オブジェクトを使用してワークスペースを作成する
この手順を完了するには、ワークスペースで既に顧客管理VPC とセキュリティで保護されたクラスタリング接続が使用されている必要があります。
-
ワークスペースを作成するには、 「クラシック ワークスペースを作成する」を参照してください。ワークスペース URL、リージョン、 Unity Catalog 、資格情報構成、ストレージ構成などのワークスペース フィールドに関するガイダンスについては、そのページを参照してください。 まだ 「保存」 ボタンをクリックしないでください。
-
詳細設定 をクリックして、追加のフィールドを表示します。
-
PrivateLink ドロップダウンで、前の手順で作成したプライベートアクセス設定オブジェクトの名前を選択します。
-
保存 をクリックします。
-
ワークスペースを作成または更新した後は、使用可能になるまで待ってから、クラスタリングを使用または作成します。
ワークスペースのステータスは
RUNNINGままで、VPC の変更は直ちに行われます。ただし、さらに 20 分間はクラスターの使用や作成はできません。この間隔が終了する前にクラスターを作成または使用すると、クラスターの起動に失敗したり、その他の予期しない動作が発生したりする可能性があります。
ステップ 5: インバウンド PrivateLink 用に DNS を構成する
インバウンド VPC エンドポイントを作成したら、ユーザー リクエストをプライベート ネットワーク経由で VPC エンドポイントのプライベート IP アドレスにルーティングするように DNS を設定します。
Route 53 のセットアップ、条件付き転送パターン、トラブルシューティングのガイダンスを含む包括的な DNS 構成手順については、 「AWS インバウンド PrivateLink の DNS を構成する」を参照してください。
クイック検証
DNS を構成した後、ワークスペース URL がプライベート IP アドレスに解決されることを確認します。
nslookup myworkspace.cloud.databricks.com
privatelinkサブドメインを介した解決を示す期待される出力:
myworkspace.cloud.databricks.com canonical name = sydney.privatelink.cloud.databricks.com
Name: sydney.privatelink.cloud.databricks.com
Address: 10.176.10.182
ワークスペース URL は、パブリック IP アドレスではなく、受信 VPC エンドポイントのプライベート IP アドレスに解決される必要があります。
ステップ 6: 統合ログインを使用してインバウンド PrivateLink を構成する
プレビュー
インバウンド PrivateLink を使用した統合ログインはプライベート プレビュー段階です。このプレビューへのアクセスをリクエストするには、Databricks アカウント チームに連絡する必要があります。統合ログインの詳細については、 「統合ログインを有効にする」を参照してください。
ユーザーが公共のインターネットにアクセスできる場合、この手順は必要ありません。
統合ログインが有効になっているワークスペースにユーザーがログインすると、システムは認証フローでユーザーをaccounts.cloud.databricks.comにリダイレクトします。インバウンド PrivateLink が有効で、ユーザーがパブリック インターネットにアクセスできないワークスペースで統合ログインを使用するには、次のステップに従って ID プロバイダーと内部 DNS を構成します。
ID プロバイダーで PrivateLink リダイレクト URI を承認します
- アカウント管理者として、アカウントコンソールにログインします。
- サイドバーで、 設定 をクリックします。
- 認証 タブをクリックします。
- 認証 の横にある 管理 をクリックします。
- [ ID プロバイダーによるシングル サインオン ] を選択します。
- 続行 をクリックします。
- Databricks リダイレクト URL フィールドの値をコピーします。
accountsをaccounts-pl-authに置き換えて、Databricks PrivateLink リダイレクト URI を取得します。- ID プロバイダーに移動します。
- Databricks PrivateLink リダイレクト URI を追加のリダイレクト URL として追加します。SAML を使用して SSO を構成する場合は、Databricks PrivateLink リダイレクト URI も追加のエンティティ ID として追加します。
アカウントに PrivateLink ワークスペースと非 PrivateLink ワークスペースの両方がある場合は、ID プロバイダーのリダイレクト URL から Databricks リダイレクト URL と account を削除しないでください。
トランジット VPC のプライベートホストゾーンを設定する
トランジット VPC で次の構成を実行して、Databricks PrivateLink リダイレクト URI がワークスペース VPC エンドポイントの VPC エンドポイント プライベート IP アドレスにマップされていることを確認します。
- トランジット VPC から、
nslookupUnix コマンドライン ツールを使用して、ワークスペース URL を使用した DNS 解決を取得します。「ステップ 5: 受信 PrivateLink の DNS を構成する」の例を参照してください。 - PrivateLink ワークスペースのコントロール プレーン インスタンス URL をコピーします。コントロールプレーンインスタンスのURLは、
<region>.privatelink.cloud.databricks.com形式です。 - トランジット VPC で、ドメイン名
privatelink.cloud.databricks.comを持つプライベート ホストゾーンを作成します。 accounts-pl-auth.privatelink.cloud.databricks.comを解決する CNAME レコードをコントロールプレーンインスタンス URL に追加します。- トランジット VPC から Databricks PrivateLink リダイレクト URI にアクセスして、構成をテストします。