パフォーマンス重視のサービス向けにフロントエンドの PrivateLink を構成する
ベータ版
この機能はベータ版です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。「Databricks プレビューの管理」を参照してください。
このページでは、Databricks プラットフォーム上のパフォーマンス集約型サービスへのフロントエンド接続用に AWS PrivateLink を構成する方法を説明します。このプライベート接続により、外部クライアントやユーザーは、Zerobus Ingest や Lakebase オートスケールなどのDatabricksプラットフォーム上のサービスにアクセスできるようになります。
利点
- 強化されたセキュリティ : ネットワークと Databricks サービス間のトラフィックは、AWS ネットワーク インフラストラクチャ内に留まります。
- パフォーマンス重視のサービスへのアクセス : Zerobus Ingest や Lakebase オートスケールなどのサービスへのプライベート接続。
- コンプライアンス要件 : プライベート ネットワーク接続を義務付ける規制要件を満たします。
- コスト効率 : PrivateLink は、NAT ゲートウェイなどのパブリック接続オプションよりもコストが低くなります。
Databricks では現在、パフォーマンス集約型サービスへのフロントエンド PrivateLink 接続に関連するネットワーク コストについては課金しません。将来的には料金が導入される可能性があります。
要件
- Databricks アカウントは Enterprise レベルである必要があります。
- VPCエンドポイントを登録し、プライベート アクセス設定を管理するには、 Databricksアカウント管理者である必要があります。
- VPC エンドポイントを作成するには、AWS の権限が必要です。
- AWS リージョンがフロントエンド PrivateLink をサポートしている必要があります。リージョン VPCエンドポイント サービスについては、PrivateLink VPCエンドポイント サービスを参照してください。
ステップ 1: VPCエンドポイントを作成する
AWS マネジメントコンソールでフロントエンド VPC エンドポイントを作成するには:
-
AWSマネジメントコンソールの [VPCエンドポイント] セクションに移動します。
-
右上で、リージョンをトランジット VPC リージョンと同じリージョンに設定します。
-
[ エンドポイントの作成 ] をクリックします。
-
エンドポイントに名前を付けるとき、Databricks では、リージョンと
service-direct(例:databricks-us-west-2-service-direct-vpceを含めることをお勧めします。 -
[サービス カテゴリ] で、 NLB と GWLB を使用するエンドポイント サービス を選択します。
-
サービス名フィールドに、お住まいの地域のサービス名を貼り付けます。PrivateLink VPCエンドポイント サービスのテーブルを使用して、フロントエンド PrivateLink サービス名 (テーブル内では サービス-Direct という ラベルが付いています) を見つけます。
-
「サービスの検証」 をクリックし、 検証されたサービス名が 緑色のボックスに表示されることを確認します。 「サービス名を検証できませんでした」というエラーが発生した場合は、VPC のリージョン、サブネット、新しい VPC エンドポイントが正しく一致していることを確認してください。
-
[ VPC ] メニューで、トランジットVPCをクリックします。
-
[サブネット] で、サブネットを選択します。
ap-northeast-1、ap-northeast-2、us-east-1、またはus-west-2にデプロイする場合は、アベイラビリティーゾーンのサポートにリストされているサポートされているアベイラビリティーゾーンのみを使用していることを確認してください。 -
[セキュリティ グループ] セクションで、フロントエンド接続用に作成したセキュリティ グループを選択します。
-
(オプション) VPC エンドポイントの プライベート DNS 名 を有効にします。
このステップでは プライベート DNS 名 を有効にしないことをお勧めします。 プライベート DNS を有効にすると、トラフィックはすぐに PrivateLink 経由でルーティングされますが、次の手順でVPCエンドポイントの登録と構成が完了するまで、リクエストは拒否されます。 代わりに、セットアップの完了後にステップ 5 で DNS を構成します。
-
[ エンドポイントの作成 ] をクリックします。
-
後のステップのために次の情報を記録します。
- VPCエンドポイントID
- 選択したサブネット内の VPC エンドポイントの IPv4 アドレス
ステップ 2: VPCポイントを登録する
AWSマネジメントコンソールでVPCエンドポイントを作成したら、 Databricksでそれらを登録します。 ネットワーク構成は作成後に更新することはできません。次のステップに従って、 VPCエンドポイントを登録します。
-
Databricks アカウント コンソールに移動します。
-
サイドバーの クラウドリソース をクリックします。
-
ネットワーク を選択します。
-
垂直ナビゲーションから VPC エンドポイント登録 をクリックします。
-
[VPCエンドポイントの登録] をクリックします。
-
VPC エンドポイント登録のわかりやすい名前を入力します。
VPCE us-west-2 for service-directのように、地域と目的を含む命名規則が推奨されます。
-
適切な地域を選択してください。リージョンは、ワークスペースのリージョンと、登録する AWS VPC エンドポイントのリージョンの両方に一致する必要があります。
-
AWS VPC エンドポイント ID フィールドに AWS VPC エンドポイント ID を貼り付けます。
-
[新しい VPC エンドポイントを登録] をクリックします。
同じ顧客管理VPCを共有する複数のワークスペースがある場合、それらの間でAWS VPCエンドポイントを共有できます。 複数のDatabricksアカウントの場合は、各アカウントにAWS VPCエンドポイントを登録します。
ステップ 3: プライベートアクセス設定を作成する
プライベート アクセス設定は、ワークスペースの PrivateLink 接続を説明するものであり、プライベート接続を有効にするために必要です。PrivateLink を使用するには、ワークスペースを作成するときにプライベート アクセス設定オブジェクトを添付する必要があります。次のステップに従って、プライベート アクセス設定を作成します。
-
アカウント管理者として、アカウントコンソールにログインします。
-
サイドバーで、 プライベートアクセス設定 をクリックします。
-
[プライベートアクセス設定の追加] をクリックします。
-
新しいプライベートアクセス設定オブジェクトの名前を入力します。
-
ワークスペースのリージョンに一致するリージョンを選択します。
-
パブリック アクセス有効 フィールドを設定します。
- False (デフォルト) : フロントエンド接続は PrivateLink 経由でのみアクセス可能であり、パブリック インターネット アクセスはブロックされます。
- True : フロントエンド接続は、PrivateLink とパブリック インターネットの両方からアクセスできます。
-
プライベートアクセスレベル を選択してください:
- アカウント : Databricksアカウントに登録されているVPCエンドポイントへの接続を制限します。
- エンドポイント : 明示的な VPC エンドポイントのセットへの接続を制限します。フロントエンド VPC エンドポイント登録を含めます。
-
[プライベートアクセス設定の追加] をクリックします。
ステップ 4: PrivateLink オブジェクトを使用してワークスペースを作成する
このステップを完了するには、ワークスペースが顧客管理VPCと安全なクラスター接続をすでに使用している必要があります。
-
ワークスペースを作成するには、 「クラシック ワークスペースを作成する」を参照してください。ワークスペース URL、リージョン、 Unity Catalog 、資格情報構成、ストレージ構成などのワークスペース フィールドに関するガイダンスについては、そのページを参照してください。 まだ 「保存」 ボタンをクリックしないでください。
-
詳細設定 をクリックして、追加のフィールドを表示します。
-
[PrivateLink] ドロップダウンで、前のステップで作成したプライベート アクセス設定オブジェクトの名前を選択します。
-
保存 をクリックします。
-
ワークスペースを作成または更新した後、それが使用可能になるまで待ってから、コンピュートを使用または作成します。
ワークスペースのステータスは
RUNNINGのままで、VPC の変更は直ちに行われます。ただし、その後 20 分間はコンピュートの使用と作成ができなくなります。 この間隔が終了する前にコンピュートを作成または使用しようとすると、コンピュートの起動に失敗したり、その他の予期しない動作が発生したりする可能性があります。
ステップ 5: フロントエンド PrivateLink の DNS を構成する
PrivateLink 構成を完了するには、VPC エンドポイントを介してトラフィックをルーティングするようにカスタム DNS 設定を構成します。詳細な手順については、 「AWS フロントエンド PrivateLink の DNS を構成する」を参照してください。
ステップ 6: ネットワーク接続を確認する
クライアントからの接続をテストして、フロントエンド PrivateLink が正しく構成されていることを確認します。
DNS解決を確認する
DNS クエリが、先ほど作成した VPC エンドポイントのプライベート IP アドレスに解決されることを確認します。
dig <region>.service-direct.privatelink.cloud.databricks.com
または代わりにnslookup使用します:
nslookup <region>.service-direct.privatelink.cloud.databricks.com
どちらのコマンドも、VPC エンドポイントのプライベート IP アドレスを返します。
基本的な接続をテストする
PrivateLink エンドポイントに接続できることを確認します。
nc -vz <region>.service-direct.privatelink.cloud.databricks.com 443
接続が成功した場合、フロントエンドの PrivateLink が正しく構成されています。
接続を確認した後、必要に応じてプライベート アクセス設定でpublic_access_enabledをfalseに設定して、プライベートのみのアクセスを強制します。
製品固有の接続テスト (Zerobus Ingest や Lakebase オートスケールなど) については、それらの特定のサービスのドキュメントを参照してください。
制限事項
次の制限事項に注意してください。
- VPC エンドポイントの制限 : すべてのタイプの VPC エンドポイントのデフォルトの制限は、アカウントあたり 110 です。クォータの増加が必要な場合は、Databricks アカウント チームにお問い合わせください。
- アベイラビリティゾーンの制限 : 一部の AWS リージョンでは、特定のアベイラビリティゾーンでのみ PrivateLink がサポートされます。可用性ゾーンのサポートを参照してください。
- クラシック コンピュートの制限 : 標準のクラシック コンピュート リソースからフロントエンド PrivateLink にアクセスすると、システムはポート 80、443、および 53 を除くワークスペースCIDRの IP アドレスへのトラフィックをブロックします。 この制限は、ワークスペース VPC 内に VPC エンドポイントを作成する場合にのみ適用されます。この制限を回避するには、別の VPC に VPC エンドポイントを作成し、2 つの VPC 間に VPC ピアリングを設定します。
可用性ゾーンのサポート
一部の AWS リージョンでは、特定のアベイラビリティーゾーンでのみ、パフォーマンス重視のサービス向けに PrivateLink をサポートしています。次のいずれかのリージョンにデプロイする場合は、VPC エンドポイント サブネットがサポートされているアベイラビリティーゾーンにあることを確認してください。
リージョン | サポートされているアベイラビリティゾーン |
|---|---|
|
|
|
|
|
|
|
|
サポートされているその他のすべてのリージョンでは、任意の可用性ゾーンが許可されます。