メインコンテンツまでスキップ
に最終更新

隔離された環境

隔離された環境アーキテクチャは、強化された接続のベースラインを継承し、プライベートワークスペースへのアクセスと必須の外部ファイアウォールという2つの要件を追加します。ワークスペースへのアクセスはVPNまたはPrivateLinkによる受信によって制限され、公共インターネットへのアクセスは一切ありません。すべての従来のコンピュートエグレスは、検査およびポリシー強制適用のためにファイアウォールを通過します。

このアーキテクチャには、

  • 完全なネットワーク分離 ：すべてのトラフィックはプライベート接続を経由します。
  • プライベート ワークスペース アクセス：VPN またはインバウンド PrivateLink のみ。ワークスペースはパブリックインターネットからアクセスできません。
  • 必須エグレス検査 ：すべてのクラシックコンピュート送信トラフィックのファイアウォール検査。
  • データ流出防止 ：ネットワーク層のコントロールにより、不正なデータ転送を遮断します。

このアーキテクチャを使用する場合：

  • ワークスペースへのアクセスは、VPN経由またはインバウンドPrivateLinkのようにプライベートである必要があります。
  • 金融サービス、医療、政府機関など、高度に規制された業界におけるデータ処理。
  • コンプライアンス フレームワークは、送信制御 (例: SOC 2、HIPPA、PCI DSS、FedRAMP) を必要とします。
  • 企業向けゼロトラストセキュリティフレームワークの実装
  • データ流出防止は必須要件です。

前提条件​

  • Databricks のエンタープライズプラン。

  • 既存の VPN インフラストラクチャまたはインバウンド PrivateLink 接続。

  • ファイアウォールまたはネットワーク仮想アプライアンス（NVA）。

アーキテクチャの概要​

分離環境アーキテクチャ：ファイアウォール検査を伴うプライベート接続を介して、すべてのトラフィックがルーティングされます。

トラフィックタイプ

パス

ユーザーアクセス

ユーザー → VPN またはインバウンド PrivateLink → ワークスペース

クラシックコンピュート → コントロール

コンピュート → クラシック PrivateLink → Databricks コントロールプレーン

クラシックコンピュートからクラウド

コンピュート → VPCエンドポイント → AWSサービス (S3、STS、Kinesis)

サーバレス → お客様のリソース

サーバレスコンピュート → NCC プライベートエンドポイント → S3 バケットまたは VPC

クラシック コンピュート → イーグレス

コンピュート → 外部ファイアウォール（必須）→ 検査対象インターネット

必須コンポーネント​

インバウンド​

ワークスペースは、VPN、インバウンドPrivateLink、または既存のインフラストラクチャに応じてその両方といったプライベート接続でのみ到達可能です。顧客は複数を積み重ねるのではなく、通常1つを選択します。

ロック塗りつぶしアイコン プライベートアクセス設定（パブリックアクセス無効化）

これは、パブリックなイングレスを実際にブロックするゲーティング制御です。それがないと、ワークスペースはPrivateLinkが構成されていても引き続きインターネットトラフィックを受け入れます。PrivateLinkは追加のパスとなり、唯一のパスではありません。

Public access enabled が False に設定されている プライベートアクセス設定 オブジェクトを作成し、それをワークスペースにアタッチします。パブリックアクセスが無効になっている場合、パブリックトラフィックはワークスペースに到達できません。

ユーザーシールドアイコン。 ワークスペースのイングレス制御

推奨されるイングレス ポリシー フレームワークであるコンテキストベースのイングレス（CBI）を使用して、ワークスペースのイングレスを構成します。CBIルールは、ネットワーク ソース（IP範囲）、ID、認証メカニズム、アクセス スコープを1つの許可/拒否モデルに組み合わせます。そのため、ネットワーク ソース属性はスタンドアロンのIPアクセスリスト機能と同じジョブを実行し、さらに多くの機能も提供します。

IP アクセス リストは引き続きサポートされており、CBI とともに構成できます。両方が構成されている場合、リクエストは両方のコントロールで許可される必要があります。

設定レベル：

ベストプラクティス：

  • まずは幅広く開始し、実際の使用量に基づいて絞り込んでください。
  • IP範囲の目的と有効期限を記載します。
  • 既知の安全なIP範囲を介して管理者アクセスを維持してください。
  • 四半期ごとに確認のうえ、廃止された範囲を削除してください。
警告

Ingress policies and IP access lists can lock you out of your workspace if misconfigured. Always maintain administrator access through a known-good IP range.

共有アイコンをロックします。 OpenSharingの受信者のアクセス制御

OpenSharing は、受信者オブジェクトで構成された独自の IP アクセス リストを使用します。これはワークスペースIPアクセスリストとは別であり、コンテキストベースのイングレスではカバーされていません。Databricks-to-Open共有（Databricks以外の受信者）にのみ適用されます。

IPアクセスリストを使用してOpenSharing受信者のアクセスを制限する（Databricks-to-Open sharing）を参照してください。

リンクアイコン。 インバウンド接続

ワークスペース UI および API へのユーザーアクセス向けにプライベート接続を確立します。ユーザーは、VPN またはインバウンド PrivateLink 経由でワークスペースにアクセスします。パブリックインターネットからはアクセスできません。

「インバウンドPrivateLinkを構成する」を参照してください。

情報アイコン。 カスタムDNS

DatabricksエンドポイントをプライベートIPアドレスに解決するように、プライベートDNSを設定してください。

「AWS インバウンド PrivateLink の DNS を構成する」を参照してください。

アウトバウンド​

サーバレスエグレスコントロール（ネットワークポリシーとNCCプライベートエンドポイント）は、Hardened connectivityベースラインから継承されます。このアーキテクチャでは、Hardenedではオプションであった外部ファイアウォールが、完全なクラシックコンピュートのエグレス検査のために必須となります。

シールドアイコン。 外部ファイアウォール（必須）

すべてのエグレストラフィックを、検査、ログ記録、およびポリシー適用のためにファイアウォール経由でルーティングします。オプションは次のとおりです。

  • AWS ネットワークファイアウォールは、運用オーバーヘッドが低く、AWS ルーティングと連携するマネージドサービスです。
  • より詳細な検査機能のためにゲートウェイロードバランサーと統合されたサードパーティ製ファイアウォールアプライアンス（Palo Altoなど）既存のPalo Alto製品をご利用の組織に選ばれています。

ファイアウォール規則で許可する必要がある必須の Databricks エンドポイントについては、Databricks サービスおよびアセットの IP アドレスとドメインを参照してください。

ヒント

For maximum lockdown, consider hosting a private package repository (such as JFrog Artifactory or Sonatype Nexus) for Python, R, and Maven packages. This eliminates the need for firewall rules allowing access to public package indexes like PyPI.

警告

Databricks control plane and SCC relay connections use TLS with certificate pinning. Do not enable TLS inspection (decrypt and re-encrypt) on traffic between your clusters and the Databricks control plane. Doing so causes cluster failures. Configure firewall rules to allow these connections by destination FQDN or IP without TLS interception. See IP addresses and domains for Databricks services and assets for required endpoints.

重要

Incorrectly configured firewall rules can break Databricks capabilities. Test thoroughly in a non-production environment.

ロック塗りつぶしアイコン データ流出防止対策

不正なデータ流出を防ぐためのネットワークポリシーとファイアウォール制御の構成：

  • ネットワークポリシーによるサーバレス送信制御
  • ファイアウォール/NVA 経由の従来のコンピュートエグレス
  • 承認済みデータ宛先向けのプライベートエンドポイントルール

実装ガイダンスについては、データ流出防止対策 を参照してください。

クラシック コンピュート ベースライン​

従来のコンピュートベースラインは、Managed security から継承され、クラウドサービスエンドポイントは、Hardened connectivity から継承されます。このアーキテクチャでは、追加のクラシックコンピュートコンポーネントは必要ありません。

ベースラインには、顧客管理VPC、セキュリティで保護されたクラスター接続 (SCC)、および従来のPrivateLinkが含まれています。クラウドサービスのエンドポイントには、VPCエンドポイント、VPCエンドポイントポリシー、およびS3バケットポリシーが含まれます。

データアクセス用イグレスアプローチ​

コンピュート リソースからの送信データアクセスには、2つの対処方法があります。

  • ファイアウォール付きNATゲートウェイ ：アウトバウンド接続用にNATゲートウェイを導入し、トラフィックをファイアウォール経由でルーティングして検査します。このアプローチにより、外部パッケージリポジトリとAPIsへの制御されたアクセスが可能になり、トラフィックパターンの可視性が維持されます。このアプローチは、外部リソースにアクセスする必要があるものの、検査とログ記録が求められる場合に使用してください。

  • [NATゲートウェイなし (完全にプライベート)]：NATゲートウェイを完全に削除して、コンピュートリソースからのすべてのパブリック通信を排除します。 すべてのデータアクセスは、プライベートエンドポイントとVPCエンドポイント経由でのみ行われます。このアプローチは、パブリックイグレスパスを通じたデータ流出の可能性を排除することにより、最高のセキュリティレベルを実現します。組織がコンピュートリソースからのあらゆるパブリックインターネット通信を禁止している場合は、このアプローチを使用してください。

実装​

展開済みのHardened connectivityベースラインから開始します。次のフェーズでは、このアーキテクチャを定義するプライベートワークスペースアクセスと必要な外部ファイアウォールを追加します。

フェーズ1：インバウンド制御​

  1. Databricks Web アプリケーションと REST APIs へのユーザーアクセスが、パブリック IP を介さずに PrivateLink を介して行われるように、インバウンド PrivateLink を構成します。「インバウンドPrivateLinkを構成する」を参照してください。
  2. Public access enabled を False に設定した プライベートアクセス設定 オブジェクトを作成し、ワークスペースにアタッチします。これが実際にパブリックイングレスをブロックします。それがないと、インバウンドPrivateLinkが構成されていても、ワークスペースは引き続きインターネットトラフィックを受け入れます。
  3. 企業のVPNまたはPrivateLinkパスを通じてユーザーアクセスをテストし、ワークスペースへのトラフィックが意図したとおりにプライベートネットワーク経由でルーティングされ、パブリックアクセスがブロックされていることを確認してください。

フェーズ2: 外部ファイアウォール（必須）​

  1. ハブVPCにサードパーティ製のファイアウォールアプライアンス（Palo Altoなど）をデプロイし、適切なルーティング（例えば、Transit GatewayやVPCピアリング）を使用してワークスペースVPCと統合するか、AWSネットワークファイアウォールを使用します。
  2. ファイアウォールに0.0.0.0/0を送信するようにルートテーブルを構成します。ファイアウォールルールは、必要なDatabricksエンドポイント（Databricks サービスおよびアセットの IP アドレスとドメインを参照）、クラウドサービスエンドポイント、および承認された外部サービスを許可する必要があります。
  3. コントロールプレーンおよびSCCリレー通信において、TLSインターセプトを行わないファイアウォールルールを設定します。

フェーズ3：検証​

  1. ファイアウォールログを確認することでエグレス制御を検証し、クラスターおよびサーバレストラフィックが承認された外部または内部エンドポイントにのみ到達していることを確認してください。
  2. クラスターノードまたはその他のDatabricksが管理するコンピュートリソースにパブリックIPアドレスがないことを確認してください。
  3. すべてのコントロール、データ、および受信トラフィックが、構成されたPrivateLinkエンドポイントとファイアウォールパスを介して流れることを検証してください。

Databricks Terraform SRAは、このデプロイメントパターンを自動化するInfrastructure-as-Codeテンプレートを提供します。

検証​

アーキテクチャをデプロイした後、完全なネットワーク分離、プライベート接続、およびエグレス制御が構成どおりに機能することを確認するために、次のチェックを実行してください。

チェック

期待結果

VPN経由でアクセス可能なワークスペース

はい

VPNなしでアクセス可能なワークスペース

No

クラスターはSCCで起動します。

はい、パブリックIPはありません。

プライベート接続によるデータアクセス

はい

ファイアウォールの承認がないため、エグレスがブロックされました。

はい

DNS はプライベートIPに解決されます。

はい

トラブルシューティング​

検証チェックが失敗した場合や、ワークロードが必要なエンドポイントに接続できない場合は、一般的な問題を診断するため、以下のクラウド固有のテーブルを使用してください。

問題

原因

解決方法

クラスターの起動に失敗します

ファイアウォールによる必須エンドポイントのブロック、またはSCC、Databricksコントロールプレーン、S3、Kinesis、STSのVPCエンドポイントの設定ミス（セキュリティグループ、ルーティング）

ファイアウォールログを確認してDatabricksインフラストラクチャルールを追加し、VPCエンドポイントセキュリティグループがクラスターサブネットからのトラフィックを許可していることを検証し、ルートテーブルを確認してください。

DNS解決に失敗しました

プライベートDNSの構成ミス

Route 53 プライベートホストゾーンと VPC 関連付けを確認します。

S3 アクセスに失敗しました

VPCエンドポイントまたはルーティングの問題

S3 ゲートウェイエンドポイント構成およびルートテーブルを確認する

パッケージのインストールに失敗しました

PyPI はファイアウォールによって遮断されています。

ファイアウォールの許可リストにPyPIを追加します。

継続的なメンテナンス​

  • ファイアウォールルール ：送信許可リストを定期的に見直し、更新してください。
  • DNS管理 ：ワークスペースを追加する際にレコードを更新します。
  • エンドポイントのモニタリング : プライベートエンドポイントの正常性とデータ転送コストを追跡する。
  • ネットワーク ポリシー ：承認済みの新しいデータソースのプライベート エンドポイントを追加します。
  • ファイアウォールを削除 ：ファイアウォールの運用上のオーバーヘッドが高すぎる場合、またはコンプライアンス要件が緩和される場合は、ファイアウォールコンポーネントを削除し、プライベート接続とVPNアクセスを維持できます。
  • 強固な接続にダウングレード ：プライベートワークスペースへのアクセスが生産性の障壁となる場合。

次のステップ​

このページの見出し