コンプライアンスセキュリティプロファイル

この記事では、コンプライアンス セキュリティ プロファイルとそのコンプライアンス コントロールについて説明します。

コンプライアンス セキュリティ プロファイルの概要

コンプライアンス セキュリティ プロファイルにより、追加のモニタリング、ノード間暗号化のための強制インスタンス タイプ、強化されたコンピュート イメージ、およびDatabricksワークスペースのその他の機能とコントロールが有効になります。 Databricks を使用して次のコンプライアンス標準に従って規制されているデータを処理するには、コンプライアンス セキュリティ プロファイルを有効にする必要があります。

• HIPPA

• 情報セキュリティ登録評価者プログラム(IRAP)

• PCI-DSS

• FedRAMP High

• FedRAMP Moderate

• UK Cyber Essentials Plus(英語)

• CCCSミディアム(プロテクトB)

コンプライアンス標準に準拠する必要なく、強化されたセキュリティ機能のためにコンプライアンス セキュリティ プロファイルを有効にすることも選択できます。

重要

• 適用されるすべての法律および規制を遵守する責任はお客様のみが負います。

• 規制対象データを処理する前に、コンプライアンス セキュリティ プロファイルと適切なコンプライアンス標準が構成されていることを確認する責任はお客様にあります。

• HIPPAを追加する場合、 PHIデータを処理する前にDatabricksと BAA 契約を締結することがお客様の責任となります。

どのコンピュートリソースがセキュリティを強化

コンプライアンス セキュリティ プロファイルの機能強化は、すべてのリージョンのクラシック コンピュート プレーンのコンピュート リソースに適用されます。

サーバレス コンピュート plane リソース (サーバレス SQLウェアハウス、サーバレス コンピュート for ノートブック and ワークフロー、およびサーバレス DLT パイプライン) のコンプライアンス セキュリティ プロファイルのサポートは、コンプライアンス標準の選択と地域によって異なります。 次の表を参照してください。

コンプライアンス基準	クラシックコンピュート飛行機のサポート	サーバレス コンピュート plane support
なし	すべてのリージョン	サーバレスがあるすべての地域
HIPPA	すべてのリージョン	サーバレスがあるすべての地域
PCI-DSS	すべてのリージョン	us-east-1, ap-southeast-2
FedRAMP Moderate	すべてのリージョン	us-east-1
IRAP	すべてのリージョン	ap-southeast-2
CCCSミディアム(プロテクトB)	すべてのリージョン	なし
UK Cyber Essentials Plus(英語)	すべてのリージョン	なし

コンプライアンス security profile コンプライアンス標準 with サーバレス コンピュート availabilityを参照してください。

コンピュート平面アーキテクチャの詳細については、「 Databricks アーキテクチャの概要」を参照してください。

コンプライアンス セキュリティ プロファイルの機能と技術的制御

セキュリティの強化には、次のものが含まれます。

• Ubuntu Advantageに基づく強化されたオペレーティングシステムイメージ。

  Ubuntu Advantageは、エンタープライズセキュリティのパッケージであり、オープンソースインフラストラクチャとアプリケーションのサポートには次のものが含まれます。

  • CIS レベル 1 のハード イメージ。

  • FIPS 140 検証済み暗号化モジュール。

• 自動クラスター更新が自動的に有効になります。

  クラスターは、構成可能なメンテナンス ウィンドウ中に定期的に再起動され、最新の更新プログラムを取得します。 自動クラスター更新を参照してください。

• 強化されたセキュリティ モニタリングが自動的に有効になります。

  セキュリティ モニタリング エージェントは、確認可能なログを生成します。 モニタリング エージェントの詳細については、 Databricksコンピュート プレーン イメージのモニタリング エージェントを参照してください。

• AWSクラスターおよびDatabricks SQL SQLウェアハウスでの Nitro インスタンスタイプの強制使用。

• エグレスの通信では、メタストアへの接続を含め、TLS 1.2 以降が使用されます。

要件

• Databricks アカウントには、強化されたセキュリティとコンプライアンス アドオンが含まれている必要があります。 詳細については、 価格に関するページを参照してください。

• Databricks ワークスペースはEnterprise 価格レベルにあります。

• ワークスペースにシングル サインオン (SSO)認証が構成されています。

• Databricks ワークスペース ストレージ バケットの名前には、ピリオド文字 ( . ) ( my-bucket-1.0など) を含めることはできません。 既存のワークスペース ストレージ バケットの名前にピリオド文字が含まれている場合は、コンプライアンス セキュリティ プロファイルを有効にする前に、Databricks アカウント チームに問い合わせてください。

• インスタンス タイプは、クラスター ノード間のハードウェア実装ネットワーク暗号化とローカル ディスクの保存時の暗号化の両方を提供するものに限定されます。 サポートされているインスタンスタイプは次のとおりです。

  • 汎用: M-fleet, Md-fleet, M5dn, M5n, M5zn, M7g, M7gd, M6i, M7i, M6id, M6in, M6idn

  • コンピュート最適化: C5a, C5ad, C5n, C6gn, C7g, C7gd, C7gn, C6i, C6id, C7i, C6in

  • メモリ最適化:R-fleet、Rd-fleet、R7g、R7gd、R6i、R7i、R7iz、R6id、R6in、 R6idn

  • ストレージ最適化:D3、D3en、P3dn、R5dn、R5n、I4i、 I3en

  • アクセラレーテッド コンピューティング: G4dn, G5, P4d, P4de, P5

注

フリートインスタンスはAWS Gov クラウドでは利用できません。

ステップ 1: コンプライアンス セキュリティ プロファイル用のワークスペースを準備する

セキュリティ プロファイルを有効にして新しいワークスペースを作成する場合、または既存のワークスペースでセキュリティ プロファイルを有効にする場合は、次の手順に従います。

1. セキュリティー プロファイルを有効にする前に、ワークスペースで長期稼働中のクラスターを確認してください。 クラスター セキュリティ プロファイルを有効にすると、長時間稼働中のクラスターは、自動クラスター更新の設定された頻度とウィンドウ内で自動的に再起動されます。 自動クラスター更新を参照してください。

2. シングル サインオン (SSO) 認証が構成されていることを確認します。 「Databricks で SSO を構成する」を参照してください。

3. 必要なネットワークポートを追加します。 必要なネットワーク ポートは、クラシック コンピュート プレーンのプライベート接続用のPrivateLinkバックエンド接続が有効になっているかどうかによって異なります。

   • PrivateLink バックエンド接続が有効: FIPS 暗号化接続のためにポート 2443 への双方向アクセスを許可するようにネットワーク セキュリティ グループを更新する必要があります。 詳細については、 「ステップ 1: AWSネットワーク オブジェクトを構成する」を参照してください。

   • PrivateLink バックエンド接続なし: FIPS 暗号化エンドポイントをサポートするには、ネットワーク セキュリティ グループを更新して、ポート 2443 への送信アクセスを許可する必要があります。 「セキュリティ グループ」を参照してください。

4. ワークスペースが米国東部、米国西部、またはカナダ (中部) リージョンにあり、アウトバウンド ネットワーク アクセスを制限するように構成されている場合は、S3 サービスの FIPS エンドポイントをサポートするために、追加のエンドポイントへのトラフィックを許可する必要があります。 これは S3 サービスに適用されますが、STS および Kinesis エンドポイントには適用されません。 AWS はまだ STS および Kinesis 用の FIPS エンドポイントを提供していません。

   • S3 の場合、エンドポイントへの送信トラフィック s3.<region>.amazonaws.com を許可し、 s3-fips.<region>.amazonaws.comします。 たとえば、 s3.us-east-1.amazonaws.com や s3-fips.us-east-1.amazonaws.comなどです。

5. 変更が正しく適用されたことを確認するには、次のテストを実行します。

   1. 1 つのドライバーと 1 つのワーカー、任意の DBR バージョン、および任意のインスタンスタイプを使用して Databricks クラスターを起動します。

   2. クラスターにアタッチされたノートブックを作成します。 このクラスターは、次のテストに使用します。

   3. ノートブックで、次のコマンドを実行して DBFS 接続を検証します。

      %fs ls /
      %sh ls /dbfs
      

      ファイルリストがエラーなしで表示されることを確認します。

   4. リージョンのコントロールプレーンインスタンスへのアクセスを確認します。 Databricks サービスとアセットの IP アドレスとドメインの表からアドレスを取得し、VPC リージョンの Webapp エンドポイントを探します。

      %sh nc -zv <webapp-domain-name> 443
      

      たとえば、VPC リージョン us-west-2の場合:

      %sh nc -zv oregon.cloud.databricks.com 443
      

      結果が成功したことを示していることを確認します。

   5. ご使用の地域の SCC リレーへのアクセスを確認します。 Databricks サービスとアセットの IP アドレスとドメインの表からアドレスを取得し、VPC リージョンの SCC リレー エンドポイントを探します。

      %sh nc -zv <scc-relay-domain-name> 2443
      

      たとえば、VPC リージョン us-west-1の場合:

      %sh nc -zv tunnel.cloud.databricks.com 2443
      

      結果が成功したことを示していることを確認します。

   6. ワークスペースが米国東部リージョン、米国西部リージョン、またはカナダ (中部) リージョンにある場合は、そのリージョンの S3 エンドポイントへのアクセスを確認します。

      %sh nc -zv <bucket-name>.s3-fips.<region>.amazonaws.com 443
      

      たとえば、VPC リージョン us-west-1の場合:

      %sh nc -zv acme-company-bucket.s3-fips.us-west-1.amazonaws.com 443
      

      3 つのコマンドすべての結果が成功を示していることを確認します。

   7. 同じノートブックで、クラスターの Spark 構成が目的のエンドポイントを指していることを確認します。 例えば：

      >>> spark.conf.get("fs.s3a.stsAssumeRole.stsEndpoint")
      "sts.us-west-1.amazonaws.com"
      
      >>> spark.conf.get("fs.s3a.endpoint")
      "s3-fips.us-west-2.amazonaws.com"
      

6. 影響を受けるすべてのワークスペース内の既存のすべてのコンピュートが、上記の要件に記載されているコンプライアンス セキュリティ プロファイルでサポートされているインスタンス タイプのみを使用していることを確認します。

   上記のリスト以外のインスタンス タイプを持つワークロードでは、コンピュートはinvalid_parameter_exceptionで起動に失敗します。

ステップ2: ワークスペースでクライセキュリティプロファイルを有効にする

注

Databricks Assistant 、コンプライアンス セキュリティ プロファイルを有効にしているワークスペース上では無効になっています。 ワークスペース管理者は、「アカウントの場合: Databricks Assistant 機能を無効または有効にする」の手順に従ってこれを有効にできます。

1. コンプライアンスセキュリティプロファイルを有効にします。

   ワークスペースでコンプライアンス セキュリティ プロファイルを有効にし、必要に応じてコンプライアンス標準を追加するには、「 既存のワークスペースで強化されたセキュリティとコンプライアンスの機能を有効にする」を参照してください。

   コンプライアンス セキュリティ プロファイルを使用して新しいワークスペースを作成し、必要に応じてコンプライアンス標準を追加するには、 「強化されたセキュリティとコンプライアンス機能を使用して新しいワークスペースを作成する」を参照してください。

   アカウント レベルの設定を構成して、すべての新しいワークスペースでセキュリティ プロファイル (コンプライアンス標準を含む) を有効にすることもできます。 「すべての新しいワークスペースのアカウント レベルのデフォルトを設定する」を参照してください。

   更新がすべての環境に反映されるまでに最大 6 時間かかる場合があります。 アクティブに実行されているワークロードは、コンピュートリソースの起動時にアクティブだった設定を引き続き使用し、これらのワークロードが次に起動されたときに新しい設定が適用されます。

2. 実行中のコンピュートをすべて再起動します。

ステップ 3: ワークスペースのクライセキュリティプロファイルが有効になっていることを確認します

ワークスペースがコンプライアンスセキュリティプロファイルを使用していることを確認するには、ユーザーインターフェイスに 黄色のシールドロゴ が表示されていることを確認します。

• シールドのロゴは、ページの右上、ワークスペース名の左側に表示されます。

  

• ワークスペース名をクリックすると、アクセスできるワークスペースのリストが表示されます。 クライ セキュリティ プロファイルを有効にするワークスペースには、盾のアイコンとそれに続く「クライ セキュリティ プロファイル」というテキストが表示されます。

  

アカウント コンソールのワークスペース ページの[セキュリティとコンプライアンス]タブから、ワークスペースがコンプライアンス セキュリティ プロファイルを使用していることを確認することもできます。

コンプライアンス セキュリティ プロファイルが有効になっているワークスペースのシールド アイコンが表示されない場合は、Databricks アカウント チームにお問い合わせください。