コンプライアンスセキュリティプロファイル

この記事では、コンプライアンス セキュリティ プロファイルとそのコンプライアンス コントロールについて説明します。

コンプライアンス セキュリティ プロファイルの概要

コンプライアンス セキュリティ プロファイルにより、追加のモニタリング、ノード間暗号化のための強制インスタンス タイプ、強化されたコンピュート イメージ、およびDatabricksワークスペースのその他の機能とコントロールが有効になります。 Databricks を使用して次のコンプライアンス標準に従って規制されているデータを処理するには、コンプライアンス セキュリティ プロファイルを有効にする必要があります。

コンプライアンス標準に準拠する必要なく、強化されたセキュリティ機能のためにコンプライアンス セキュリティ プロファイルを有効にすることも選択できます。

重要

  • 適用されるすべての法律および規制を遵守する責任はお客様のみが負います。

  • 規制対象データを処理する前に、コンプライアンス セキュリティ プロファイルと適切なコンプライアンス標準が構成されていることを確認する責任はお客様にあります。

  • HIPPAを追加する場合、 PHIデータを処理する前にDatabricksと BAA 契約を締結することがお客様の責任となります。

どのコンピュートリソースがセキュリティ を強化

コンプライアンス セキュリティ プロファイルの拡張機能は、すべてのリージョンのクラシック コンピュート プレーンのコンピュート リソースに適用されます。

サーバーレス SQL ウェアハウスのコンプライアンス セキュリティ プロファイルのサポートは地域によって異なります。 一部の地域では、サーバーレス SQL ウェアハウスのコンプライアンス セキュリティ プロファイルのサポートを参照してください。

コンプライアンス セキュリティ プロファイルの機能と技術的制御

セキュリティの強化には、次のものが含まれます。

  • Ubuntu Advantageに基づく強化されたオペレーティングシステムイメージ。

    Ubuntu Advantageは、エンタープライズセキュリティのパッケージであり、オープンソースインフラストラクチャとアプリケーションのサポートには次のものが含まれます。

  • 自動クラスター更新が自動的に有効になります。

    クラスターは、構成可能なメンテナンス ウィンドウ中に定期的に再起動され、最新の更新プログラムを取得します。 自動クラスター更新を参照してください。

  • 強化されたセキュリティ モニタリングが自動的に有効になります。

    セキュリティ モニタリング エージェントは、確認可能なログを生成します。 モニタリング エージェントの詳細については、 Databricksコンピュート プレーン イメージのモニタリング エージェントを参照してください。

  • AWSクラスターおよびDatabricks SQL SQLウェアハウスでの Nitro インスタンスタイプの強制使用。

  • エグレスの通信では、メタストアへの接続を含め、TLS 1.2 以降が使用されます。

要件

  • Databricks アカウントには、強化されたセキュリティとコンプライアンス アドオンが含まれている必要があります。 詳細については、 価格に関するページを参照してください。

  • Databricks ワークスペースはEnterprise 価格レベルにあります。

  • シングル サインオン (SSO) 認証がワークスペースに対して構成されている。

  • Databricks ワークスペースのルート S3 バケットの名前にピリオド文字 (.( my-bucket-1.0など) を含めることはできません。 既存のワークスペースのルート S3 バケットの名前にピリオド文字が含まれている場合は、コンプライアンス セキュリティ プロファイルを有効にする前に、Databricks アカウント チームにお問い合わせください。

  • インスタンス タイプは、クラスター ノード間のハードウェア実装ネットワーク暗号化とローカル ディスクの保存時の暗号化の両方を提供するものに限定されます。 サポートされているインスタンスタイプは次のとおりです。

    • 汎用: M-fleet, Md-fleet, M5dn, M5n, M5zn, M7g, M7gd, M6i, M7i, M6id, M6in, M6idn, M6a, M7a

    • コンピュートが最適化されました: C5aC5adC5nC6gnC7g、 、 C7gdC7gnC6iC6idC7iC6in C6a C7a

    • メモリ最適化:R-fleetRd-fleetR7gR7gdR6iR7iR7izR6idR6inR6idnR6aR7a

    • ストレージ最適化:D3D3enP3dnR5dnR5nI4iI4gI3enIm4gnIs4gen

    • アクセラレーテッド コンピューティング: G4dn, G5, P4d, P4de, P5

フリートインスタンスはAWS Gov クラウドでは利用できません。

ステップ 1: コンプライアンス セキュリティ プロファイル用のワークスペースを準備する

セキュリティ プロファイルを有効にして新しいワークスペースを作成する場合、または既存のワークスペースでセキュリティ プロファイルを有効にする場合は、次の手順に従います。

  1. セキュリティー プロファイルを有効にする前に、ワークスペースで長期稼働中のクラスターを確認してください。 クラスター セキュリティ プロファイルを有効にすると、長時間稼働中のクラスターは、自動クラスター更新の設定された頻度とウィンドウ内で自動的に再起動されます。 自動クラスター更新を参照してください。

  2. シングル サインオン (SSO) 認証が構成されていることを確認します。 「Databricks アカウント コンソールで SSO を設定する」を参照してください。

  3. 必要なネットワークポートを追加します。 必要なネットワーク ポートは、クラシック コンピュート プレーンのプライベート接続用のPrivateLinkバックエンド接続が有効になっているかどうかによって異なります。

    • PrivateLink バックエンド接続が有効: FIPS 暗号化接続のためにポート 2443 への双方向アクセスを許可するようにネットワーク セキュリティ グループを更新する必要があります。 詳細については、 「ステップ 1: AWSネットワーク オブジェクトを構成する」を参照してください。

    • PrivateLink バックエンド接続なし: FIPS 暗号化エンドポイントをサポートするには、ネットワーク セキュリティ グループを更新して、ポート 2443 への送信アクセスを許可する必要があります。 「セキュリティ グループ」を参照してください。

  4. ワークスペースが米国東部、米国西部、またはカナダ (中部) リージョンにあり、アウトバウンド ネットワーク アクセスを制限するように構成されている場合は、S3 サービスの FIPS エンドポイントをサポートするために、追加のエンドポイントへのトラフィックを許可する必要があります。 これは S3 サービスに適用されますが、STS および Kinesis エンドポイントには適用されません。 AWS は、STS および Kinesis 用の FIPS エンドポイントをまだ提供していません。

    • S3 の場合、エンドポイントへの送信トラフィック s3.<region>.amazonaws.com を許可し、 s3-fips.<region>.amazonaws.comします。 たとえば、 s3.us-east-1.amazonaws.coms3-fips.us-east-1.amazonaws.comなどです。

  5. 変更が正しく適用されたことを確認するには、次のテストを実行します。

    1. 1 つのドライバーと 1 つのワーカー、任意の DBR バージョン、および任意のインスタンスタイプを使用して Databricks クラスターを起動します。

    2. クラスターにアタッチされたノートブックを作成します。 このクラスターは、次のテストに使用します。

    3. ノートブックで、次のコマンドを実行して DBFS 接続を検証します。

      %fs ls /
      %sh ls /dbfs
      

      ファイルリストがエラーなしで表示されることを確認します。

    4. リージョンのコントロールプレーンインスタンスへのアクセスを確認します。 IP アドレスとドメインのテーブルからアドレスを取得し、VPC リージョンの Webapp エンドポイントを探します。

      %sh nc -zv <webapp-domain-name> 443
      

      たとえば、VPC リージョン us-west-2の場合:

      %sh nc -zv oregon.cloud.databricks.com 443
      

      結果が成功したことを示していることを確認します。

    5. ご使用の地域の SCC リレーへのアクセスを確認します。 IP アドレスとドメインの表からアドレスを取得し、VPC リージョンの SCC リレー エンドポイントを探します。

      %sh nc -zv <scc-relay-domain-name> 2443
      

      たとえば、VPC リージョン us-west-1の場合:

      %sh nc -zv tunnel.cloud.databricks.com 2443
      

      結果が成功したことを示していることを確認します。

    6. ワークスペースが米国東部リージョン、米国西部リージョン、またはカナダ (中部) リージョンにある場合は、そのリージョンの S3 エンドポイントへのアクセスを確認します。

      %sh nc -zv <bucket-name>.s3-fips.<region>.amazonaws.com 443
      

      たとえば、VPC リージョン us-west-1の場合:

      %sh nc -zv acme-company-bucket.s3-fips.us-west-1.amazonaws.com 443
      

      3 つのコマンドすべての結果が成功を示していることを確認します。

    7. 同じノートブックで、クラスターの Spark 構成が目的のエンドポイントを指していることを確認します。 例えば:

      >>> spark.conf.get("fs.s3a.stsAssumeRole.stsEndpoint")
      "sts.us-west-1.amazonaws.com"
      
      >>> spark.conf.get("fs.s3a.endpoint")
      "s3-fips.us-west-2.amazonaws.com"
      
  6. 影響を受けるすべてのワークスペース内の既存のすべてのコンピュートが、上記の要件に記載されているコンプライアンス セキュリティ プロファイルでサポートされているインスタンス タイプのみを使用していることを確認します。

    上記のリスト以外のインスタンス タイプを持つワークロードでは、コンピュートはinvalid_parameter_exceptionで起動に失敗します。

ステップ2: ワークスペースでクライセキュリティプロファイルを有効にする

Databricks Assistant は、 コンプライアンス セキュリティ プロファイルが有効になっているワークスペースでは デフォルト によって無効にされます。 ワークスペース管理者は、「Databricks Assistant を有効または無効にする」の手順に従ってこれを有効にできます。

  1. コンプライアンスセキュリティプロファイルを有効にします。

    ワークスペースでコンプライアンス セキュリティ プロファイルを直接有効にし、必要に応じてコンプライアンス標準を追加するには、「 ワークスペースで強化されたセキュリティとコンプライアンスの機能を有効にする」を参照してください。

    また、新しいワークスペースのアカウント レベルのデフォルトを設定してセキュリティ プロファイルを有効にし、必要に応じて新しいワークスペースにコンプライアンス標準を追加することを選択することもできます。 「新しいワークスペースのアカウント レベルのデフォルトの設定」を参照してください。

    更新がすべての環境に反映されるまでに最大 6 時間かかる場合があります。 アクティブに実行されているワークロードは、コンピュートリソースの起動時にアクティブだった設定を引き続き使用し、これらのワークロードが次に起動されたときに新しい設定が適用されます。

  2. 実行中のコンピュートをすべて再起動します。

ステップ3: ワークスペースのクライセキュリティプロファイルが有効になっていることを確認します

ワークスペースがコンプライアンスセキュリティプロファイルを使用していることを確認するには、ユーザーインターフェイスに 黄色のシールドロゴ が表示されていることを確認します。

  • シールドのロゴは、ページの右上、ワークスペース名の左側に表示されます。

    シールドのロゴは小。
  • ワークスペース名をクリックすると、アクセスできるワークスペースのリストが表示されます。 クライ セキュリティ プロファイルを有効にするワークスペースには、盾のアイコンとそれに続く「クライ セキュリティ プロファイル」というテキストが表示されます。

    シールドのロゴは大。

アカウント コンソールのワークスペース ページの[セキュリティとコンプライアンス]タブから、ワークスペースがコンプライアンス セキュリティ プロファイルを使用していることを確認することもできます。

シールドアカウント。

コンプライアンス セキュリティ プロファイルが有効になっているワークスペースのシールド アイコンが表示されない場合は、Databricks アカウント チームにお問い合わせください。