セキュリティの強化 モニタリング

この記事では、強化されたセキュリティ モニタリング機能と、それをDatabricksワークスペースまたはアカウントで構成する方法について説明します。

強化されたセキュリティ モニタリングの概要

Databricks強化されたセキュリティ モニタリングでは、強化されたディスク イメージと、監査ログを使用して確認できるログ行を生成する追加のセキュリティ モニタリング エージェントが提供されます。

セキュリティ強化は、クラスタや非サーバレス SQLウェアハウスなど、従来のコンピュート プレーンのコンピュートリソースにのみ適用されます。

強化されたセキュリティ モニタリングが有効になっている場合、サーバレス SQLウェアハウスには追加のモニタリングはありません。

強化されたセキュリティ モニタリングには以下が含まれます。

  • Ubuntu Advantageに基づく強化されたオペレーティングシステムイメージ。

    Ubuntu Advantageは、エンタープライズセキュリティのパッケージであり、オープンソースインフラストラクチャとアプリケーションのサポートには次のものが含まれます。

  • 確認できるログを生成するウイルス対策監視エージェント。

  • 確認できるログを生成するファイル整合性監視エージェント。

Databricks コンピュート平面イメージ内のエージェントの監視

拡張セキュリティ モニタリングが有効になっている場合、拡張コンピュート プレーン イメージにプリインストールされている 2 つのエージェントを含む追加のセキュリティ モニタリング エージェントがあります。 拡張コンピュートプレーンディスクイメージ内のモニタリングエージェントを無効にすることはできません。

モニタリングエージェント

場所

説明

出力の取得方法

ファイルの整合性 モニタリング

強化されたコンピュート平面イメージ

ファイルの整合性とセキュリティ境界違反を監視します。 このモニター エージェントは、クラスター内のワーカー VM で実行されます。

監査ログ システムテーブル を有効にし、 新しい行のログを確認します。

ウイルス対策とマルウェアの検出

強化されたコンピュート平面イメージ

ファイルシステムのウイルスを毎日スキャンします。 このモニター エージェントは、クラスターやプロまたはクラシック SQLウェアハウスなどのコンピュート リソース内の VM で実行されます。 ウイルス対策および不正プログラム検出エージェントは、ホスト OS ファイルシステム全体と Databricks Runtime コンテナファイルシステムをスキャンします。 クラスター VM の外部にあるものはすべて、そのスキャン範囲外です。

監査ログ システムテーブル を有効にし、 新しい行のログを確認します。

脆弱性スキャン

スキャンは、Databricks 環境の代表的なイメージで行われます。

コンテナー ホスト (VM) をスキャンして、特定の既知の脆弱性と CVE を検出します。

Databricks アカウント チームにイメージのスキャン レポートを要求します。

モニタリング エージェントの最新バージョンを入手するには、クラスターを再起動します。 ワークスペースで自動クラスター更新を使用する場合、デフォルトでは、スケジュールされたメンテナンス期間中に必要に応じてクラスターが再起動されます。 ワークスペースでコンプライアンス セキュリティ プロファイルが有効になっている場合、そのワークスペースでクラスターの自動更新が永続的に有効になります。

ファイルの整合性 モニタリング

強化されたコンピュート プレーン イメージには、ワークスペース内のクラシック コンピュート プレーン内のコンピュート リソース (クラスター ワーカー) の実行時の可視性と脅威検出を提供するファイル整合性モニタリング サービスが含まれています。

ファイル整合性モニターの出力は監査ログ内で生成され、システムテーブルを使用してアクセスできます。 「システムテーブルで使用状況を監視する」を参照してください。 ファイル整合性モニタリングに固有の新しい監査可能イベントのJSONスキーマについては、 「ファイル整合性モニタリング イベント」を参照してください。

重要

これらのログを確認するのはユーザーの責任です。 Databricks は独自の裁量でこれらのログを確認することがありますが、そのことを約束するものではありません。 エージェントが悪意のあるアクティビティを検出した場合、これらのイベントを優先順位付けし、解決または修復に Databricks によるアクションが必要な場合は Databricks でサポート チケットをオープンするのはあなたの責任です。 Databricks は、これらのログに基づいて、リソースの一時停止や終了などのアクションを実行する場合がありますが、そうすることを約束するものではありません。

ウイルス対策とマルウェアの検出

強化されたコンピュートプレーンイメージには、トロイの木馬、ウイルス、マルウェア、およびその他の悪意のある脅威を検出するためのウイルス対策エンジンが含まれています。 ウイルス対策モニターは、ホスト OS ファイル システム全体と Databricks Runtime コンテナー ファイル システムをスキャンします。 クラスター VM の外部にあるものはすべて、そのスキャン範囲外です。

ウイルス対策モニターの出力は監査ログ内に生成され、 システム テーブル (パブリック プレビュー) を使用してアクセスできます。 ウイルス対策モニタリングに固有の新しい監査可能イベントの JSON スキーマについては、「 ウイルス対策モニタリング イベント」を参照してください。

新しい仮想マシン イメージがビルドされると、更新されたシグネチャ ファイルがその中に含まれます。

重要

これらのログを確認するのはユーザーの責任です。 Databricks は独自の裁量でこれらのログを確認することがありますが、そのことを約束するものではありません。 エージェントが悪意のあるアクティビティを検出した場合、これらのイベントを優先順位付けし、解決または修復に Databricks によるアクションが必要な場合は Databricks でサポート チケットをオープンするのはあなたの責任です。 Databricks は、これらのログに基づいて、リソースの一時停止や終了などのアクションを実行する場合がありますが、そうすることを約束するものではありません。

新しい AMI イメージがビルドされると、更新されたシグネチャファイルが新しい AMI イメージに含まれます。

脆弱性スキャン

脆弱性モニター・エージェントは、特定の既知のCVEについて、コンテナー・ホスト (VM) の脆弱性スキャンを実行します。 スキャンは、Databricks 環境内の代表的なイメージで実行されます。 脆弱性スキャン レポートは、Databricks アカウント チームにリクエストできます。

このエージェントで脆弱性が見つかると、Databricks は脆弱性管理 SLA に照らして脆弱性を追跡し、利用可能な場合は更新されたイメージをリリースします。

モニタリングエージェント の管理とアップグレード

クラシック コンピュート プレーンのコンピュート リソースに使用されるディスク イメージ上にある追加のモニタリング エージェントは、システムをアップグレードするための標準の Databricks プロセスの一部です。

  • 従来のコンピュート プレーン ベース ディスク イメージ (AMI) は、Databricks によって所有、管理、修正プログラムが適用されます。

  • Databricks は、新しい AMI ディスクイメージをリリースすることで、セキュリティパッチを配信および適用します。 配信スケジュールは、新機能と検出された脆弱性の SLA によって異なります。 通常の配達は2〜4週間ごとです。

  • コンピュートプレーンの基本オペレーティングシステムはUbuntu Advantageです。

  • Databricks クラスターとプロまたはクラシックの SQLウェアハウスは、デフォルトによってエフェメラルです。 起動時に、クラスターとプロまたはクラシック SQLウェアハウスは、使用可能な最新の基本イメージを使用します。 セキュリティの脆弱性がある可能性のある古いバージョンは、新しいクラスターでは使用できません。

    • クラスターを (UI または API を使用して) 定期的に 再起動 し、パッチが適用された最新のホスト VM イメージが使用されるようにする必要があります。

エージェントの終了 の監視

ワーカー VM 上の監視エージェントがクラッシュまたはその他の終了のために実行されていないことが判明した場合、システムはエージェントの再起動を試みます。

モニター・エージェント・データの データ保持ポリシー

モニタリングログは、監査ログシステムテーブルまたは独自の Amazon S3 バケット ( 監査ログ配信を設定した場合) に送信されます。 これらのログの保持、取り込み、分析は、お客様の責任です。

脆弱性スキャン レポートとログは、Databricks によって少なくとも 1 年間保持されます。 Databricks アカウント チームに脆弱性レポートを要求できます。

Databricks の強化されたセキュリティを有効にする モニタリング

  • Databricks ワークスペースは、エンタープライズ価格レベルである必要があります。

  • Databricks アカウントには、強化されたセキュリティとコンプライアンス アドオンが含まれている必要があります。 詳細については、 価格に関するページを参照してください。

ワークスペースで強化されたセキュリティ モニタリングを直接有効にするには、「ワークスペースで強化されたセキュリティとモニタリング機能を有効にする」を参照してください。

新しいワークスペースにアカウント レベルのデフォルトを設定して、最初に強化されたセキュリティ モニタリングを有効にすることもできます。 あるいは、アカウント レベルのデフォルトを設定して、コンプライアンス セキュリティ プロファイルを有効にすることもできます。これにより、強化されたセキュリティ モニタリングが自動的に有効になります。 「新しいワークスペースのアカウントレベルのデフォルトを設定する」を参照してください。

更新プログラムは、すべての環境と課金などのダウンストリーム システムに反映されるまでに最大 6 時間かかる場合があります。 アクティブに実行されているワークロードは、クラスターまたはその他のコンピュートリソースの起動時にアクティブだった設定を引き続き使用し、これらのワークロードが次に起動されたときに新しい設定が適用されます。