セキュリティの強化 モニタリング

この記事では、強化されたセキュリティ モニタリング機能と、それをDatabricksワークスペースまたはアカウントで構成する方法について説明します。

強化されたセキュリティ モニタリングの概要

Databricks強化されたセキュリティ モニタリングでは、強化されたディスク イメージと、監査ログを使用して確認できるログ行を生成する追加のセキュリティ モニタリング エージェントが提供されます。

セキュリティ強化は、クラスタや非サーバレス SQLウェアハウスなど、従来のコンピュート プレーンのコンピュートリソースにのみ適用されます。

拡張セキュリティ モニタリングが有効になっている場合、サーバレス SQL ウェアハウスなどのサーバレス コンピュート プレーン リソースには追加のモニタリングはありません。

強化されたセキュリティ モニタリングには以下が含まれます。

• Ubuntu Advantageに基づく強化されたオペレーティングシステムイメージ。

  Ubuntu Advantageは、エンタープライズセキュリティのパッケージであり、オープンソースインフラストラクチャとアプリケーションのサポートには次のものが含まれます。

  • CIS レベル 1 のハード イメージ。

  • FIPS 140 検証済み暗号化モジュール。

• 確認できるログを生成するウイルス対策監視エージェント。

• 確認できるログを生成するファイル整合性監視エージェント。

Databricks コンピュートプレーンイメージ内のエージェントの監視

拡張セキュリティ モニタリングが有効になっている場合、拡張コンピュート プレーン イメージにプリインストールされている 2 つのエージェントを含む追加のセキュリティ モニタリング エージェントがあります。 拡張コンピュートプレーンディスクイメージ内のモニタリングエージェントを無効にすることはできません。

モニタリングエージェント	場所	説明	出力の取得方法
ファイルの整合性 モニタリング	強化されたコンピュートプレーンイメージ	ファイルの整合性とセキュリティ境界違反を監視します。 このモニター エージェントは、クラスター内のワーカー VM で実行されます。	監査ログシステムテーブルを有効にして、 新しい行のログを確認します。
ウイルス対策とマルウェアの検出	強化されたコンピュートプレーンイメージ	ファイルシステムのウイルスを毎日スキャンします。 このモニター エージェントは、クラスターやプロまたはクラシック SQLウェアハウスなどのコンピュート リソース内の VM で実行されます。 ウイルス対策および不正プログラム検出エージェントは、ホスト OS ファイルシステム全体と Databricks Runtime コンテナファイルシステムをスキャンします。 クラスター VM の外部にあるものはすべて、そのスキャン範囲外です。	監査ログシステムテーブルを有効にして、 新しい行のログを確認します。
脆弱性スキャン	スキャンは、Databricks 環境の代表的なイメージで行われます。	コンテナホスト(VM)をスキャンして、特定の既知の脆弱性とCommon Vulnerabilities and Exposures(CVE)を探します。	Databricksワークスペース管理者に電子メールを送信します。

最新バージョンの モニター エージェントを取得するには、クラスターを再起動します。 ワークスペースで自動 クラスター 更新を使用している場合は、スケジュールされたメンテナンス ウィンドウ中に必要に応じて デフォルト クラスター を再起動します。 ワークスペースでコンプライアンス セキュリティ プロファイルが有効になっている場合、そのワークスペースでは自動クラスター更新が永続的に有効になります。

ファイルの整合性 モニタリング

強化されたコンピュート プレーン イメージには、ワークスペース内のクラシック コンピュート プレーン内のコンピュート リソース (クラスター ワーカー) の実行時の可視性と脅威検出を提供するファイル整合性モニタリング サービスが含まれています。

ファイル整合性モニターの出力は、システムテーブルを使用してアクセスできる監査ログ内に生成されます。 システムテーブルを使用したアカウントアクティビティのモニタリングを参照してください。ファイル整合性モニタリングに固有の新しい監査可能イベントの JSON スキーマについては、「 ファイル整合性モニタリング イベント」を参照してください。

重要

これらのログを確認するのはユーザーの責任です。 Databricks は独自の裁量でこれらのログを確認することがありますが、そのことを約束するものではありません。 エージェントが悪意のあるアクティビティを検出した場合、これらのイベントを優先順位付けし、解決または修復に Databricks によるアクションが必要な場合は Databricks でサポート チケットをオープンするのはあなたの責任です。 Databricks は、これらのログに基づいて、リソースの一時停止や終了などのアクションを実行する場合がありますが、そうすることを約束するものではありません。

ウイルス対策とマルウェアの検出

強化されたコンピュートプレーンイメージには、トロイの木馬、ウイルス、マルウェア、およびその他の悪意のある脅威を検出するためのウイルス対策エンジンが含まれています。 ウイルス対策モニターは、ホスト OS ファイル システム全体と Databricks Runtime コンテナー ファイル システムをスキャンします。 クラスター VM の外部にあるものはすべて、そのスキャン範囲外です。

ウイルス対策モニターの出力は、 システムテーブルを使用してアクセスできる監査ログ内に生成されます。 ウイルス対策モニタリングに固有の新しい監査可能イベントの JSON スキーマについては、「 ウイルス対策モニタリング イベント」を参照してください。

新しい仮想マシン イメージがビルドされると、更新されたシグネチャ ファイルがその中に含まれます。

重要

これらのログを確認するのはユーザーの責任です。 Databricks は独自の裁量でこれらのログを確認することがありますが、そのことを約束するものではありません。 エージェントが悪意のあるアクティビティを検出した場合、これらのイベントを優先順位付けし、解決または修復に Databricks によるアクションが必要な場合は Databricks でサポート チケットをオープンするのはあなたの責任です。 Databricks は、これらのログに基づいて、リソースの一時停止や終了などのアクションを実行する場合がありますが、そうすることを約束するものではありません。

新しい AMI イメージがビルドされると、更新されたシグネチャファイルが新しい AMI イメージに含まれます。

脆弱性スキャン

脆弱性モニター・エージェントは、特定の既知の CVE について、コンテナー・ホスト (VM) の脆弱性スキャンを実行します。 スキャンは、Databricks 環境内の代表的なイメージで実行されます。 Databricks新しい AMI ディスク イメージをリリースすると、脆弱性スキャン レポートがすべてのワークスペース管理者に電子メールで送信されます。

このエージェントで脆弱性が見つかると、Databricks は脆弱性管理 SLA に照らして脆弱性を追跡し、利用可能な場合は更新されたイメージをリリースします。

モニタリングエージェントの管理とアップグレード

クラシック コンピュート プレーンのコンピュート リソースに使用されるディスク イメージ上にある追加のモニタリング エージェントは、システムをアップグレードするための標準の Databricks プロセスの一部です。

• 従来のコンピュート プレーン ベース ディスク イメージ (AMI) は、Databricks によって所有、管理、修正プログラムが適用されます。

• Databricks は、新しい AMI ディスクイメージをリリースすることで、セキュリティパッチを配信および適用します。 配信スケジュールは、新機能と検出された脆弱性の SLA によって異なります。 通常の配達は2〜4週間ごとです。

• コンピュートプレーンの基本オペレーティングシステムはUbuntu Advantageです。

• Databricks クラスターとプロまたはクラシックの SQLウェアハウスは、デフォルトでエフェメラルです。 起動時に、クラスターとプロまたはクラシック SQLウェアハウスは、使用可能な最新の基本イメージを使用します。 セキュリティの脆弱性がある可能性のある古いバージョンは、新しいクラスターでは使用できません。

  • クラスターを (UI または API を使用して) 定期的に 再起動 し、パッチが適用された最新のホスト VM イメージが使用されるようにする必要があります。

エージェントの終了の監視

ワーカー VM 上の監視エージェントがクラッシュまたはその他の終了のために実行されていないことが判明した場合、システムはエージェントの再起動を試みます。

モニター・エージェント・データのデータ保持ポリシー

監査ログ配信 を設定している場合は、監査ログは監査ログシステムテーブルまたは独自のAmazonS3 バケットに送信されます。これらのログの保持、取り込み、分析は、お客様の責任で行ってください。

脆弱性スキャン レポートとログは、Databricks によって少なくとも 1 年間保持されます。

Databricks の強化されたセキュリティを有効にする モニタリング

• Databricks ワークスペースは、エンタープライズ価格レベルである必要があります。

• Databricks アカウントには、強化されたセキュリティとコンプライアンス アドオンが含まれている必要があります。 詳細については、 価格に関するページを参照してください。

強化されたセキュリティ モニタリングをワークスペースで直接有効にするには、 「既存のワークスペースで強化されたセキュリティとコンプライアンス機能を有効にする」を参照してください。

新しいワークスペースにアカウントレベルの安心を設定して、最初に強化されたセキュリティモニタリングを有効にすることもできます。 あるいは、アカウント レベルの安心を設定してコンプライアンス セキュリティ プロファイルを有効にし、強化されたセキュリティ モニタリングを自動的に有効にすることもできます。 「すべての新しいワークスペースのアカウント レベルのデフォルトを設定する」を参照してください。

更新プログラムは、すべての環境と課金などのダウンストリーム システムに反映されるまでに最大 6 時間かかる場合があります。 アクティブに実行されているワークロードは、クラスターまたはその他のコンピュートリソースの起動時にアクティブだった設定を引き続き使用し、これらのワークロードが次に起動されたときに新しい設定が適用されます。