セキュリティモニタリングの強化

この記事では、強化されたセキュリティモニタリング機能と、 Databricks ワークスペースまたはアカウントで構成する方法について説明します。

備考

プレビュー

この機能は プライベート プレビュー段階です。 このプレビューに参加するには、Databricks アカウント チームに連絡し、 プレビュー ページで有効にしてください。

Enhanced Security モニタリングの概要

Databricks 拡張セキュリティ・モニタリングは、拡張ハード・ディスク・イメージと、監査ログを使用してレビューできるログ行を生成する追加のセキュリティ・モニタリング・エージェントを提供します。

セキュリティ強化は、 クラシック コンピュート プレーンのコンピュート リソース(クラスターや非サーバレス SQLウェアハウスなど)にのみ適用されます。

サーバレス コンピュート plane リソース(サーバレス SQLウェアハウスなど)は、Enhanced Security モニタリングが有効な場合、追加のモニタリングを持ちません。

Enhanced Security モニタリングには、次のものが含まれます。

• Ubuntu Advantageに基づく強化された強化されたオペレーティングシステムイメージ。

  Ubuntu Advantageは、オープンソースのインフラストラクチャとアプリケーションのエンタープライズセキュリティとサポートのパッケージであり、次のものが含まれます。

  • CIS レベル 1 の強化イメージ。
  • FIPS 140 検証済み暗号化モジュール。

• 確認できるログを生成するウイルス対策エージェントとファイル整合性監視エージェント。

モニタリング agents in Databricks コンピュート 平面画像

拡張セキュリティ・モニタリングが有効になっている間は、拡張コンピュート・プレーン・イメージにプリインストールされている2つのエージェントを含む、追加のセキュリティ・モニタリング・エージェントがあります。 拡張コンピュート平面ディスクイメージにあるモニタリングエージェントを無効にすることはできません。

モニタリングエージェント	場所	説明	出力を取得する方法
File integrity モニタリング	強化されたコンピュートプレーンイメージ	ファイルの整合性とセキュリティ境界違反を監視します。 このモニター・エージェントは、クラスター内のワーカー VM で実行されます。	監査ログシステム テーブル を有効にし、 新しい行のログを確認します。
ウイルス対策とマルウェアの検出	強化されたコンピュートプレーンイメージ	ファイルシステムのウイルスを毎日スキャンします。 このモニター エージェントは、クラスターや Pro または Classic SQLウェアハウスなどのコンピュート リソース内の VM で実行されます。 ウイルス対策エージェントとマルウェア検出エージェントは、ホスト OS ファイルシステム全体と Databricks Runtime コンテナファイルシステムをスキャンします。 クラスター VM の外部にあるものはすべて、スキャン範囲外です。	監査ログシステム テーブル を有効にし、 新しい行のログを確認します。
脆弱性スキャン	スキャンは、Databricks 環境の代表的なイメージで行われます。	コンテナホスト(VM)をスキャンして、特定の既知の脆弱性とCommon Vulnerabilities and Exposures(CVE)を探します。	Databricksワークスペース管理者向けのEメール。

最新バージョンのモニタリング エージェントを取得するには、クラスターを再起動します。 ワークスペースで 自動クラスター更新を使用している場合は、スケジュールされたメンテナンス期間中に必要に応じて by デフォルト クラスター 再起動します。 コンプライアンス セキュリティ プロファイルがワークスペースで有効になっている場合、そのワークスペースでは自動クラスター更新が永続的に有効になります。

File integrity モニタリング

拡張コンピュート プレーン イメージには、ワークスペース内のクラシック コンピュート プレーンのコンピュート リソース (クラスター ワーカー) のランタイムの可視性と脅威検出を提供するファイル整合性モニタリング サービスが含まれています。

ファイル整合性モニターの出力は、システムテーブルを使用してアクセスできる監査ログ内に生成されます。 システムテーブルを使用したアカウントアクティビティのモニタリングを参照してください。ファイル整合性モニタリングに固有の新しい監査可能イベントの JSON スキーマについては、「 ファイル整合性モニタリング イベント」を参照してください。

important

これらのログを確認するのはお客様の責任です。 Databricks は、独自の裁量により、これらのログを確認する場合がありますが、確認することを約束するものではありません。 エージェントが悪意のあるアクティビティを検出した場合、これらのイベントをトリアージし、解決または修復に Databricks によるアクションが必要な場合は、Databricks でサポート チケットを開くのはお客様の責任です。 Databricks は、これらのログに基づいて、リソースの一時停止や終了などの措置を講じることがありますが、その約束は行いません。

ウイルス対策とマルウェアの検出

強化されたコンピュート プレーン イメージには、トロイの木馬、ウイルス、マルウェア、およびその他の悪意のある脅威を検出するためのウイルス対策エンジンが含まれています。 ウイルス対策モニターは、ホスト OS ファイルシステム全体と Databricks Runtime コンテナー ファイルシステムをスキャンします。 クラスター VM の外部にあるものはすべて、スキャン範囲外です。

ウイルス対策モニターの出力は、 システムテーブルを使用してアクセスできる監査ログ内に生成されます。 ウイルス対策モニタリングに固有の新しい監査可能イベントの JSON スキーマについては、「 ウイルス対策モニタリング イベント」を参照してください。

新しい仮想マシン イメージがビルドされると、更新された署名ファイルがそのイメージに含まれます。

important

これらのログを確認するのはお客様の責任です。 Databricks は、独自の裁量により、これらのログを確認する場合がありますが、確認することを約束するものではありません。 エージェントが悪意のあるアクティビティを検出した場合、これらのイベントをトリアージし、解決または修復に Databricks によるアクションが必要な場合は、Databricks でサポート チケットを開くのはお客様の責任です。 Databricks は、これらのログに基づいて、リソースの一時停止や終了などの措置を講じることがありますが、その約束は行いません。

新しい AMI イメージがビルドされると、更新された署名ファイルが新しい AMI イメージに含まれます。

脆弱性スキャン

脆弱性モニター・エージェントは、特定の既知の CVE について、コンテナー・ホスト (VM) の脆弱性スキャンを実行します。 スキャンは、Databricks 環境の代表的なイメージで行われます。 脆弱性スキャンレポートは、 Databricks が新しい AMI ディスクイメージをリリースしたときに、すべてのワークスペース管理者に Eメール として送信されます。

このエージェントで脆弱性が見つかった場合、Databricks は脆弱性管理 SLA に照らして脆弱性を追跡し、利用可能な場合は更新されたイメージをリリースします。

モニタリングエージェントの管理・バージョンアップ

従来のコンピュート平面のコンピュート リソースに使用されるディスクイメージ上の追加のモニタリングエージェントは、システムをアップグレードするための標準 Databricks プロセスの一部です。

• 従来のコンピュート平面ベース ディスク イメージ (AMI) は、 Databricksによって所有、管理、および修正プログラムが適用されます。
• Databricks は、新しい AMI ディスクイメージをリリースすることで、セキュリティパッチを配信および適用します。 配信スケジュールは、新しい機能と、検出された脆弱性の SLA によって異なります。 一般的な配送は2〜4週間ごとです。
• コンピュートプレーンの基本オペレーティングシステムはUbuntuAdvantageです。
• Databricks クラスターとプロまたはクラシックの SQLウェアハウスは、デフォルトでエフェメラルです。 起動時に、クラスターとプロまたはクラシック SQLウェアハウスは、使用可能な最新の基本イメージを使用します。 セキュリティの脆弱性がある可能性のある古いバージョンは、新しいクラスターでは使用できません。
  • クラスターを定期的に再起動し (UI または APIを使用)、パッチが適用された最新のホスト VM イメージが使用されるようにする必要があります。

エージェントの終了を監視する

ワーカー VM 上のモニター・エージェントがクラッシュまたはその他の終了のために実行されていないことが判明した場合、システムはエージェントの再起動を試みます。

モニター・エージェント・データのデータ保持ポリシー

監査ログ配信を設定した場合、モニタリングログは監査ログシステムテーブルまたは監査ログ配信バケットに送信されます。これらのログの保持、取り込み、分析は、お客様の責任で行ってください。

脆弱性スキャンのレポートとログは、Databricks によって少なくとも 1 年間保持されます。

Databricks強化されたセキュリティモニタリングを有効にする

• Databricksワークスペースは、プレミアムプランである必要があります。

拡張セキュリティモニタリングをワークスペースで直接有効にするには、「 既存のワークスペースで拡張セキュリティとコンプライアンス機能を有効にする」を参照してください。

また、新しいワークスペースにアカウントレベルのデフォルトを設定して、最初に強化されたセキュリティモニタリングを有効にすることもできます。 または、アカウント レベルの デフォルト を設定してコンプライアンス セキュリティ プロファイルを有効にすると、強化されたセキュリティ モニタリングが自動的に有効になります。 「すべての新しいワークスペースにアカウントレベルのデフォルトを設定する」を参照してください。

更新がすべての環境と、請求などの下流のシステムに反映されるまでに、最大6時間かかる場合があります。アクティブに実行されているワークロードは、クラスターまたは他のコンピュートリソースの起動時に有効だった設定を引き続き使用し、新しい設定は、これらのワークロードが次回起動されたときに適用されます。