メインコンテンツまでスキップ
に最終更新

CrowdStrike Falconからデータを取り込む

備考

ベータ版

この機能はベータ版です。使用するには、ワークスペース管理者が プレビューページ から Lakeflow Connect for CrowdStrike Falcon Event Stream を有効にする必要があります。Databricksのプレビューを管理するを参照してください。

Falcon Event Stream のイベントを Databricks に取り込むには、Lakeflow Connect でマネージド CrowdStrike Falcon Event Stream 取り込みパイプラインを作成します。

要件​

  • 取り込みパイプラインを作成するには、まず次の要件を満たす必要があります。

    • ワークスペースでUnity Catalogが有効になっている必要があります。

    • ワークスペースで Serverless コンピュートを有効にする必要があります。Serverless コンピュートの要件を参照してください。

    • 新しい接続を作成するには、メタストアに対する CREATE CONNECTION 特権が必要です。Unity Catalog での特権の管理を参照してください。

      コネクタが UI ベースのパイプライン オーサリングをサポートしている場合、管理者はこのページのステップを完了することで、接続とパイプラインを同時に作成できます。 ただし、パイプラインを作成するユーザーが API ベースのパイプライン オーサリングを使用している場合、または管理者以外のユーザーである場合、管理者はまずカタログ エクスプローラーで接続を作成する必要があります。 「管理対象取り込みソースへの接続」を参照してください。

    • 既存の接続を使用するには、接続オブジェクトに対する USE CONNECTION 特権または ALL PRIVILEGES 特権が必要です。

    • ターゲットカタログに対する USE CATALOG 権限が必要です。

    • 既存のスキーマに対する USE SCHEMA および CREATE TABLE 権限、またはターゲットカタログに対する CREATE SCHEMA 権限が必要です。

  • CrowdStrike Falcon から取り込むには、まず Databricks から認証を構成し、接続を作成します。CrowdStrike Falcon への認証の構成およびCrowdStrike Falcon Event ストリーム 接続の作成を参照してください。

データ取り込みパイプラインを作成​

サポートされているソース テーブルの一覧については、「サポートされているソース テーブル」を参照してください。

宣言型オートメーションバンドルを使用して、CrowdStrike Falcon イベント ストリーム パイプラインをコードとして管理します。バンドルには、ジョブとタスクの YAML 定義を含めることができ、Databricks CLI を使用して管理され、異なるターゲット ワークスペース（開発、ステージング、本番運用など）で共有および実行できます。詳細については、「宣言型オートメーションバンドルとは？」をご覧ください。

  1. Databricks CLIを使用してバンドルを作成するには、次の手順を実行します。

    Bash
    databricks bundle init

  2. バンドルに2つの新しいリソースファイルを追加します。

    • パイプライン定義ファイル（例：resources/crowdstrike_falcon_event_stream_pipeline.yml）。See パイプライン.ingestion_definition また、「例」も参照してください。
    • データ取り込みの頻度を制御するジョブ定義ファイル（例：resources/crowdstrike_falcon_event_stream_job.yml）。

  3. Databricks CLIを使用してパイプラインをデプロイします：

    Bash
    databricks bundle deploy

例​

CrowdStrike Falcon Event Stream コネクタでは、default ソーススキーマ内で 1 つのソーステーブルを利用できます。テーブルまたはスキーマ全体を取り込みます。

特定のテーブルを取り込む​

このオプションを使用して、テーブルの送信先命名規則をカスタマイズします。

次のパイプライン定義ファイルは、CrowdStrike Falcon イベント ストリーム テーブルを取り込みます。

YAML
resources:
  pipelines:
    crowdstrike_falcon_event_stream_pipeline:
      name: crowdstrike_falcon_event_stream_pipeline
      catalog: 'main'
      target: 'crowdstrike_falcon_event_stream_data'
      ingestion_definition:
        connection_name: crowdstrike_falcon_event_stream_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'events'
              destination_catalog: 'main'
              destination_schema: 'crowdstrike_falcon_event_stream_data'
              destination_table: 'events'

スキーマ全体を取り込む​

このオプションを使用して、すべてのCrowdStrike Falcon Eventストリームのソーステーブルを1つの宣言で単一の宛先スキーマに取り込みます。

次のパイプライン定義ファイルは、サポートされているすべての CrowdStrike Falcon Event Stream テーブルを宛先スキーマに取り込みます。

YAML
resources:
  pipelines:
    crowdstrike_falcon_event_stream_pipeline:
      name: crowdstrike_falcon_event_stream_pipeline
      catalog: 'main'
      target: 'crowdstrike_falcon_event_stream_data'
      ingestion_definition:
        connection_name: crowdstrike_falcon_event_stream_connection
        objects:
          - schema:
              source_schema: 'default'
              destination_catalog: 'main'
              destination_schema: 'crowdstrike_falcon_event_stream_data'

宣言型オートメーションバンドル ジョブ定義ファイル​

次に、宣言型オートメーションバンドルで使用するジョブ定義ファイルの例を示します。ジョブは毎日実行されます。

YAML
resources:
  jobs:
    crowdstrike_falcon_event_stream_job:
      name: crowdstrike_falcon_event_stream_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: crowdstrike_falcon_event_stream_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.crowdstrike_falcon_event_stream_pipeline.id}

一般的なパターン​

高度なパイプライン構成については、「管理された取り込みパイプラインの一般的なパターン」を参照してください。

次のステップ​

パイプラインの起動、スケジュール、アラートの設定を行います。一般的なパイプラインのメンテナンス タスクを参照してください。

その他のリソース​

このページの見出し