メインコンテンツまでスキップ
に最終更新

Akamaiからデータを取り込む

備考

ベータ版

この機能はベータ版です。使用するには、ワークスペース管理者は、 プレビュー ページから Lakeflow Connect for Akamai WAF を有効にする必要があります。Databricksのプレビューを管理するを参照してください。

Lakeflow ConnectでマネージドAkamai WAF取り込みパイプラインを作成し、WAFセキュリティイベントをDatabricksに取り込みます。

要件​

  • 取り込みパイプラインを作成するには、まず次の要件を満たす必要があります。

    • ワークスペースでUnity Catalogが有効になっている必要があります。

    • ワークスペースでServerless コンピュートが有効になっている必要があります。Serverless コンピュートの要件をご覧ください。

    • 新しい接続を作成するには、メタストアに対する CREATE CONNECTION 特権が必要です。Unity Catalog での特権の管理を参照してください。

      コネクタが UI ベースのパイプライン オーサリングをサポートしている場合、管理者はこのページのステップを完了することで、接続とパイプラインを同時に作成できます。 ただし、パイプラインを作成するユーザーが API ベースのパイプライン オーサリングを使用している場合、または管理者以外のユーザーである場合、管理者はまずカタログ エクスプローラーで接続を作成する必要があります。 「管理対象取り込みソースへの接続」を参照してください。

    • To use an existing connection, you must have USE CONNECTION privileges or ALL PRIVILEGES on the connection object.

    • ターゲットカタログに対するUSE CATALOG権限が必要です。

    • 既存のスキーマに対する USE SCHEMA 権限および CREATE TABLE 権限、あるいはターゲット カタログに対する CREATE SCHEMA 権限が必要です。

  • Akamaiから取り込むには、まずDatabricksから認証を構成し、接続を作成します。Akamaiへの認証の構成およびAkamai WAF接続の作成を参照してください。

コネクター オプション​

Akamai WAF コネクタオプションはテーブルレベルです。パイプラインの定義内のテーブルオブジェクトの connector_options.akamai_options に設定します。使用方法については、Examples をご覧ください。

オプション

必須

適用対象

説明

config_ids

はい

akamai_waf_events

SIEMイベントを取り込むWebセキュリティ構成ID。1～1,000個の数値IDを指定します。これらの値は、Webセキュリティ構成IDの取得から取得できます。

オプション

必須

適用対象

説明

config_ids

はい

akamai_waf_events

SIEMイベントを取り込むWebセキュリティ構成ID。1～1,000個の数値IDを指定します。これらの値は、Webセキュリティ構成IDの取得から取得できます。

取り込みパイプラインを作成する​

サポートされているソーステーブルの一覧については、サポートされているソーステーブルを参照してください。

Use Declarative Automation Bundles to manage Akamai WAF パイプライン as code.バンドルには、ジョブとタスクの YAML 定義を含めることができ、 Databricks CLI を使用して管理され、異なるターゲット ワークスペース (開発、ステージング、本番運用など) で共有およびランを実行できます。For more 情報, see What are Declarative Automation Bundles?.

  1. Databricks CLIを使用してバンドルを作成します:

    Bash
    databricks bundle init

  2. バンドルに2つの新しいリソースファイルを追加します：

    • パイプライン定義ファイル（例：resources/akamai_waf_pipeline.yml）。See パイプライン.ingestion_definition および 例。
    • データ取り込みの頻度を制御するジョブ定義ファイル（例: resources/akamai_waf_job.yml）。少なくとも 12 時間ごとにジョブを実行するようにスケジュールします。

  3. Databricks CLI を使用してパイプラインをデプロイします：

    Bash
    databricks bundle deploy

例​

Akamai WAF コネクターは、default ソーススキーマで 1 つのソーステーブルを利用可能にします。そのテーブルを取り込み、テーブルオブジェクトに config_ids を設定します。

特定のテーブルを取り込む​

このオプションを使用して、テーブルの宛先命名をカスタマイズします。

次のパイプライン定義ファイルは、Akamai WAFテーブルを取り込みます。

YAML
resources:
  pipelines:
    akamai_waf_pipeline:
      name: akamai_waf_pipeline
      catalog: 'main'
      target: 'akamai_waf_data'
      ingestion_definition:
        connection_name: akamai_waf_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'akamai_waf_events'
              destination_catalog: 'main'
              destination_schema: 'akamai_waf_data'
              destination_table: 'akamai_waf_events'
              connector_options:
                akamai_options:
                  config_ids:
                    - 12345
                    - 67890

宣言型オートメーションバンドル ジョブ定義ファイル​

以下は、宣言型オートメーションバンドルで使用するジョブ定義ファイルの例です。ジョブは 12 時間ごとに実行されます。

YAML
resources:
  jobs:
    akamai_waf_job:
      name: akamai_waf_job
      schedule:
        quartz_cron_expression: '0 0 0/12 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: akamai_waf_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.akamai_waf_pipeline.id}

一般的なパターン​

高度なパイプライン構成については、「管理対象取り込みパイプラインの一般的なパターン」を参照してください。

次のステップ​

パイプラインの起動、スケジュール、アラートの設定を行います。一般的なパイプラインのメンテナンス タスクを参照してください。

その他のリソース​

このページの見出し