メインコンテンツまでスキップ
に最終更新

Cribl.クラウドからデータを取り込む

備考

ベータ版

この機能はベータ版です。使用するには、ワークスペース管理者は、 プレビューページ から Cribl向けLakeflow Connect を有効にする必要があります。Databricksのプレビューを管理を参照してください。

このページでは、Lakeflow Connectを使用してCriblインジェストパイプラインを作成する方法を示します。

要件​

  • 取り込みパイプラインを作成するには、まず次の要件を満たす必要があります。

    • ワークスペースでUnity Catalogが有効になっている必要があります。

    • Serverless コンピュートがワークスペースで有効になっている必要があります。Serverless コンピュートの要件を参照してください。

    • 新しい接続を作成するには、メタストアに対する CREATE CONNECTION 特権が必要です。Unity Catalog での特権の管理を参照してください。

      コネクタが UI ベースのパイプライン オーサリングをサポートしている場合、管理者はこのページのステップを完了することで、接続とパイプラインを同時に作成できます。 ただし、パイプラインを作成するユーザーが API ベースのパイプライン オーサリングを使用している場合、または管理者以外のユーザーである場合、管理者はまずカタログ エクスプローラーで接続を作成する必要があります。 「管理対象取り込みソースへの接続」を参照してください。

    • 既存の接続を使用するには、接続オブジェクトに対するUSE CONNECTION権限またはALL PRIVILEGES権限が必要です。

    • ターゲットカタログに対する USE CATALOG 権限が必要です。

    • 既存のスキーマに対して USE SCHEMA および CREATE TABLE の権限、またはターゲットカタログに対して CREATE SCHEMA の権限が必要です。

  • Cribl.Cloud から取り込むには、まず Databricks で認証を構成し、接続を作成する必要があります。「 Cribl.クラウドへの認証の構成」および「 Cribl接続の作成」を参照してください。

コネクタのオプション​

source_configurations でパイプラインスコープのオプションを設定します。すべてのオプションはオプションです。使用法については 例 を参照してください。

オプション

スコープ

必須

適用対象

説明

control_plane_host

パイプライン

No

workspaces以外のすべてのテーブルと api_credentials

Cribl.Cloud ワークスペース API のホスト名。https:// スキームは含めないでください。defaultは<workspace-id>-<organization-id>.cribl.cloudです。

management_plane_host

パイプライン

No

workspaces, api_credentials

https:// スキームを除いた Cribl.クラウド 管理 API のホスト名。default は gateway.cribl.cloud です。

group_allowlist

パイプライン

No

ワーカーグループスコープのすべてのテーブル

取り込むワーカーグループIDのコンマ区切りリスト。例えば 'default,edge-fleet'。defaultでは、すべてのワーカーグループが対象になります。

start_datetime

パイプライン

No

audit_log, access_log

最初の同期で取り込まれる最も早いログ時刻。形式はyyyy-MM-dd'T'HH:mm:ss.SSS'Z'です。defaultは同期の365日前です。

オプション

スコープ

必須

適用対象

説明

control_plane_host

パイプライン

No

workspaces以外のすべてのテーブルと api_credentials

Cribl.Cloud ワークスペース API のホスト名。https:// スキームは含めないでください。defaultは<workspace-id>-<organization-id>.cribl.cloudです。

management_plane_host

パイプライン

No

workspaces, api_credentials

https:// スキームを除いた Cribl.クラウド 管理 API のホスト名。default は gateway.cribl.cloud です。

group_allowlist

パイプライン

No

ワーカーグループスコープのすべてのテーブル

取り込むワーカーグループIDのコンマ区切りリスト。例えば 'default,edge-fleet'。defaultでは、すべてのワーカーグループが対象になります。

start_datetime

パイプライン

No

audit_log, access_log

最初の同期で取り込まれる最も早いログ時刻。形式はyyyy-MM-dd'T'HH:mm:ss.SSS'Z'です。defaultは同期の365日前です。

取り込みパイプラインを作成​

サポートされているソーステーブルの一覧については、「サポートされているソーステーブル」を参照してください。

  1. Databricksワークスペースのサイドバーで、 データ取り込み をクリックします。
  2. データの追加 ページの Databricks コネクタ で、 Cribl をクリックします。
  3. 取り込みウィザードの 接続 ページで、Cribl.クラウド の認証情報が保存されている接続を選択します。メタストアに対する CREATE CONNECTION 権限がある場合は、 プラスアイコン。 接続の作成 をクリックして、Cribl.クラウド への認証の設定の認証情報を使用する接続を作成します。
  4. 次へ をクリックします。
  5. インジェスト設定 ページで、パイプラインの名前を入力します。
  6. イベント Logs を書き込むカタログとスキーマを選択します。カタログに対する USE CATALOG 権限と CREATE SCHEMA 権限がある場合は、ドロップダウンメニューの プラスアイコン。 スキーマの作成 をクリックしてスキーマを作成します。
  7. パイプラインの作成および続行 をクリックします。
  8. ソース ページで、取り込むテーブルを選択します。
  9. 保存して続行 をクリックします。
  10. 宛先 ページで、データを読み込むカタログとスキーマを選択します。カタログに対する USE CATALOG 権限と CREATE SCHEMA 権限を持っている場合、ドロップダウンメニューの プラスアイコン。 スキーマの作成 をクリックしてスキーマを作成します。
  11. 保存して続行 をクリックします。
  12. (オプション) スケジュールと通知 ページで、 プラスアイコン。 スケジュールの作成 をクリックします。宛先テーブルを更新する頻度を設定します。
  13. （オプション） プラスアイコン。 通知の追加 をクリックして、パイプライン操作の成功または失敗に関するEメール通知を設定し、 パイプラインを保存してラン をクリックします。

例​

Criblコネクタは、default ソーススキーマで21個のソーステーブルを使用可能にします。個々のテーブル、または必要なテーブルを取り込みます。

特定のテーブルを取り込む​

このオプションを使用して、テーブルの特定のサブセットを取り込むか、テーブルごとに宛先の名前をカスタマイズします。

次のパイプライン定義ファイルは、個々の Cribl テーブルを取り込みます。

YAML
resources:
  pipelines:
    cribl_pipeline:
      name: cribl_pipeline
      catalog: 'main'
      target: 'cribl_data'
      ingestion_definition:
        connection_name: cribl_connection
        source_configurations:
          - api_source_connector_config:
              configs:
                group_allowlist: '<worker-group-id>,<worker-group-id>'
                start_datetime: '<start-datetime>'
        objects:
          - table:
              source_schema: 'default'
              source_table: 'worker_groups'
              destination_catalog: 'main'
              destination_schema: 'cribl_data'
              destination_table: 'worker_groups'
          - table:
              source_schema: 'default'
              source_table: 'pipelines'
              destination_catalog: 'main'
              destination_schema: 'cribl_data'
              destination_table: 'pipelines'
          - table:
              source_schema: 'default'
              source_table: 'audit_log'
              destination_catalog: 'main'
              destination_schema: 'cribl_data'
              destination_table: 'audit_log'

宣言型オートメーションバンドルのジョブ定義ファイル​

以下は、宣言型オートメーションバンドルで使用するジョブ定義ファイルの例です。ジョブは毎日実行されます。

YAML
resources:
  jobs:
    cribl_job:
      name: cribl_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: cribl_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.cribl_pipeline.id}

一般的なパターン​

高度なパイプライン構成については、「マネージドインジェストパイプラインの一般的なパターン」を参照してください。

次のステップ​

パイプラインを起動し、スケジュールを設定して、アラートを設定します。一般的なパイプラインのメンテナンス タスクを参照してください。

その他のリソース​

このページの見出し