メインコンテンツまでスキップ
に最終更新

1Password からデータを取り込む

備考

ベータ版

この機能はベータ版です。使用するには、ワークスペース管理者は プレビュー ページから Lakeflow Connect for 1Password Event Logs を有効にする必要があります。Databricksのプレビューを管理するを参照してください。

Lakeflow Connect でマネージド 1Password Event Logs 取り込みパイプラインを作成し、Events API データを Databricks に取り込みます。

要件​

  • 取り込みパイプラインを作成するには、最初に次の要件を満たす必要があります。

    • ワークスペースでUnity Catalogが有効になっている必要があります。

    • ワークスペースで Serverless コンピュートを有効にする必要があります。Serverless コンピュートの要件を参照してください。

    • 新しい接続を作成するには、メタストアに対する CREATE CONNECTION 特権が必要です。See Manage privileges in Unity Catalog.

      コネクタが UI ベースのパイプライン オーサリングをサポートしている場合、管理者はこのページのステップを完了することで、接続とパイプラインを同時に作成できます。 ただし、パイプラインを作成するユーザーが API ベースのパイプライン オーサリングを使用している場合、または管理者以外のユーザーである場合、管理者はまずカタログ エクスプローラーで接続を作成する必要があります。 「管理対象取り込みソースへの接続」を参照してください。

    • 既存の接続を使用するには、接続オブジェクトに対する USE CONNECTION 特権または ALL PRIVILEGES 特権が必要です。

    • ターゲットカタログに対する USE CATALOG 権限が必要です。

    • 既存のスキーマに対して USE SCHEMA および CREATE TABLE 特権、またはターゲットカタログに対して CREATE SCHEMA 特権を持っている必要があります。

  • 1Password から取り込むには、まず Databricks から認証を構成し、接続を作成します。1Password への認証の構成および 1Password Event Logs 接続の作成を参照してください。

取り込みパイプラインを作成する​

サポートされているソーステーブルの一覧については、サポートされているソーステーブルを参照してください。

宣言型オートメーションバンドルを使用して、1Password Event Logs パイプラインをコードとして管理します。バンドルには、ジョブとタスクの YAML 定義を含めることができ、Databricks CLI を使用して管理され、異なるターゲット ワークスペース（開発、ステージング、本番運用など）で共有および実行できます。詳細については、「宣言型オートメーションバンドルとは？」をご覧ください。

  1. Databricks CLI を使用してバンドルを作成するには、次の手順を実行します。

    Bash
    databricks bundle init

  2. 2つの新しいリソースファイルをバンドルに追加します：

    • パイプライン定義ファイル（例：resources/one_password_event_logs_pipeline.yml）。See パイプライン.ingestion_definition および Examples。
    • データの取り込み頻度を制御するジョブ定義ファイル（例：resources/one_password_event_logs_job.yml）。

  3. Databricks CLIを使用してパイプラインをデプロイします。

    Bash
    databricks bundle deploy

例​

1Password Event Logs コネクターにより、default ソーススキーマで 3 つのソーステーブルが利用可能になります。選択したテーブルまたはスキーマ全体を取り込みます。

特定のテーブルを取り込む​

このオプションを使用して、各テーブルの宛先ネーミングをカスタマイズします。

次のパイプライン定義ファイルには、3つの1Password Event Logsテーブルが取り込まれます。

YAML
resources:
  pipelines:
    one_password_event_logs_pipeline:
      name: one_password_event_logs_pipeline
      catalog: 'main'
      target: 'one_password_event_logs_data'
      ingestion_definition:
        connection_name: one_password_event_logs_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'audit_events'
              destination_catalog: 'main'
              destination_schema: 'one_password_event_logs_data'
              destination_table: 'audit_events'
          - table:
              source_schema: 'default'
              source_table: 'item_usages'
              destination_catalog: 'main'
              destination_schema: 'one_password_event_logs_data'
              destination_table: 'item_usages'
          - table:
              source_schema: 'default'
              source_table: 'sign_in_attempts'
              destination_catalog: 'main'
              destination_schema: 'one_password_event_logs_data'
              destination_table: 'sign_in_attempts'

スキーマ全体を取り込む​

このオプションを使用して、1つの宣言ですべての 1Password Event Logs ソーステーブルを単一の宛先スキーマに取り込みます。

次のパイプライン定義ファイルは、サポートされているすべての 1Password Event Logs テーブルを宛先スキーマに取り込みます。

YAML
resources:
  pipelines:
    one_password_event_logs_pipeline:
      name: one_password_event_logs_pipeline
      catalog: 'main'
      target: 'one_password_event_logs_data'
      ingestion_definition:
        connection_name: one_password_event_logs_connection
        objects:
          - schema:
              source_schema: 'default'
              destination_catalog: 'main'
              destination_schema: 'one_password_event_logs_data'

Declarative Automation Bundlesジョブ定義ファイル​

以下は、Declarative Automation Bundlesで使用するジョブ定義ファイルの例です。ジョブは毎日実行されます。

YAML
resources:
  jobs:
    one_password_event_logs_job:
      name: one_password_event_logs_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: one_password_event_logs_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.one_password_event_logs_pipeline.id}

Common patterns​

For advanced パイプライン configurations, see Common patterns for managed ingestion パイプラインs.

次のステップ​

パイプラインの起動、スケジュール設定、アラートの設定を行います。一般的なパイプラインのメンテナンス タスクを参照してください。

その他のリソース​

このページの見出し