メインコンテンツまでスキップ
に最終更新

Vimeoからデータを取り込む

備考

ベータ版

この機能はベータ版です。使用するには、ワークスペース管理者は プレビュー ページから Vimeo向けLakeflow Connect を有効にする必要があります。Databricksのプレビューを管理を参照してください。

Databricks UI、宣言型オートメーションバンドル、または Databricks ノートブックを使用して、Lakeflow Connect で管理対象 Vimeo 取り込みパイプラインを作成します。パイプラインは、teams、team_members、team_roles、および audit_logs テーブルを Unity Catalog に取り込みます。

要件​

  • 取り込み パイプラインを作成するには、まず次の要件を満たす必要があります。

    • ワークスペースでUnity Catalogが有効になっている必要があります。

    • ワークスペースでServerlessコンピュートを有効にする必要があります。Serverless コンピュートの要件を参照してください。

    • 新しい接続を作成するには、メタストアに対する CREATE CONNECTION 特権が必要です。Unity Catalog での権限の管理を参照してください。

      コネクタが UI ベースのパイプライン オーサリングをサポートしている場合、管理者はこのページのステップを完了することで、接続とパイプラインを同時に作成できます。 ただし、パイプラインを作成するユーザーが API ベースのパイプライン オーサリングを使用している場合、または管理者以外のユーザーである場合、管理者はまずカタログ エクスプローラーで接続を作成する必要があります。 「管理対象取り込みソースへの接続」を参照してください。

    • 既存の接続を使用するには、その接続オブジェクトに対するUSE CONNECTION特権またはALL PRIVILEGES権限が必要です。

    • ターゲット カタログに対する USE CATALOG 権限が必要です。

    • 既存のスキーマに対する USE SCHEMA および CREATE TABLE 権限、またはターゲットカタログに対する CREATE SCHEMA 権限が必要です。

  • Vimeo から取り込むには、まず Databricks から認証を構成して接続を作成します。Vimeo の認証を構成するおよびVimeo 接続を作成するを参照してください。

コネクターのオプション​

パイプラインスコープの start_datetime オプションを source_configurations に設定して、最初の audit_logs 同期が起動する場所を選択します。オプションの詳細については、コネクタオプションを参照してください。使用方法については、例を参照してください。

取り込みパイプラインを作成​

サポートされているソーステーブルのリストについては、「サポートされているソーステーブル」を参照してください。

  1. Databricksワークスペースのサイドバーで、 データ取り込み をクリックします。
  2. データの追加 ページの Databricks コネクタ で、 Vimeo をクリックします。
  3. 取り込みウィザードの 接続 ページで、Vimeoの認証情報を保存する接続を選択します。メタストアに CREATE CONNECTION 権限がある場合は、 プラスアイコン。 接続の作成 をクリックして、Vimeoへの認証を構成するからの認証情報で接続を作成します。
  4. 次へ をクリックします。
  5. インジェスト設定 ページで、パイプラインの名前を入力します。
  6. イベント Logs の書き込み先となるカタログとスキーマを選択します。カタログに対する USE CATALOG および CREATE SCHEMA 権限がある場合は、ドロップダウン メニューで プラスアイコン。 スキーマの作成 をクリックしてスキーマを作成します。
  7. パイプラインの作成および続行 をクリックします。
  8. ソース ページで、取り込むテーブルを選択します。
  9. 保存して続行 をクリックします。
  10. 宛先 ページで、データの読み込み先となるカタログとスキーマを選択します。カタログに対するUSE CATALOGとCREATE SCHEMAの権限がある場合は、ドロップダウンメニューの プラスアイコン。 スキーマの作成 をクリックしてスキーマを作成します。
  11. 保存して続行 をクリックします。
  12. (オプション) スケジュールと通知 ページで、 プラスアイコン。 スケジュールの作成 をクリックします。宛先テーブルを更新する頻度を設定します。
  13. （オプション） プラスアイコン。 通知の追加 をクリックしてパイプライン操作の成功または失敗のEメール通知を設定し、 保存してパイプラインをラン をクリックします。

例​

Vimeoコネクタは、defaultソーススキーマで4つのソーステーブルを利用可能にします。個々のテーブルまたはスキーマ全体を取り込みます。

特定のテーブルを取り込む​

このオプションを使用すると、特定のテーブルのサブセットを取り込んだり、テーブルごとに宛先の命名をカスタマイズしたりできます。

以下のパイプライン定義ファイルは、個々のVimeoテーブルを取り込みます。

YAML
resources:
  pipelines:
    vimeo_pipeline:
      name: vimeo_pipeline
      catalog: 'main'
      target: 'vimeo_data'
      ingestion_definition:
        connection_name: vimeo_connection
        source_configurations:
          - api_source_connector_config:
              configs:
                start_datetime: '<start-date>'
        objects:
          - table:
              source_schema: 'default'
              source_table: 'teams'
              destination_catalog: 'main'
              destination_schema: 'vimeo_data'
              destination_table: 'teams'
          - table:
              source_schema: 'default'
              source_table: 'team_members'
              destination_catalog: 'main'
              destination_schema: 'vimeo_data'
              destination_table: 'team_members'
          - table:
              source_schema: 'default'
              source_table: 'team_roles'
              destination_catalog: 'main'
              destination_schema: 'vimeo_data'
              destination_table: 'team_roles'
          - table:
              source_schema: 'default'
              source_table: 'audit_logs'
              destination_catalog: 'main'
              destination_schema: 'vimeo_data'
              destination_table: 'audit_logs'

スキーマ全体を取り込む​

このオプションを使用して、すべてのVimeoソーステーブルを1つの宣言で単一の宛先スキーマに取り込みます。

以下のパイプライン定義ファイルは、サポートされているすべてのVimeoテーブルを指定先スキーマに取り込みます。

YAML
resources:
  pipelines:
    vimeo_pipeline:
      name: vimeo_pipeline
      catalog: 'main'
      target: 'vimeo_data'
      ingestion_definition:
        connection_name: vimeo_connection
        source_configurations:
          - api_source_connector_config:
              configs:
                start_datetime: '<start-date>'
        objects:
          - schema:
              source_schema: 'default'
              destination_catalog: 'main'
              destination_schema: 'vimeo_data'

宣言型オートメーションバンドルジョブ定義ファイル​

以下は、Declarative Automation Bundlesで使用するジョブ定義ファイルの例です。ジョブは毎日実行されます。

YAML
resources:
  jobs:
    vimeo_job:
      name: vimeo_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: vimeo_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.vimeo_pipeline.id}

一般的なパターン​

高度なパイプライン構成については、管理された取り込みパイプラインの一般的なパターンを参照してください。

次のステップ​

パイプラインの起動、スケジュール、およびアラートの設定。一般的なパイプラインのメンテナンス タスクを参照してください。

その他のリソース​

このページの見出し