Ingerir dados do Vimeo

info

Beta

Este recurso está em Beta. Para usá-lo, um administrador do workspace deve ativar o Lakeflow Connect para Vimeo na página Prévias . Consulte Gerenciar prévias do Databricks.

Crie um pipeline de ingestão gerenciado do Vimeo no Lakeflow Connect usando a UI do Databricks, os Declarative Automation Bundles ou um notebook do Databricks. O pipeline ingere as tabelas teams, team_members, team_roles e audit_logs no Unity Catalog.

Requisitos

• Para criar um pipeline de ingestão, primeiro cumpra os seguintes requisitos:

  • Seu workspace deve estar habilitado para o Unity Catalog.

  • O compute serverless deve estar habilitado para seu workspace. Consulte Requisitos de compute Serverless.

  • Para criar uma nova conexão, você deve ter privilégios CREATE CONNECTION no metastore. Consulte Gerenciar privilégios no Unity Catalog.

    Se o conector oferecer suporte à criação de pipeline baseada em interface do usuário, um administrador poderá criar a conexão e o pipeline ao mesmo tempo, completando os passos nesta página. No entanto, se os usuários que criam pipelines usarem a criação de pipeline baseada em API ou não forem administradores, um administrador deverá primeiro criar a conexão no Catalog Explorer. Consulte Conectar a fontes de ingestão gerenciadas.

  • Para usar uma conexão existente, você deve ter privilégios USE CONNECTION ou ALL PRIVILEGES no objeto de conexão.

  • Você deve ter privilégios USE CATALOG no catálogo de destino.

  • Você deve ter privilégios de USE SCHEMA e CREATE TABLE em um esquema existente ou privilégios de CREATE SCHEMA no catálogo de destino.

• Para ingerir do Vimeo, primeiro configure a autenticação do Databricks e crie uma conexão. Consulte Configurar a autenticação para o Vimeo e Criar uma conexão com o Vimeo.

Opções do conector

Defina a opção start_datetime com escopo de pipeline em source_configurations para escolher onde a primeira sincronização de audit_logs começa. Para os detalhes da opção, consulte Opções de conector. Para uso, consulte Exemplos.

Criar um pipeline de ingestão

Para a lista de tabelas de origem suportadas, consulte Tabelas de origem suportadas.

Databricks UI

1. Na barra lateral do workspace do Databricks, clique em Ingestão de Dados .
2. Na página Adicionar dados , em Conectores do Databricks , clique em Vimeo .
3. Na página Conexão do assistente de ingestão, selecione a conexão que armazena as suas credenciais do Vimeo. Se você tiver o privilégio CREATE CONNECTION no metastore, clique em Criar conexão para criar uma conexão com as credenciais de Configurar autenticação para Vimeo.
4. Clique em Avançar .
5. Na página Configuração de ingestão , insira um nome para o pipeline.
6. Selecione um catálogo e um esquema nos quais escrever logs de evento. Se você tiver privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique em Criar esquema no menu suspenso para criar um esquema.
7. Clique em Criar pipeline e continuar .
8. Na página Source , selecione as tabelas para ingestão.
9. Clique em Salvar e continuar .
10. Na página Destino , selecione um catálogo e um esquema para carregar os dados. Se você tiver privilégios de USE CATALOG e CREATE SCHEMA no catálogo, clique em Criar esquema no menu suspenso para criar um esquema.
11. Clique em Salvar e continuar .
12. (Opcional) Na página Programar and notifications , clique em Criar programar . Defina a frequência para fazer refresh nas tabelas de destino.
13. (Opcional) Clique em Adicionar notificação para definir notificações por email para sucesso ou falha da operação do pipeline e clique em Salvar e execução do pipeline .

Declarative Automation Bundles

Use os Pacotes de Automação Declarativa para gerenciar pipelines do Vimeo como código. Os pacotes podem conter definições YAML de Jobs e tarefas, são gerenciados usando a CLI do Databricks e podem ser compartilhados e ter execução em diferentes Workspace de destino (como desenvolvimento, staging e produção). Para obter mais informações, consulte O que são os Pacotes de Automação Declarativa?.

1. Criar um bundle usando a CLI do Databricks:

   Bash

   databricks bundle init

2. Adicione dois novos arquivos de recurso ao bundle:

   • Um arquivo de definição de pipeline (por exemplo, resources/vimeo_pipeline.yml). Consulte pipeline.ingestion_definition e Exemplos.
   • Um arquivo de definição de job que controla a frequência da ingestão de dados (por exemplo, resources/vimeo_job.yml).

3. Implante o pipeline usando a CLI do Databricks:

   Bash

   databricks bundle deploy

Databricks notebook

1. Importe o seguinte notebook para o seu workspace do Databricks:

Abrir notebook em uma nova abaOpen in Databricks

2. Deixe as células um e dois como estão. Não modifique.

3. Modifique a célula três com os detalhes da configuração do seu pipeline. Veja pipeline.ingestion_definition e Exemplos.

4. Opcionalmente, configure as configurações avançadas do pipeline. Consulte Padrões comuns para pipelines de ingestão gerenciados.

5. Clique em Executar tudo .

Exemplos

O conector do Vimeo disponibiliza 4 tabelas de origem no esquema de origem default. Ingira tabelas individuais ou o esquema inteiro.

Ingerir tabelas específicas

Use esta opção para ingerir um subconjunto específico de tabelas ou para personalizar a nomeação de destino por tabela.

Declarative Automation Bundles

O arquivo de definição de pipeline a seguir ingere tabelas individuais do Vimeo:

YAML

resources:
  pipelines:
    vimeo_pipeline:
      name: vimeo_pipeline
      catalog: 'main'
      target: 'vimeo_data'
      ingestion_definition:
        connection_name: vimeo_connection
        source_configurations:
          - api_source_connector_config:
              configs:
                start_datetime: '<start-date>'
        objects:
          - table:
              source_schema: 'default'
              source_table: 'teams'
              destination_catalog: 'main'
              destination_schema: 'vimeo_data'
              destination_table: 'teams'
          - table:
              source_schema: 'default'
              source_table: 'team_members'
              destination_catalog: 'main'
              destination_schema: 'vimeo_data'
              destination_table: 'team_members'
          - table:
              source_schema: 'default'
              source_table: 'team_roles'
              destination_catalog: 'main'
              destination_schema: 'vimeo_data'
              destination_table: 'team_roles'
          - table:
              source_schema: 'default'
              source_table: 'audit_logs'
              destination_catalog: 'main'
              destination_schema: 'vimeo_data'
              destination_table: 'audit_logs'

Databricks notebook

A seguinte especificação de pipeline ingere tabelas individuais do Vimeo:

Python

pipeline_name = "vimeo_pipeline"
connection_name = "<vimeo-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "source_configurations": [
      {
        "api_source_connector_config": {
          "configs": {
            "start_datetime": "<start-date>"
          }
        }
      }
    ],
    "objects": [
      {
        "table": {
          "source_schema": "default",
          "source_table": "teams",
          "destination_catalog": "main",
          "destination_schema": "vimeo_data",
          "destination_table": "teams"
        }
      },
      {
        "table": {
          "source_schema": "default",
          "source_table": "team_members",
          "destination_catalog": "main",
          "destination_schema": "vimeo_data",
          "destination_table": "team_members"
        }
      },
      {
        "table": {
          "source_schema": "default",
          "source_table": "team_roles",
          "destination_catalog": "main",
          "destination_schema": "vimeo_data",
          "destination_table": "team_roles"
        }
      },
      {
        "table": {
          "source_schema": "default",
          "source_table": "audit_logs",
          "destination_catalog": "main",
          "destination_schema": "vimeo_data",
          "destination_table": "audit_logs"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

Ingerir o esquema inteiro

Use esta opção para ingerir todas as tabelas de origem do Vimeo em um único esquema de destino com uma única declaração.

Declarative Automation Bundles

O seguinte arquivo de definição de pipeline ingere todas as tabelas do Vimeo suportadas em um esquema de destino:

YAML

resources:
  pipelines:
    vimeo_pipeline:
      name: vimeo_pipeline
      catalog: 'main'
      target: 'vimeo_data'
      ingestion_definition:
        connection_name: vimeo_connection
        source_configurations:
          - api_source_connector_config:
              configs:
                start_datetime: '<start-date>'
        objects:
          - schema:
              source_schema: 'default'
              destination_catalog: 'main'
              destination_schema: 'vimeo_data'

Databricks notebook

A seguinte especificação de pipeline ingere todas as tabelas do Vimeo suportadas em um esquema de destino:

Python

pipeline_name = "vimeo_pipeline"
connection_name = "<vimeo-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "source_configurations": [
      {
        "api_source_connector_config": {
          "configs": {
            "start_datetime": "<start-date>"
          }
        }
      }
    ],
    "objects": [
      {
        "schema": {
          "source_schema": "default",
          "destination_catalog": "main",
          "destination_schema": "vimeo_data"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

Arquivo de definição de job de Pacotes de Automação Declarativa

A seguir está um exemplo de arquivo de definição de job para uso com Bundles de Automação Declarativa. O Job é execução diariamente.

Declarative Automation Bundles

YAML

resources:
  jobs:
    vimeo_job:
      name: vimeo_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: vimeo_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.vimeo_pipeline.id}

Padrões comuns

Para configurações avançadas de pipeline, consulte Padrões comuns para pipelines de ingestão gerenciados.

Os passos seguintes

Comece, programe e defina alertas em seu pipeline. Consulte Tarefas comuns de manutenção de pipeline.

Outros recursos

• FAQ do conector do Vimeo
• Limitações do conector Vimeo
• Referência do conector Vimeo
• Solucionar problemas do conector Vimeo