Pular para o conteúdo principal
Última atualização em

Ingerir dados do 1Password

info

Beta

Este recurso está em Beta. To use it, a workspace admin must turn on Lakeflow Connect for 1Password Event Logs from the Previews page. See Gerenciar Databricks previews.

Crie um pipeline de ingestão de logs de eventos do 1Password gerenciado no Lakeflow Connect para ingerir dados da API de eventos no Databricks.

Requisitos​

  • Para criar um pipeline de ingestão, primeiro atenda aos seguintes requisitos:

    • Seu workspace deve estar habilitado para o Unity Catalog.

    • O compute serverless deve estar habilitado para o seu workspace. Consulte Serverless compute requirements.

    • Para criar uma nova conexão, você deve ter os privilégios CREATE CONNECTION no metastore. Consulte Gerenciar privilégios no Unity Catalog.

      Se o conector oferecer suporte à criação de pipeline baseada em IU, um administrador poderá criar a conexão e o pipeline ao mesmo tempo concluindo os passos desta página. No entanto, se os usuários que criarem pipelines usarem a criação de pipeline baseada em API ou forem usuários não administradores, um administrador deverá primeiro criar a conexão no Catalog Explorer. Consulte Conectar-se a fontes de ingestão gerenciadas.

    • Para usar uma conexão existente, você deve ter os privilégios USE CONNECTION ou ALL PRIVILEGES no objeto de conexão.

    • Você deve ter privilégios USE CATALOG no catálogo de destino.

    • Você deve ter os privilégios USE SCHEMA e CREATE TABLE em um esquema existente ou privilégios CREATE SCHEMA no catálogo de destino.

  • Para ingerir do 1Password, primeiro configure a autenticação no Databricks e crie uma conexão. Consulte Configurar a autenticação para o 1Password e Criar uma conexão com os Logs de Eventos do 1Password.

Criar um pipeline de ingestão​

Para ver a lista de tabelas de origem compatíveis, consulte Tabelas de origem compatíveis.

Use os Pacotes de Automação Declarativa para gerenciar pipelines do 1Password Event Logs como código. Os pacotes podem conter definições YAML de jobs e tarefas, são gerenciados usando a CLI do Databricks e podem ser compartilhados e executados em diferentes workspaces de destino (como desenvolvimento, staging e produção). Para obter mais informações, consulte O que são os Pacotes de Automação Declarativa?.

  1. Crie um bundle usando a CLI do Databricks:

    Bash
    databricks bundle init

  2. Adicionar dois novos arquivos de recurso ao pacote:

    • Um arquivo de definição de pipeline (por exemplo, resources/one_password_event_logs_pipeline.yml). Veja pipeline.ingestion_definition e Exemplos.
    • Um arquivo de definição de job que controla a frequência da ingestão de dados (por exemplo, resources/one_password_event_logs_job.yml).

  3. Implante o pipeline usando a CLI do Databricks:

    Bash
    databricks bundle deploy

Exemplos​

O conector de Logs do 1Password disponibiliza 3 tabelas de origem no esquema de origem default. Ingerir as tabelas selecionadas ou o esquema inteiro.

Ingerir tabelas específicas​

Use esta opção para personalizar a nomenclatura de destino de cada tabela.

O seguinte arquivo de definição de pipeline ingere as três tabelas de Logs de Eventos do 1Password:

YAML
resources:
  pipelines:
    one_password_event_logs_pipeline:
      name: one_password_event_logs_pipeline
      catalog: 'main'
      target: 'one_password_event_logs_data'
      ingestion_definition:
        connection_name: one_password_event_logs_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'audit_events'
              destination_catalog: 'main'
              destination_schema: 'one_password_event_logs_data'
              destination_table: 'audit_events'
          - table:
              source_schema: 'default'
              source_table: 'item_usages'
              destination_catalog: 'main'
              destination_schema: 'one_password_event_logs_data'
              destination_table: 'item_usages'
          - table:
              source_schema: 'default'
              source_table: 'sign_in_attempts'
              destination_catalog: 'main'
              destination_schema: 'one_password_event_logs_data'
              destination_table: 'sign_in_attempts'

Ingerir o esquema inteiro​

Use esta opção para ingerir todas as tabelas de origem de Logs de Eventos do 1Password em um único esquema de destino com uma única declaração.

O seguinte arquivo de definição de pipeline ingere todas as tabelas de Logs de Eventos do 1Password suportadas em um esquema de destino:

YAML
resources:
  pipelines:
    one_password_event_logs_pipeline:
      name: one_password_event_logs_pipeline
      catalog: 'main'
      target: 'one_password_event_logs_data'
      ingestion_definition:
        connection_name: one_password_event_logs_connection
        objects:
          - schema:
              source_schema: 'default'
              destination_catalog: 'main'
              destination_schema: 'one_password_event_logs_data'

Arquivo de definição de job do Declarative Automation Bundles​

O arquivo a seguir é um exemplo de arquivo de definição de job para uso com os Pacotes de Automação Declarativa. O job é executado diariamente.

YAML
resources:
  jobs:
    one_password_event_logs_job:
      name: one_password_event_logs_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: one_password_event_logs_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.one_password_event_logs_pipeline.id}

Padrões comuns​

Para configurações avançadas de pipeline, consulte Padrões comuns para pipelines de ingestão gerenciados.

Próximos passos​

Start, programar, and set alerts on your pipeline. See Common pipeline maintenance tasks.

Outros recursos​

Nesta página