Ingerir dados do Strac

info

Beta

Esse recurso está em Beta. Administradores do Workspace podem controlar o acesso a este recurso na página **Pré-visualizações**. Consulte Gerenciar prévias do Databricks.

Esta página mostra como criar um pipeline de ingestão gerenciado Strac usando o Lakeflow Connect.

Requisitos

• Para criar um pipeline de ingestão, primeiro atenda aos seguintes requisitos:

  • Seu workspace deve estar habilitado para o Unity Catalog.

  • O compute serverless deve ser habilitado para o seu workspace. Consulte requisitos de Computação serverless.

  • Se você planeja criar uma nova conexão: Você deve ter CREATE CONNECTION privilégios no metastore. Consulte Gerenciar privilégios no Unity Catalog.

    Se o conector suportar a criação de pipeline baseada em IU, um administrador poderá criar a conexão e o pipeline ao mesmo tempo, concluindo os passos desta página. No entanto, se os usuários que criam pipelines usarem a criação de pipelines baseada em API ou forem usuários não administradores, um administrador deve primeiro criar a conexão no Catalog Explorer. Consulte Conectar-se a fontes de ingestão gerenciadas.

  • Para usar uma conexão existente: é preciso ter USE CONNECTION privilégios ou ALL PRIVILEGES no objeto de conexão.

  • Você deve ter privilégios USE CATALOG no catálogo de destino.

  • É necessário ter privilégios USE SCHEMA e CREATE TABLE em um esquema existente ou privilégios CREATE SCHEMA no catálogo de destino.

• Para fazer a ingestão do Strac, primeiro configure a autenticação do Databricks e crie uma conexão. Consulte Configurar autenticação para Strac e Criar uma conexão Strac.

Criar um pipeline de ingestão

O conector Strac ingere uma única tabela de origem, audit_events, sob o esquema de origem default. Para obter detalhes, consulte Tabelas de Origem com Suporte.

Databricks UI

1. Na barra lateral do Databricks Workspace, clique em Ingestão de Dados .
2. Na página Adicionar dados , em Conectores Databricks , clique em Strac .
3. Na página Conexão do assistente de ingestão, selecione a conexão que armazena suas credenciais Strac. Se você tiver o privilégio CREATE CONNECTION no metastore, clique em Criar conexão para criar uma conexão com as credenciais de Configurar autenticação para Strac.
4. Clique em Avançar .
5. Na página **Configuração de ingestão**, insira um nome para o pipeline.
6. Selecione um catálogo e um esquema para gravar Logs de eventos. Se você tiver os privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique em Criar esquema no menu suspenso para criar um esquema.
7. Clique em **Criar pipeline e continuar**.
8. Na página **Origem**, selecione a audit_events tabela a ser ingerida.
9. Clique em Salvar e continuar .
10. Na página Destino , selecione um catálogo e um esquema para carregar os dados. Se você tiver os privilégios USE CATALOG e CREATE SCHEMA no catálogo, clique em Criar esquema no menu suspenso para criar um esquema.
11. Clique em Salvar e continuar .
12. (Opcional) Na página Agendamentos e notificações , clique em Criar agendamento . Defina a frequência para refresh as tabelas de destino.
13. (Opcional) Clique em Adicionar notificação para definir notificações por email para sucesso ou falha da operação do pipeline.
14. Clique em **Salvar e executar pipeline**.

Declarative Automation Bundles

Use Pacotes de Automação Declarativa para gerenciar pipelines Strac como código. Os pacotes podem conter definições YAML de Jobs e tarefas, são gerenciados usando a CLI do Databricks e podem ser compartilhados e executados em diferentes Workspaces de destino (como desenvolvimento, preparo e produção). Para obter mais informações, consulte O que são Pacotes de Automação Declarativa?.

1. Crie um pacote usando a CLI do Databricks:

   Bash

   databricks bundle init

2. Adicione dois novos arquivos de recurso ao pacote:

   • Um arquivo de definição de pipeline (por exemplo, resources/strac_pipeline.yml). Consulte pipeline.ingestion_definition e Exemplos.
   • Um arquivo de definição de Job que controla a frequência da ingestão de dados (por exemplo, resources/strac_job.yml).

3. Implante o pipeline usando a CLI do Databricks:

   Bash

   databricks bundle deploy

Databricks notebook

1. Importe o seguinte Notebook para seu Workspace Databricks:

Crie um pipeline de ingestão Strac

Abrir notebook em uma nova abaOpen in Databricks

2. Deixe as células um e dois como estão. Não modifique.

3. Modifique a célula três com os detalhes de configuração do seu pipeline. Consulte pipeline.ingestion_definition e Exemplos.

4. Opcionalmente, configure as configurações avançadas do pipeline. Consulte Padrões Comuns para Pipelines de Ingestão Gerenciada.

5. Clique em Executar tudo .

Exemplos

O conector Strac disponibiliza a tabela audit_events no esquema de origem default. Para detalhes, consulte Tabelas de origem compatíveis.

Ingerir a tabela de eventos de auditoria

Declarative Automation Bundles

O seguinte arquivo de definição de pipeline ingere a tabela Strac audit_events:

YAML

resources:
  pipelines:
    strac_pipeline:
      name: strac_pipeline
      catalog: 'main'
      target: 'strac_data'
      ingestion_definition:
        connection_name: strac_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'audit_events'
              destination_catalog: 'main'
              destination_schema: 'strac_data'
              destination_table: 'audit_events'

Databricks notebook

A seguinte especificação de pipeline ingere a tabela Strac audit_events:

Python

pipeline_name = "strac_pipeline"
connection_name = "<strac-connection>"
pipeline_spec = {
  "name": pipeline_name,
  "ingestion_definition": {
    "connection_name": connection_name,
    "objects": [
      {
        "table": {
          "source_schema": "default",
          "source_table": "audit_events",
          "destination_catalog": "main",
          "destination_schema": "strac_data",
          "destination_table": "audit_events"
        }
      }
    ]
  }
}
json_payload = json.dumps(pipeline_spec, indent=2)
create_pipeline(json_payload)

Arquivo de definição de job de Pacotes de Automação Declarativa

A seguir está um exemplo de arquivo de definição de job para uso com Declarative Automation Bundles. O job é executado diariamente.

YAML

resources:
  jobs:
    strac_job:
      name: strac_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: strac_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.strac_pipeline.id}

Padrões comuns

Para configurações avançadas de pipeline, consulte Padrões comuns para pipelines de ingestão gerenciados.

Próximos passos

Comece, programe e defina alertas em seu pipeline. Consulte Tarefas comuns de manutenção de pipeline.

Recursos adicionais

• FAQ do Conector Strac
• Limitações do conector Strac
• Referência do conector Strac
• Solucione problemas do conector Strac