Pular para o conteúdo principal

Manter o pipeline de ingestão do Salesforce

Esta página descreve as operações em andamento para manter o pipeline de ingestão do Salesforce.

Manutenção geral do site pipeline​

As tarefas de manutenção do site pipeline nesta seção se aplicam a todos os conectores gerenciáveis em LakeFlow Connect.

Totalmente refresh tabelas de destino​

A atualização completa da ingestão pipeline limpa os dados e o estado da tabela e, em seguida, reprocessa todos os registros da fonte de dados.

  1. Para refresh totalmente as tabelas selecionadas:

    a. Na barra lateral do site Databricks workspace, clique em pipeline . a. Selecione o pipeline. a. Na página de detalhes do pipeline, clique em Select tables for refresh for the ingestion pipeline ( Selecionar tabelas para atualização do pipeline de ingestão). a. Selecione as tabelas desejadas e clique em Full refresh selection (Atualizar seleção completa ).

  • Para refresh totalmente todas as tabelas na ingestão pipeline, clique no menu suspenso ao lado do botão começar e, em seguida, clique em Full refresh all .
important

A atualização do pipeline de ingestão pode falhar durante a fase Initializing ou Resetting tables. LakeFlow Connect tentará acessar novamente o site pipeline automaticamente várias vezes. Se as tentativas automáticas forem interrompidas manualmente ou eventualmente falharem fatalmente, comece a nova atualização do pipeline manualmente com a tabela refresh selecionada anteriormente. Não fazer isso pode fazer com que as tabelas de destino sejam deixadas em um estado inconsistente com dados parciais. Se as tentativas manuais também falharem, crie um ticket de suporte.

Alterar a ingestão pipeline programar​

  1. Na barra lateral do site Databricks workspace, clique em pipeline .
  2. Selecione o endereço pipeline e clique em programar .

Personalizar alertas e notificações​

LakeFlow Connect configura automaticamente as notificações para todos os pipelines de ingestão e trabalhos de programação. O senhor pode personalizar as notificações na interface do usuário ou usando o pipeline API.

  1. No painel esquerdo, clique em pipeline .
  2. Selecione seu pipeline.
  3. Clique em programar .
  4. Se o senhor já tiver um programar para o qual deseja receber notificações: a. Identifique o programar na lista. a. Clique no menu kebab e, em seguida, clique em Editar. a. Clique em Mais opções e adicione suas notificações.
  5. Se o senhor precisar de um novo programar: a. Clique em Add programar . a. Configure seu programa. a. Clique em Mais opções e adicione suas notificações.

Especificar tabelas a serem ingeridas​

O pipeline API fornece dois métodos para especificar as tabelas a serem ingeridas no campo objects do ingestion_definition:

  • Especificação de tabela: ingere uma tabela individual do catálogo e esquema de origem especificados para o catálogo e esquema de destino especificados.
  • Especificação do esquema: ingere todas as tabelas do catálogo e do esquema de origem especificados no catálogo e no esquema especificados.

Se optar por ingerir um esquema inteiro, o senhor deve analisar as limitações do número de tabelas por pipeline para o seu conector.

Última atualização em