Padrões comuns para o pipeline de ingestão de gerenci

LakeFlow Connect fornece padrões e técnicas para otimizar seu pipeline de ingestão de gerenciamento. Utilize esses padrões para controlar quais dados são ingeridos, gerenciar atualizações de pipeline e configurar comportamentos avançados.

Nem todos os conectores suportam os padrões comuns desta seção.

tópico	Descrição
Seleção de coluna	Selecione ou exclua colunas específicas durante a ingestão para reduzir o volume de dados e melhorar o desempenho.
refresh completo	Force uma recarga completa dos seus dados a partir do sistema de origem.
história envio	Acompanhe as alterações históricas no seu uso de dados dimensões que mudam lentamente (SCD) (SCD) tipo 2.
Pipeline com múltiplos destinos	Ingerir dados de uma única fonte para várias tabelas ou catálogos de destino.
manutenção de dutos	gerenciar atualizações pipeline , pausa e solução de problemas de fluxo de trabalho.
Filtragem de linhas	Filtrar linhas durante a ingestão usando condições semelhantes a SQL.
Nomeie as tabelas de destino	Nomeie as tabelas de destino. Por default, uma tabela de destino recebe o nome da tabela de origem correspondente. No entanto, nomear uma tabela de destino é útil quando você ingere o mesmo objeto de origem duas vezes no mesmo esquema. Os conectores de gerenciamento não suportam nomes de tabela duplicados no mesmo esquema de destino. Dar um nome à tabela de destino também pode ajudar a alinhar as tabelas às convenções de nomenclatura da sua organização.