Pular para o conteúdo principal

gerenciar conector FAQs

Este artigo responde a perguntas frequentes sobre como gerenciar conectores em Databricks LakeFlow Connect. Para perguntas frequentes específicas sobre conectores, consulte a documentação do seu conector.

Quais conectores gerenciadores o site Databricks suporta?

LakeFlow Connect oferece conectores para gerenciar o Salesforce, SQL Server, ServiceNow e Google analítica. Para informar o roteiro ou obter acesso antecipado aos conectores Private Preview, entre em contato com sua equipe account.

Quais interfaces são compatíveis com os conectores gerenciar?

Todos os conectores gerenciar suportam a criação de pipeline usando Databricks APIs e DABs. A maioria dos conectores também oferece a criação de pipeline na interface do usuário.

A tabela a seguir resume quais interfaces são suportadas por cada conector.

Conector

Criação de pipeline com base na interface do usuário

Criação de pipeline baseada em API

dABs

Salesforce

cheque marcado sim

cheque marcado sim

cheque marcado sim

Workday

x marca não

cheque marcado sim

cheque marcado sim

SQL Server

cheque marcado sim

cheque marcado sim

cheque marcado sim

ServiceNow

cheque marcado sim

cheque marcado sim

cheque marcado sim

GA4

cheque marcado sim

cheque marcado sim

cheque marcado sim

Como os conectores gerenciáveis lidam com a evolução do esquema?

Todos os conectores gerenciar lidam automaticamente com colunas novas e excluídas, a menos que o senhor opte por não fazê-lo especificando explicitamente as colunas que gostaria de ingerir.

  • Quando uma nova coluna aparece na fonte, o Databricks a ingere automaticamente na próxima execução do pipeline. Para qualquer linha na coluna que apareceu antes da alteração do esquema, o Databricks deixa o valor vazio. No entanto, o senhor pode desativar a ingestão automatizada de colunas, listando colunas específicas a serem ingeridas por meio da API ou desativando quaisquer colunas futuras na interface do usuário.
  • Quando uma coluna é excluída da fonte, o Databricks não a exclui automaticamente. Em vez disso, o conector usa uma propriedade de tabela para definir a coluna excluída como “inativa” no destino. Se mais tarde aparecer outra coluna com o mesmo nome, o pipeline falhará. Nesse caso, o senhor pode acionar um refresh completo da tabela ou eliminar manualmente a coluna inativa.

Da mesma forma, os conectores podem lidar com tabelas novas e excluídas. Se o senhor ingerir um esquema inteiro, o Databricks ingerirá automaticamente todas as novas tabelas, a menos que o senhor opte por não fazê-lo. E se uma tabela for excluída na origem, o conector a definirá como inactive no destino. Observe que, se o senhor optar por ingerir um esquema inteiro, deverá analisar as limitações do número de tabelas por pipeline para o seu conector.

Alterações adicionais no esquema dependem da fonte. Por exemplo, o conector do Salesforce trata as renomeações de coluna como exclusões e adições de coluna e faz a alteração automaticamente, com o comportamento descrito acima. No entanto, o conector SQL Server exige um refresh completo das tabelas afetadas para continuar a ingestão.

A tabela a seguir resume quais alterações de esquema podem ser tratadas automaticamente por cada conector:

Conector

Colunas novas e excluídas

Alterações no tipo de dados

Renomeações de colunas

Novas tabelas

Salesforce

cheque marcado sim

x marca não

cheque marcado sim Tratada como uma nova coluna (novo nome) e coluna excluída (nome antigo). Não requer um refresh completo.

cheque marcado sim Se você ingerir todo o esquema.

Workday

cheque marcado sim

x marca não

cheque marcado sim Tratada como uma nova coluna (novo nome) e coluna excluída (nome antigo). Não requer um refresh completo.

Não aplicável

SQL Server

cheque marcado sim

x marca não

cheque marcado sim A coluna é renomeada. É necessário um refresh completo.

cheque marcado sim Se você ingerir todo o esquema.

ServiceNow

cheque marcado sim

x marca não

cheque marcado sim Tratada como uma nova coluna (novo nome) e coluna excluída (nome antigo). Não requer um refresh completo.

cheque marcado sim Se você ingerir todo o esquema.

GA4

cheque marcado sim

x marca não

cheque marcado sim Tratada como uma nova coluna (novo nome) e coluna excluída (nome antigo). Não requer um refresh completo.

cheque marcado sim Se você ingerir todo o esquema.

Posso personalizar os conectores gerenciar?

O senhor pode escolher os objetos ingeridos, o destino, o programa, as permissões, as notificações e muito mais. O senhor não pode personalizar o processo de ingestão em si porque esses conectores são totalmente gerenciados. Para personalização adicional, o senhor pode usar o site DLT ou a transmissão estruturada.

Qual é a diferença entre gerenciar conectores, Lakehouse Federation e Delta Sharing?

A lakehouse Federation permite que o senhor consulte fontes de dados externas sem mover seus dados. O Delta Sharing permite que o senhor compartilhe com segurança dados em tempo real entre plataformas, nuvens e regiões.

Quando o senhor puder escolher entre conectores gerenciar, lakehouse Federation e Delta Sharing, escolha Delta Sharing nos seguintes cenários:

  • Limitar a duplicação de dados.
  • Consultando os dados mais recentes possíveis.

Escolha a Lakehouse Federation para os seguintes cenários:

  • Relatórios ad hoc ou trabalho de prova de conceito em seu pipeline ETL.

Qual é a diferença entre gerenciar conectores e Auto Loader?

Os conectores gerenciar permitem que o senhor ingira dados de forma incremental a partir de aplicativos SaaS como o Salesforce e bancos de dados como o SQL Server. O Auto Loader é um conector de armazenamento de objetos na nuvem que permite a ingestão incremental de arquivos à medida que eles chegam ao S3, ADLS e GCS. É compatível com transmissão estruturada e DLT, mas não oferece pipeline de ingestão totalmente gerenciado.

Os conectores gerenciar podem gravar de volta na fonte de dados?

Não. Se o senhor estiver interessado nessa funcionalidade, entre em contato com a equipe do account.

Um pipeline pode gravar em vários esquemas de destino?

Esse recurso é compatível com o site LakeFlow Connect API para todos os conectores do gerenciar SaaS, como Salesforce, Workday e ServiceNow.

Se o senhor optar por usar esse recurso, seu pipeline se tornará somente de API. Você não pode editá-lo na interface do usuário.

Posso alterar o nome de uma tabela que eu ingiro?

Esse recurso é suportado no site LakeFlow Connect API para todos os conectores gerenciar.

Se o senhor optar por usar esse recurso, seu pipeline se tornará somente de API. O senhor não pode editar o pipeline somente da API na interface do usuário.

Para cada tabela que você quiser renomear, adicione a configuração destination_table com o nome de tabela desejado.

O que acontece se um pipeline ainda estiver em execução (atualização N) quando a próxima atualização estiver programada para ser executada (atualização N+1)?

O Databricks pula a atualização N+1 e retoma a atualização N+2, presumindo que a atualização N tenha sido concluída a tempo.

O que acontece com as tabelas de destino quando um pipeline de ingestão é excluído?

As tabelas de destino são descartadas quando o pipeline de ingestão é excluído.

Qual é o preço dos conectores gerenciar?

Os conectores gerenciar têm um modelo de preços baseado em compute.

SaaS Fontes como Salesforce e Workday, que executam exclusivamente na infraestrutura serverless, incorrem em encargos serverless DLT DBU .

Para fontes de banco de dados como SQL Server, os gateways de ingestão podem ser executados no modo clássico ou no modo serverless, dependendo da fonte, e o pipeline de ingestão pode ser executado em serverless. Como resultado, o senhor pode receber tanto a cobrança clássica quanto a serverless DLT DBU .

Para obter detalhes sobre a taxa, consulte a página de preços da DLT.

Perguntas frequentes específicas sobre conectores

Para perguntas frequentes específicas sobre conectores, consulte a documentação do seu conector: