gerenciar conector FAQs
Este artigo responde a perguntas frequentes sobre como gerenciar conectores em Databricks LakeFlow Connect. Para perguntas frequentes específicas sobre conectores, consulte a documentação do seu conector.
Quais conectores gerenciadores o site Databricks suporta?
LakeFlow Connect oferece conectores para gerenciar o Salesforce, SQL Server, ServiceNow e Google analítica. Para informar o roteiro ou obter acesso antecipado aos conectores Private Preview, entre em contato com sua equipe account.
Quais interfaces são compatíveis com os conectores gerenciar?
Todos os conectores gerenciar suportam a criação de pipeline usando Databricks APIs e DABs. A maioria dos conectores também oferece a criação de pipeline na interface do usuário.
A tabela a seguir resume quais interfaces são suportadas por cada conector.
Conector | Criação de pipeline com base na interface do usuário | Criação de pipeline baseada em API | dABs |
|---|---|---|---|
Salesforce |
|
|
|
Workday |
|
|
|
SQL Server |
|
|
|
ServiceNow |
|
|
|
GA4 |
|
|
|
Como os conectores gerenciáveis lidam com a evolução do esquema?
Todos os conectores gerenciar lidam automaticamente com colunas novas e excluídas, a menos que o senhor opte por não fazê-lo especificando explicitamente as colunas que gostaria de ingerir.
- Quando uma nova coluna aparece na fonte, o Databricks a ingere automaticamente na próxima execução do pipeline. Para qualquer linha na coluna que apareceu antes da alteração do esquema, o Databricks deixa o valor vazio. No entanto, o senhor pode desativar a ingestão automatizada de colunas, listando colunas específicas a serem ingeridas por meio da API ou desativando quaisquer colunas futuras na interface do usuário.
- Quando uma coluna é excluída da fonte, o Databricks não a exclui automaticamente. Em vez disso, o conector usa uma propriedade de tabela para definir a coluna excluída como “inativa” no destino. Se mais tarde aparecer outra coluna com o mesmo nome, o pipeline falhará. Nesse caso, o senhor pode acionar um refresh completo da tabela ou eliminar manualmente a coluna inativa.
Da mesma forma, os conectores podem lidar com tabelas novas e excluídas. Se o senhor ingerir um esquema inteiro, o Databricks ingerirá automaticamente todas as novas tabelas, a menos que o senhor opte por não fazê-lo. E se uma tabela for excluída na origem, o conector a definirá como inactive no destino. Observe que, se o senhor optar por ingerir um esquema inteiro, deverá analisar as limitações do número de tabelas por pipeline para o seu conector.
Alterações adicionais no esquema dependem da fonte. Por exemplo, o conector do Salesforce trata as renomeações de coluna como exclusões e adições de coluna e faz a alteração automaticamente, com o comportamento descrito acima. No entanto, o conector SQL Server exige um refresh completo das tabelas afetadas para continuar a ingestão.
A tabela a seguir resume quais alterações de esquema podem ser tratadas automaticamente por cada conector:
Conector | Colunas novas e excluídas | Alterações no tipo de dados | Renomeações de colunas | Novas tabelas |
|---|---|---|---|---|
Salesforce |
|
|
|
|
Workday |
|
|
| Não aplicável |
SQL Server |
|
|
|
|
ServiceNow |
|
|
|
|
GA4 |
|
|
|
|
Posso personalizar os conectores gerenciar?
O senhor pode escolher os objetos ingeridos, o destino, o programa, as permissões, as notificações e muito mais. O senhor não pode personalizar o processo de ingestão em si porque esses conectores são totalmente gerenciados. Para personalização adicional, o senhor pode usar o site DLT ou a transmissão estruturada.
Qual é a diferença entre gerenciar conectores, Lakehouse Federation e Delta Sharing?
A lakehouse Federation permite que o senhor consulte fontes de dados externas sem mover seus dados. O Delta Sharing permite que o senhor compartilhe com segurança dados em tempo real entre plataformas, nuvens e regiões.
Quando o senhor puder escolher entre conectores gerenciar, lakehouse Federation e Delta Sharing, escolha Delta Sharing nos seguintes cenários:
- Limitar a duplicação de dados.
- Consultando os dados mais recentes possíveis.
Escolha a Lakehouse Federation para os seguintes cenários:
- Relatórios ad hoc ou trabalho de prova de conceito em seu pipeline ETL.
Qual é a diferença entre gerenciar conectores e Auto Loader?
Os conectores gerenciar permitem que o senhor ingira dados de forma incremental a partir de aplicativos SaaS como o Salesforce e bancos de dados como o SQL Server. O Auto Loader é um conector de armazenamento de objetos na nuvem que permite a ingestão incremental de arquivos à medida que eles chegam ao S3, ADLS e GCS. É compatível com transmissão estruturada e DLT, mas não oferece pipeline de ingestão totalmente gerenciado.
Os conectores gerenciar podem gravar de volta na fonte de dados?
Não. Se o senhor estiver interessado nessa funcionalidade, entre em contato com a equipe do account.
Um pipeline pode gravar em vários esquemas de destino?
Esse recurso é compatível com o site LakeFlow Connect API para todos os conectores do gerenciar SaaS, como Salesforce, Workday e ServiceNow.
Se o senhor optar por usar esse recurso, seu pipeline se tornará somente de API. Você não pode editá-lo na interface do usuário.
Posso alterar o nome de uma tabela que eu ingiro?
Esse recurso é suportado no site LakeFlow Connect API para todos os conectores gerenciar.
Se o senhor optar por usar esse recurso, seu pipeline se tornará somente de API. O senhor não pode editar o pipeline somente da API na interface do usuário.
Para cada tabela que você quiser renomear, adicione a configuração destination_table com o nome de tabela desejado.
O que acontece se um pipeline ainda estiver em execução (atualização N) quando a próxima atualização estiver programada para ser executada (atualização N+1)?
O Databricks pula a atualização N+1 e retoma a atualização N+2, presumindo que a atualização N tenha sido concluída a tempo.
O que acontece com as tabelas de destino quando um pipeline de ingestão é excluído?
As tabelas de destino são descartadas quando o pipeline de ingestão é excluído.
Qual é o preço dos conectores gerenciar?
Os conectores gerenciar têm um modelo de preços baseado em compute.
SaaS Fontes como Salesforce e Workday, que executam exclusivamente na infraestrutura serverless, incorrem em encargos serverless DLT DBU .
Para fontes de banco de dados como SQL Server, os gateways de ingestão podem ser executados no modo clássico ou no modo serverless, dependendo da fonte, e o pipeline de ingestão pode ser executado em serverless. Como resultado, o senhor pode receber tanto a cobrança clássica quanto a serverless DLT DBU .
Para obter detalhes sobre a taxa, consulte a página de preços da DLT.
Perguntas frequentes específicas sobre conectores
Para perguntas frequentes específicas sobre conectores, consulte a documentação do seu conector: