gerenciar conector FAQs
Este artigo responde a perguntas frequentes sobre como gerenciar conectores em Databricks LakeFlow Connect. Para perguntas frequentes específicas sobre conectores, consulte a documentação do seu conector.
Quais conectores gerenciadores o site Databricks suporta?
LakeFlow Connect oferece conectores para gerenciar o Salesforce, SQL Server, ServiceNow e Google analítica. Para informar o roteiro ou obter acesso antecipado aos conectores Private Preview, entre em contato com sua equipe account.
Quais interfaces são compatíveis com os conectores gerenciar?
Todos os conectores gerenciar suportam a criação de pipeline usando Databricks APIs e Databricks ativo Bundles. A maioria dos conectores também oferece a criação de pipeline na interface do usuário.
A tabela a seguir resume quais interfaces são suportadas por cada conector.
Conector | Criação de pipeline com base na interface do usuário | Criação de pipeline baseada em API | Databricks Asset Bundles |
---|---|---|---|
Salesforce | |||
Workday | |||
SQL Server | |||
ServiceNow | |||
GA4 | |||
SharePoint |
Como os conectores gerenciáveis lidam com a evolução do esquema?
Todos os conectores gerenciar lidam automaticamente com colunas novas e excluídas, a menos que o senhor opte por não fazê-lo especificando explicitamente as colunas que gostaria de ingerir.
- Quando uma nova coluna aparece na fonte, o Databricks a ingere automaticamente na próxima execução do pipeline. Para qualquer linha na coluna que apareceu antes da alteração do esquema, o Databricks deixa o valor vazio. No entanto, o senhor pode desativar a ingestão automatizada de colunas, listando colunas específicas a serem ingeridas por meio da API ou desativando quaisquer colunas futuras na interface do usuário.
- Quando uma coluna é excluída da fonte, o Databricks não a exclui automaticamente. Em vez disso, o conector usa uma propriedade de tabela para definir a coluna excluída como “inativa” no destino. Se mais tarde aparecer outra coluna com o mesmo nome, o pipeline falhará. Nesse caso, o senhor pode acionar um refresh completo da tabela ou eliminar manualmente a coluna inativa.
Da mesma forma, os conectores podem lidar com tabelas novas e excluídas. Se o senhor ingerir um esquema inteiro, o Databricks ingerirá automaticamente todas as novas tabelas, a menos que o senhor opte por não fazê-lo. E se uma tabela for excluída na origem, o conector a definirá como inactive
no destino. Observe que, se o senhor optar por ingerir um esquema inteiro, deverá analisar as limitações do número de tabelas por pipeline para o seu conector.
Alterações adicionais no esquema dependem da fonte. Por exemplo, o conector do Salesforce trata as renomeações de coluna como exclusões e adições de coluna e faz a alteração automaticamente, com o comportamento descrito acima. No entanto, o conector SQL Server exige um refresh completo das tabelas afetadas para continuar a ingestão.
A tabela a seguir resume quais alterações de esquema podem ser tratadas automaticamente por cada conector:
Conector | Colunas novas e excluídas | Alterações no tipo de dados | Renomeações de colunas | Novas tabelas |
---|---|---|---|---|
Salesforce |
|
| ||
Workday |
| Não aplicável | ||
SQL Server |
|
| ||
ServiceNow |
|
| ||
GA4 |
|
| ||
SharePoint |
|
|
Posso personalizar os conectores gerenciar?
O senhor pode escolher os objetos ingeridos, o destino, o programa, as permissões, as notificações e muito mais. O senhor não pode personalizar o processo de ingestão em si porque esses conectores são totalmente gerenciados. Para personalização adicional, o senhor pode usar LakeFlow Declarative pipeline ou transmissão estruturada.
Qual é a diferença entre gerenciar conectores, Lakehouse Federation e Delta Sharing?
A lakehouse Federation permite que o senhor consulte fontes de dados externas sem mover seus dados. O Delta Sharing permite que o senhor compartilhe com segurança dados em tempo real entre plataformas, nuvens e regiões.
Quando o senhor puder escolher entre conectores gerenciar, lakehouse Federation e Delta Sharing, escolha Delta Sharing nos seguintes cenários:
- Limitar a duplicação de dados.
- Consultando os dados mais recentes possíveis.
Escolha a Lakehouse Federation para os seguintes cenários:
- Relatórios ad hoc ou trabalho de prova de conceito em seu pipeline ETL.
Qual é a diferença entre gerenciar conectores e Auto Loader?
Os conectores gerenciar permitem que o senhor ingira dados de forma incremental a partir de aplicativos SaaS como o Salesforce e bancos de dados como o SQL Server. O Auto Loader é um conector de armazenamento de objetos na nuvem que permite a ingestão incremental de arquivos à medida que eles chegam ao S3, ADLS e GCS. Ele é compatível com o pipeline de transmissão estruturada e LakeFlow Declarative, mas não oferece pipeline de ingestão totalmente gerenciado.
Os conectores gerenciar podem gravar de volta na fonte de dados?
Não. Se o senhor estiver interessado nessa funcionalidade, entre em contato com a equipe do account.
Os conectores da Gerenciar estão disponíveis em todas as regiões?
Não. Consulte disponibilidade do recurso sem servidor compute.
Um pipeline pode gravar em vários esquemas de destino?
Esse recurso é compatível com o site LakeFlow Connect API para todos os conectores do gerenciar SaaS, como Salesforce, Workday e ServiceNow.
Se o senhor optar por usar esse recurso, seu pipeline se tornará somente de API. Você não pode editá-lo na interface do usuário.
Posso alterar o nome de uma tabela que eu ingiro?
Esse recurso é suportado no site LakeFlow Connect API para todos os conectores gerenciar.
Se o senhor optar por usar esse recurso, seu pipeline se tornará somente de API. O senhor não pode editar o pipeline somente da API na interface do usuário.
Para cada tabela que você quiser renomear, adicione a configuração destination_table
com o nome de tabela desejado.
O que acontece se um pipeline ainda estiver em execução (atualização N) quando a próxima atualização estiver programada para ser executada (atualização N+1)?
O Databricks pula a atualização N+1 e retoma a atualização N+2, presumindo que a atualização N tenha sido concluída a tempo.
O que acontece com as tabelas de destino quando um pipeline de ingestão é excluído?
As tabelas de destino são descartadas quando o pipeline de ingestão é excluído.
Qual é o preço dos conectores gerenciar?
Os conectores gerenciar têm um modelo de preços baseado em compute.
SaaS Fontes como Salesforce e Workday, que executam exclusivamente na infraestrutura serverless, incorrem em encargos serverless LakeFlow Declarative pipeline DBU.
Para fontes de banco de dados como SQL Server, os gateways de ingestão podem ser executados no modo clássico ou no modo serverless, dependendo da fonte, e o pipeline de ingestão pode ser executado em serverless. Como resultado, o senhor pode receber tanto o clássico quanto o serverless LakeFlow Declarative pipeline DBU charges.
Para obter detalhes sobre as tarifas, consulte a páginaLakeFlow Declarative pipeline preços.
Posso ativar o feed de dados de alteração do Delta Lake em uma tabela de destino?
Isso está ativado para todas as tabelas de destino.
Perguntas frequentes específicas sobre conectores
Para perguntas frequentes específicas sobre conectores, consulte a documentação do seu conector: