gerenciar conectores em LakeFlow Connect
Visualização
gerenciar SaaS e os conectores de banco de dados fornecidos por LakeFlow Connect estão em vários estados de lançamento.
Este artigo oferece uma visão geral de como gerenciar conectores em Databricks LakeFlow Connect para ingerir dados de aplicativos e bancos de dados SaaS. A ingestão resultante pipeline é governada por Unity Catalog e é alimentada por serverless compute e DLT. Os conectores gerenciar aproveitam leituras e gravações incrementais eficientes para tornar a ingestão de dados mais rápida, dimensionável e econômica, enquanto seus dados permanecem atualizados para consumo downstream.
Componentes do conector SaaS
Um conector SaaS é modelado pelos seguintes componentes:
- Conexão : Um objeto seguro do Unity Catalog que armazena detalhes de autenticação para o banco de dados.
- Ingestão pipeline : Ingere os dados em etapas nas tabelas Delta. Esse componente é modelado como um serverless DLT pipeline.
Componentes do conector de banco
Um conector de banco de dados é modelado pelos seguintes componentes:
- Conexão : Um objeto seguro do Unity Catalog que armazena detalhes de autenticação para o banco de dados.
- Gateway : extração de dados do banco de dados de origem e mantém a integridade das transações durante a transferência. Para bancos de dados baseados em nuvem, o gateway é configurado como um DLT pipeline com o clássico compute.
- Armazenamento de preparação : Um volume do Unity Catalog em que os dados do gateway são preparados antes de serem aplicados a uma tabela Delta. O armazenamento de preparação account é criado quando o gateway é implantado e existe no catálogo e no esquema que o senhor especificar.
- Ingestão pipeline : Ingere os dados em etapas nas tabelas Delta. Esse componente é modelado como um serverless DLT pipeline.
LakeFlow Connect vs. lakehouse Federation vs. Delta Sharing
A lakehouse Federation permite que o senhor consulte fontes de dados externas sem mover seus dados. O Delta Sharing permite que o senhor compartilhe com segurança dados em tempo real entre plataformas, nuvens e regiões. Databricks recomenda a ingestão usando o site LakeFlow Connect porque ele escala para acomodar grandes volumes de dados, consultas de baixa latência e limites de API de terceiros. No entanto, talvez você queira consultar seus dados sem movê-los.
Quando o senhor puder escolher entre LakeFlow Connect, lakehouse Federation e Delta Sharing, escolha Delta Sharing para os seguintes cenários:
- Limitar a duplicação de dados.
- Consultando os dados mais recentes possíveis.
Escolha a Lakehouse Federation para os seguintes cenários:
- Relatórios ad hoc ou trabalho de prova de conceito em seu pipeline ETL.
gerenciar conectores vs. Auto Loader
Os conectores gerenciar permitem que o senhor ingira dados de forma incremental a partir de aplicativos e bancos de dados corporativos. O Auto Loader é um conector para armazenamento de objetos na nuvem que permite que o senhor ingira arquivos de forma incremental à medida que eles chegam ao S3, ADLS e GCS. Ele é compatível com a transmissão estruturada e com o site DLT, mas não é totalmente gerenciado.
Os conectores gerenciar podem gravar de volta em aplicativos e bancos de dados de terceiros?
Não. Se o senhor estiver interessado nessa funcionalidade, entre em contato com a equipe do account.
Qual é o custo para gerenciar conectores?
Os conectores gerenciar usam um modelo de preços baseado em compute.
SaaS Fontes como Salesforce e Workday, que executam exclusivamente na infraestrutura serverless, incorrem em encargos serverless DLT DBU .
Para fontes de banco de dados como SQL Server, os gateways de ingestão podem ser executados no modo clássico ou no modo serverless, dependendo da fonte, e o pipeline de ingestão pode ser executado em serverless. Como resultado, o senhor pode receber tanto a cobrança clássica quanto a serverless DLT DBU .
Para obter detalhes sobre a taxa, consulte a página de preços da DLT.
Dependência de serviços externos
Databricks SaaS Os conectores de aplicativos, bancos de dados e outros gerenciadores dependem da acessibilidade, da compatibilidade e da estabilidade do aplicativo, do banco de dados ou do serviço externo ao qual se conectam. Databricks não controla esses serviços externos e, portanto, tem influência limitada (se houver) sobre suas alterações, atualizações e manutenção. Se alterações, interrupções ou circunstâncias relacionadas a um serviço externo impedirem ou tornarem impraticáveis as operações de um conector, o site Databricks poderá descontinuar ou deixar de manter esse conector. A Databricks envidará esforços razoáveis para notificar os clientes sobre a descontinuação ou interrupção da manutenção, incluindo atualizações da documentação aplicável.