LakeFlow Connect

Prévia

O LakeFlow Connect está em um Public Preview fechado. Para participar da pré-visualização, entre em contato com a equipe do Databricks account .

Este artigo apresenta uma visão geral do Databricks LakeFlow Connect, que oferece conectores integrados para a ingestão de dados de aplicativos e bancos de dados corporativos.

O que é o LakeFlow Connect?

Databricks LakeFlow O Connect oferece conectores integrados para ingestão de aplicativos e bancos de dados corporativos. A ingestão resultante pipeline é governada por Unity Catalog e é alimentada por serverless compute e Delta Live Tables.

O LakeFlow Connect utiliza leituras e gravações incrementais eficientes para tornar a ingestão de dados mais rápida, dimensionável e econômica, enquanto seus dados permanecem atualizados para consumo downstream.

Componentes do conector SaaS

Um conector SaaS é modelado pelos seguintes componentes:

• Conexão: Um objeto seguro do Unity Catalog que armazena detalhes de autenticação para o banco de dados.

• Ingestão pipeline: Ingere os dados em etapas nas tabelas Delta. Esse componente é modelado como um serverless DLT pipeline.

Componentes do conector de banco

Um conector de banco de dados é modelado pelos seguintes componentes:

• Conexão: Um objeto seguro do Unity Catalog que armazena detalhes de autenticação para o banco de dados.

• Gateway: extração de dados do banco de dados de origem e mantém a integridade das transações durante a transferência. Para bancos de dados baseados em cloud, o gateway é configurado como um DLT pipeline com o clássico compute.

• Armazenamento de preparação: Um volume do Unity Catalog em que os dados do gateway são preparados antes de serem aplicados a uma tabela Delta. O armazenamento de preparação account é criado quando o gateway é implantado e existe no catálogo e no esquema que o senhor especificar.

• Ingestão pipeline: Ingere os dados em etapas nas tabelas Delta. Esse componente é modelado como um serverless DLT pipeline.

LakeFlow Connect vs. Lakehouse Federation vs. Delta Sharing

A lakehouse Federation permite que o senhor consulte fontes de dados externas sem mover seus dados. Delta Sharing permite que o senhor compartilhe com segurança dados ao vivo entre plataformas, clouds e regiões. Databricks recomenda a ingestão usando o LakeFlow Connect porque ele se adapta a grandes volumes de dados, consultas de baixa latência e limites de API de terceiros. No entanto, o senhor pode querer consultar seus dados sem movê-los.

Quando o senhor puder escolher entre LakeFlow Connect, lakehouse Federation e Delta Sharing, escolha Delta Sharing para os seguintes cenários:

• Limitar a duplicação de dados.

• Consultando os dados mais recentes possíveis.

Escolha a Lakehouse Federation para os seguintes cenários:

• Relatórios ad hoc ou trabalho de prova de conceito em seu pipeline ETL.

LakeFlow Connect vs. Auto Loader

LakeFlow O Connect fornece conectores integrados que permitem a ingestão incremental de dados de aplicativos e bancos de dados corporativos. Auto Loader é um conector para o armazenamento de objetos cloud que permite que o senhor ingira arquivos de forma incremental à medida que eles chegam em S3, ADLS e GCS. Ele é compatível com a transmissão estruturada e com o site Delta Live Tables, mas não se integra ao LakeFlow Connect.

O LakeFlow Connect pode gravar de volta em aplicativos e bancos de dados de terceiros?

Não. Se o senhor estiver interessado nessa funcionalidade, entre em contato com a equipe do account.

Qual é o custo do LakeFlow Connect?

Por enquanto, os clientes são cobrados apenas pelo uso do serverless Delta Live Tables necessário para carregar dados da fonte (se estiver se conectando a um aplicativo corporativo, como o Salesforce) ou do volume de preparação (se estiver se conectando a um banco de dados, como o SQL Server). O modelo final de preços do LakeFlow Connect pode incluir cobranças adicionais e será anunciado no futuro.

serverless Delta Live Tables preços está visível em nossa página de preços.