Conectores padrão em LakeFlow Connect

Esta página descreve os conectores padrão em Databricks LakeFlow Connect, que oferecem níveis mais altos de personalização de ingestão pipeline em comparação com os conectores gerenciar.

Camadas da pilha ETL

Alguns conectores operam em um nível da pilha ETL. Por exemplo, o Databricks oferece conectores totalmente gerenciados para aplicativos corporativos como Salesforce e bancos de dados como o SQL Server. Outros conectores operam em várias camadas da pilha ETL. Por exemplo, você pode usar conectores padrão no Structured Streaming para personalização completa ou em Lakeflow pipelines para uma experiência mais gerenciada.

Databricks recomenda começar com a camada mais gerenciável. Se ele não atender aos seus requisitos (por exemplo, se não for compatível com sua fonte de dados), passe para a próxima camada.

A tabela a seguir descreve as três camadas do produto de ingestão, ordenadas da mais personalizável para a mais gerenciável:

Camada	Descrição
Transmissão estruturada	Apache Spark A transmissão estruturada é um mecanismo de transmissão que oferece tolerância a falhas de ponta a ponta com garantias de processamento exatamente único usando Spark APIs.
LakeFlow Pipelines	Lakeflow Pipelines estendem o Structured Streaming, oferecendo uma estrutura declarativa para a criação de pipelines de dados. Você pode definir as transformações a serem realizadas em seus dados, e os Lakeflow Pipelines gerenciam a orquestração, o monitoramento, a qualidade dos dados, erros e muito mais. Eles oferecem mais automação e menos sobrecarga do que o Structured Streaming.
gerenciar conectores	Conectores totalmente gerenciados se baseiam em Lakeflow pipelines, oferecendo ainda mais automação para as fontes de dados mais populares. Eles estendem a funcionalidade do Lakeflow pipelines para incluir também autenticação específica da fonte, CDC, tratamento de casos extremos, manutenção de API de longo prazo, novas tentativas automatizadas, evolução automatizada do esquema, e assim por diante. Portanto, eles oferecem ainda mais automação para quaisquer fontes de dados compatíveis.

Camada	Descrição
Transmissão estruturada	Apache Spark A transmissão estruturada é um mecanismo de transmissão que oferece tolerância a falhas de ponta a ponta com garantias de processamento exatamente único usando Spark APIs.
LakeFlow Pipelines	Lakeflow Pipelines estendem o Structured Streaming, oferecendo uma estrutura declarativa para a criação de pipelines de dados. Você pode definir as transformações a serem realizadas em seus dados, e os Lakeflow Pipelines gerenciam a orquestração, o monitoramento, a qualidade dos dados, erros e muito mais. Eles oferecem mais automação e menos sobrecarga do que o Structured Streaming.
gerenciar conectores	Conectores totalmente gerenciados se baseiam em Lakeflow pipelines, oferecendo ainda mais automação para as fontes de dados mais populares. Eles estendem a funcionalidade do Lakeflow pipelines para incluir também autenticação específica da fonte, CDC, tratamento de casos extremos, manutenção de API de longo prazo, novas tentativas automatizadas, evolução automatizada do esquema, e assim por diante. Portanto, eles oferecem ainda mais automação para quaisquer fontes de dados compatíveis.

Escolha um conector

A tabela a seguir lista os conectores de ingestão padrão por fonte de dados e nível de personalização do site pipeline. Para obter uma experiência de ingestão totalmente automatizada, use os conectores gerenciar.

Os exemplos de SQL para ingestão incremental do armazenamento de objetos na nuvem usam a sintaxe CREATE STREAMING TABLE. Ele oferece aos usuários de SQL uma experiência de ingestão dimensionável e robusta, portanto, é a alternativa recomendada para COPY INTO.

Origem	Mais personalização	Alguma personalização	Mais automação
Armazenamento de objetos na nuvem	Auto Loader com transmissão estruturada Python Scala	Auto Loader com LakeFlow Pipelines Python SQL	Auto Loader com Databricks SQL SQL
Servidores SFTP	Ingerir arquivos de servidores SFTP (Python, SQL)	N/A	N/A
Apache Kafka	transmissão estruturada com Kafka source Python Scala	Lakeflow Pipelines com origem Kafka Python SQL	Databricks SQL com fonte Kafka SQL
Google Pub/Sub	transmissão estruturada com fonte Pub/Sub Python Scala	Lakeflow Pipelines com origem Pub/Sub Python SQL	Databricks SQL com fonte Pub/Sub SQL
Apache Pulsar	transmissão estruturada com fonte Pulsar Python Scala	LakeFlow Pipelines com fonte Pulsar Python SQL	Databricks SQL com fonte Pulsar SQL

Origem	Mais personalização	Alguma personalização	Mais automação
Armazenamento de objetos na nuvem	Auto Loader com transmissão estruturada Python Scala	Auto Loader com LakeFlow Pipelines Python SQL	Auto Loader com Databricks SQL SQL
Servidores SFTP	Ingerir arquivos de servidores SFTP (Python, SQL)	N/A	N/A
Apache Kafka	transmissão estruturada com Kafka source Python Scala	Lakeflow Pipelines com origem Kafka Python SQL	Databricks SQL com fonte Kafka SQL
Google Pub/Sub	transmissão estruturada com fonte Pub/Sub Python Scala	Lakeflow Pipelines com origem Pub/Sub Python SQL	Databricks SQL com fonte Pub/Sub SQL
Apache Pulsar	transmissão estruturada com fonte Pulsar Python Scala	LakeFlow Pipelines com fonte Pulsar Python SQL	Databricks SQL com fonte Pulsar SQL

Programa de ingestão

O senhor pode configurar o pipeline de ingestão para execução em uma programação recorrente ou contínua.

Caso de uso	Modo do pipeline
Ingestão de lotes	Acionado: Processa novos dados em um programa ou quando acionado manualmente.
transmissão ingestão	Contínuo: processa novos dados à medida que eles chegam à fonte.

Caso de uso	Modo do pipeline
Ingestão de lotes	Acionado: Processa novos dados em um programa ou quando acionado manualmente.
transmissão ingestão	Contínuo: processa novos dados à medida que eles chegam à fonte.