Conectores comunitários no LakeFlow Connect
Beta
Esse recurso está em Beta.
Os conectores da comunidade são conectores de código aberto que estendem o Lakeflow Connect para fontes sem suporte a conectores gerenciados. A comunidade os cria e mantém. Esta página mostra como usar um conector da comunidade para ingerir dados de uma fonte suportada no Databricks.
Para criar seu próprio conector para uma fonte que ainda não é compatível, consulte Criar um conector personalizado para o Lakeflow Connect. Você pode executar um conector personalizado em seu próprio workspace sem contribuir para a comunidade.
Como funcionam os conectores da comunidade
Os conectores da comunidade são construídos na interface LakeflowConnect, que envolve a API da Fonte de Dados Python do Spark. Cada conector lida com autenticação, descoberta de esquema e leituras incrementais de dados para que você possa criar, configurar e executar um pipeline de ingestão apoiado por LakeFlow Pipelines.
Cada conector de comunidade é distribuído como bibliotecas Python wheel (.whl). Ao criar um pipeline, o Databricks instala as bibliotecas do conector no pipeline, e o pipeline as utiliza para ingerir dados da fonte. Para escolher de onde vêm as bibliotecas, consulte Escolher as bibliotecas do conector.
Fontes de apoio
A comunidade adiciona regularmente novos conectores. Para obter a lista mais recente de fontes suportadas, consulte a seção Conectores da comunidade e personalizados da página Adicionar dados em seu Workspace Databricks ou o repositório LakeFlow Comunidade Connectors no GitHub.
Requisitos
- Um espaço de trabalho do Databricks com o Unity Catalog habilitado
- Uma conexão para a fonte que você deseja ingerir, ou permissões para criar uma conexão
- Acesso de escrita a um catálogo e esquema para as tabelas ingeridas
Criar um pipeline de ingestão
Para ingerir dados usando um conector da comunidade:
-
Na barra lateral do seu workspace do Databricks, clique em +Novo > Adicionar ou fazer upload de dados e selecione a fonte em Comunidade e conectores personalizados .

-
No passo Conexão , clique em Criar conexão ou selecione uma conexão existente e, em seguida, clique em Próximo .
-
No passo Configuração de ingestão , configure o pipeline:
- Para Nome do pipeline , insira um nome para o pipeline.
- Em Local do log de eventos , selecione um catálogo e um esquema. O Databricks armazena o log de eventos do pipeline aqui.
- Em Tipo de compute , escolha o compute que faz a execução do pipeline.
- Para Bibliotecas de conector , escolha como obter os arquivos de wheel do conector. A opção Importação default é selecionada por default. Consulte Escolha as bibliotecas de conector.
- Clique em Criar pipeline e continuar .
-
No passo Origem , selecione as tabelas para ingestão. Você também pode escolher o tipo de dimensão que muda lentamente (SCD) para cada tabela.
-
Na etapa Destino , escolha o catálogo e o esquema onde as tabelas ingeridas serão gravadas.
-
No passo Programações and notificações , opcionalmente defina uma programação e notificações e, em seguida, clique em Save and execução pipeline . Se você não alterou nenhuma configuração neste passo, o botão será Execução pipeline .
Escolha as bibliotecas de conectores
A opção Bibliotecas de conectores na etapa Configuração de ingestão controla onde o pipeline obtém o framework do conector e os arquivos wheel do conector.
Opção | Descrição |
|---|---|
Importação default | O Databricks importa as novas rodas do conector do repository Lakeflow Comunidade Connectors. Use esta opção a menos que você precise de uma versão específica do conector. |
Importação manual | Em Dependências de biblioteca , insira o caminho para cada arquivo |


Como funciona a importação default
Ao criar o pipeline com Importação default , o Databricks copia as rodas de conector mais recentes para sua pasta home e configura o pipeline para usá-las. Cada pipeline permanece na versão do conector com a qual foi criado. Quando uma versão mais recente é lançada, apenas os pipelines que você criar após o lançamento a recebem.
Se a importação falhar, o Databricks não cria o pipeline. O assistente mostra o erro e alterna para Importação manual para que você possa inserir os caminhos da wheel e tentar novamente.
Considerações
- Os conectores comunitários estão em fase ativa de desenvolvimento. As interfaces e o comportamento estão sujeitos a alterações.
- Databricks não mantém conectores para a comunidade. Eles não são respaldados pelos SLAs da Databricks e não garantem compatibilidade futura.
- Com Default import , as wheels são armazenadas na pasta home do usuário que cria o pipeline. Se a execução do pipeline ocorrer como um usuário ou Service Principal diferente, ou se a pasta home do criador for removida, o pipeline não poderá ler as wheels e falhará no runtime. Nesse caso, use Manual import com wheels em um local que a identidade de execução do pipeline possa ler, como um volume do Unity Catalog.
- Quando você edita um pipeline de conector da comunidade existente, a escolha Bibliotecas do conector não é exibida. O assistente mostra os caminhos de roda atuais do pipeline, que você pode alterar.
Enviar feedback
Relate bugs e envie solicitações de recursos no repositório LakeFlow comunidade Connectors .