Ingerir dados em uma lagoa da Databricks

A Databricks oferece várias maneiras de ingerir dados de várias fontes em um lakehouse apoiado pelo Delta Lake. Este artigo lista as fontes de dados e fornece links para os passos para a ingestão de dados de cada tipo de fonte.

Armazenamento de objetos na nuvem

Para saber como configurar a ingestão incremental do armazenamento de objetos cloud, consulte Ingerir dados do armazenamento de objetos cloud .

LakeFlow Connect

O Databricks LakeFlow Connect oferece conectores nativos para ingestão de aplicativos e bancos de dados corporativos. A ingestão resultante pipeline é governada por Unity Catalog e é alimentada por serverless compute e Delta Live Tables.

O LakeFlow Connect aproveita leituras e gravações incrementais eficientes para tornar a ingestão de dados mais rápida, mais escalável e mais econômica, enquanto seus dados permanecem atualizados para consumo downstream.

fontes de transmissão

Databricks pode se integrar com o serviço de transmissão de mensagens para a ingestão quase em tempo real em um site lakehouse. Consulte transmissão e ingestão incremental.

Arquivos de dados locais

O senhor pode acessar com segurança upload arquivos de dados locais ou download arquivos de um URL público. Consulte Upload de arquivos para a Databricks.

Migrar dados para o Delta Lake

Para saber como migrar os dados existentes para o Delta Lake, consulte Migrar dados para o Delta Lake.