Ingerir dados no LakeFlow Designer
É possível importar quaisquer dados acessíveis por meio do Databricks para uma preparação visual de dados no Lakeflow Designer.
Toda aquisição de dados no Designer começa com o operador Source . Ao abrir o painel de configuração de um operador de origem, você terá as seguintes opções.
Navegue pelas tabelas existentes
Clique em Procurar existentes para abrir o seletor de ativos e procurar tabelas e volumes no Unity Catalog. Use esta opção quando seus dados já estiverem no Databricks.
Arraste e solte um arquivo local.
Arraste um arquivo CSV ou Excel da sua máquina local diretamente para a tela. O Designer faz o upload do arquivo para um volume no Unity Catalog e cria automaticamente um operador de Fonte.
Arrastar e soltar arquivos do Excel requer que o Suporte ao Formato de Arquivo Excel esteja ativado. Consulte Leitura e transmissão de arquivos Excel.
Criar uma tabela a partir de um arquivo
Selecione Criar tabela a partir do arquivo no painel de configuração de Origem para fazer upload de um arquivo CSV ou Excel local e criar uma tabela do Unity Catalog a partir dele. Use esta opção quando quiser que os dados sejam persistidos como uma tabela gerenciada, em vez de serem armazenados em um volume. Além disso, para grandes quantidades de dados, isso oferece o melhor desempenho. Os arquivos carregados estão sujeitos ao limite de tamanho de arquivo do volume do Unity Catalog. Consulte Trabalhe com arquivos em volumes do Unity Catalog.
Importar do Google Drive
Para importar um arquivo do Google Drive:
- No painel de configuração Origem, selecione Importar do Google Drive .
- Selecione uma conexão Unity Catalog que tenha acesso ao Google Drive.
- Forneça o URL do arquivo.
Isso requer uma conexão do Unity Catalog configurada para acesso ao Google Drive. Consulte a seção "Ingerir arquivos do Google Drive" para saber como configurar as conexões.
Importar do SharePoint
Para importar um arquivo do SharePoint:
- No painel de configuração Origem, selecione Importar do SharePoint .
- Selecione uma conexão Unity Catalog que tenha acesso ao seu site do SharePoint.
- Forneça o link direto para o arquivo .
Para obter o URL correto, clique com o botão direito do mouse no arquivo no SharePoint, selecione Visualizar e copie o URL da barra de endereços do navegador. Não utilize um link de compartilhamento.
Isso requer uma conexão Unity Catalog configurada para acesso ao SharePoint. Consulte a seção "Ingerir arquivos do SharePoint" para saber como configurar as conexões.
Use LakeFlow Connect para obter fontes adicionais.
Se uma fonte de dados não estiver disponível diretamente no Designer, verifique LakeFlow Connect para obter um conector de gerenciamento. LakeFlow Connect suporta a ingestão de dados de aplicativos SaaS (Salesforce, Workday, HubSpot e outros), bancos de dados, armazenamento cloud e fontes de transmissão. Após importar dados com LakeFlow Connect para uma tabela Unity Catalog , você pode usá-los como uma Fonte no Designer.