Conector do OneDrive

info

Beta

Esse recurso está na versão beta. Os administradores do workspace podem controlar o acesso a este recurso na página Prévias , optando pela prévia de Lakeflow Connect for OneDrive For Business . Consulte Gerenciar prévias do Databricks.

O conector gerenciado do OneDrive no Lakeflow Connect permite ingerir arquivos da unidade **Meus arquivos** do OneDrive for Business de um usuário no Databricks. Ingerir arquivos não estruturados como dados binários ou valores FILE gerenciados, analisar formatos estruturados (CSV, JSON, XML, EXCEL e mais) em tabelas Delta ou capturar metadados de arquivos sem carregar o conteúdo dos arquivos.

Para ingerir arquivos de sites do SharePoint, sites de equipe ou bibliotecas de documentos compartilhadas, use o conector gerenciado do SharePoint.

Para ler do OneDrive usando as APIs SQL e Spark (read_files, spark.read, Auto Loader), consulte Ingerir arquivos do OneDrive.

O que saber antes de começar

tópico	Por que isso é importante
Privilégios de conexão	Para criar uma conexão, você precisa do privilégio CREATE CONNECTION no metastore. Para criar um pipeline a partir de uma conexão existente, você precisa do privilégio USE CONNECTION ou de ALL PRIVILEGES na conexão.
Método de autenticação	Os passos para criar uma conexão dependem do método de autenticação selecionado.
Interface	Os passos para criar um pipeline dependem da interface. A criação de pipelines pela interface do usuário não é compatível.
Frequência de ingestão	A programar do pipeline depende dos seus requisitos de latência e custo.
Padrões comuns	Dependendo das suas necessidades de ingestão, o pipeline pode usar configurações como acompanhamento da história, seleção de colunas e filtragem de linhas. As configurações compatíveis variam de acordo com o conector. Consulte Disponibilidade do recurso.

tópico	Por que isso é importante
Privilégios de conexão	Para criar uma conexão, você precisa do privilégio CREATE CONNECTION no metastore. Para criar um pipeline a partir de uma conexão existente, você precisa do privilégio USE CONNECTION ou de ALL PRIVILEGES na conexão.
Método de autenticação	Os passos para criar uma conexão dependem do método de autenticação selecionado.
Interface	Os passos para criar um pipeline dependem da interface. A criação de pipelines pela interface do usuário não é compatível.
Frequência de ingestão	A programar do pipeline depende dos seus requisitos de latência e custo.
Padrões comuns	Dependendo das suas necessidades de ingestão, o pipeline pode usar configurações como acompanhamento da história, seleção de colunas e filtragem de linhas. As configurações compatíveis variam de acordo com o conector. Consulte Disponibilidade do recurso.

começar ingestão do OneDrive

A tabela a seguir apresenta uma visão geral do fluxo de ingestão do OneDrive de ponta a ponta, com base nos privilégios de conexão:

Privilégio necessário	os passos
CREATE CONNECTION no metastore	(Somente OAuth U2M: gerenciado de forma personalizada) Configure a autenticação do OneDrive com seu próprio aplicativo de ID do Microsoft Entra. Consulte Configure o OAuth U2M: gerenciado de forma personalizada para a ingestão do Microsoft OneDrive. Crie uma conexão com o OneDrive. Consulte Criar uma conexão do OneDrive. Crie um pipeline de ingestão a partir da conexão. Consulte Ingerir dados do OneDrive.
USE CONNECTION ou ALL PRIVILEGES em uma conexão existente	Use qualquer interface compatível para criar um pipeline a partir de uma conexão existente. Consulte Ingerir dados do OneDrive.

Privilégio necessário	os passos
CREATE CONNECTION no metastore	(Somente OAuth U2M: gerenciado de forma personalizada) Configure a autenticação do OneDrive com seu próprio aplicativo de ID do Microsoft Entra. Consulte Configure o OAuth U2M: gerenciado de forma personalizada para a ingestão do Microsoft OneDrive. Crie uma conexão com o OneDrive. Consulte Criar uma conexão do OneDrive. Crie um pipeline de ingestão a partir da conexão. Consulte Ingerir dados do OneDrive.
USE CONNECTION ou ALL PRIVILEGES em uma conexão existente	Use qualquer interface compatível para criar um pipeline a partir de uma conexão existente. Consulte Ingerir dados do OneDrive.

Disponibilidade do recurso

Recurso	Disponibilidade
Criação de pipelines com base na interface do usuário	Não suportado
Criação de pipelines baseada em API	Compatível
Pacotes de Automação Declarativa	Não suportado
Ingestão incremental	Compatível
Governança do Unity Catalog	Compatível
Orquestração usando o Databricks Workflows	Compatível
SCD tipo 2	Não suportado
evolução do esquema	Compatível Configurável por meio de schema_evolution_mode. Consulte a referência do conector do Microsoft OneDrive.
Filtragem de linhas baseada em API	Compatível

Recurso	Disponibilidade
Criação de pipelines com base na interface do usuário	Não suportado
Criação de pipelines baseada em API	Compatível
Pacotes de Automação Declarativa	Não suportado
Ingestão incremental	Compatível
Governança do Unity Catalog	Compatível
Orquestração usando o Databricks Workflows	Compatível
SCD tipo 2	Não suportado
evolução do esquema	Compatível Configurável por meio de schema_evolution_mode. Consulte a referência do conector do Microsoft OneDrive.
Filtragem de linhas baseada em API	Compatível

Formatos de arquivo compatíveis

O conector oferece suporte à ingestão de arquivos não estruturados e estruturados:

• Não estruturados: referências de arquivos gerenciadas (FILE, Beta) e BINARYFILE.
• Estruturados e semiestruturados: CSV, JSON, XML, EXCEL, PARQUET, AVRO e ORC.

Para consultar os esquemas das tabelas de destino, consulte Formato dos dados ingeridos. Para consultar as limitações específicas do conector, consulte Limitações do conector do Microsoft OneDrive.

Métodos de autenticação

Método de autenticação	Disponibilidade
OAuth U2M: gerenciado pela Databricks	Compatível quando ativado no workspace Não é necessário ter um registro de aplicativo do Microsoft Entra ID. Se essa opção não estiver listada, use OAuth U2M: gerenciado pelo usuário . Consulte Configurar OAuth U2M: gerenciado pela Databricks para ingestão do Microsoft OneDrive.
OAuth U2M: gerenciado pelo cliente	Compatível Usa seu próprio aplicativo do Microsoft Entra ID. Consulte Configurar OAuth U2M: gerenciado pelo cliente para ingestão do Microsoft OneDrive.
OAuth M2M	Não suportado
OAuth (token de refresh manual)	Não suportado

Método de autenticação	Disponibilidade
OAuth U2M: gerenciado pela Databricks	Compatível quando ativado no workspace Não é necessário ter um registro de aplicativo do Microsoft Entra ID. Se essa opção não estiver listada, use OAuth U2M: gerenciado pelo usuário . Consulte Configurar OAuth U2M: gerenciado pela Databricks para ingestão do Microsoft OneDrive.
OAuth U2M: gerenciado pelo cliente	Compatível Usa seu próprio aplicativo do Microsoft Entra ID. Consulte Configurar OAuth U2M: gerenciado pelo cliente para ingestão do Microsoft OneDrive.
OAuth M2M	Não suportado
OAuth (token de refresh manual)	Não suportado

Com ambos os métodos U2M, a conexão se autentica como a account da Microsoft com sessão iniciada, portanto, um pipeline pode ingerir apenas os arquivos aos quais essa account tem acesso.