Referência do conector do Microsoft OneDrive

info

Beta

Este recurso está em beta. Os administradores do Workspace podem controlar o acesso a este recurso na página Pré-visualizações ao optar pela prévia Lakeflow Connect for OneDrive For Business . Consulte Gerenciar prévias do Databricks.

Esta página contém material de referência para o conector do Microsoft OneDrive no Databricks Lakeflow Connect.

Parâmetros de onedrive_options

Defina estas opções dentro do bloco connector_options.onedrive_options da definição do pipeline.

Parâmetro	Tipo	Obrigatório	Descrição
url	String	Sim	O URL do drive Meus arquivos , da pasta, do arquivo ou do link de compartilhamento do OneDrive for Business de onde os dados serão ingeridos. O URL deve usar um host pessoal <tenant>-my.sharepoint.com. Consulte Leia arquivos do OneDrive para obter detalhes sobre o formato do URL.
entity_type	String	Não	O tipo de entidade a ser ingerida. Valores compatíveis: FILE (ingerir o conteúdo e os metadados do arquivo) e FILE_METADATA (ingerir apenas os metadados, sem download do conteúdo do arquivo). O default é FILE. Use FILE_METADATA somente com o formato BINARYFILE.
file_ingestion_options	Objeto	Sim	Controla o formato do arquivo e o comportamento de ingestão. Consulte file_ingestion_options parâmetros.

Parâmetro	Tipo	Obrigatório	Descrição
url	String	Sim	O URL do drive Meus arquivos , da pasta, do arquivo ou do link de compartilhamento do OneDrive for Business de onde os dados serão ingeridos. O URL deve usar um host pessoal <tenant>-my.sharepoint.com. Consulte Leia arquivos do OneDrive para obter detalhes sobre o formato do URL.
entity_type	String	Não	O tipo de entidade a ser ingerida. Valores compatíveis: FILE (ingerir o conteúdo e os metadados do arquivo) e FILE_METADATA (ingerir apenas os metadados, sem download do conteúdo do arquivo). O default é FILE. Use FILE_METADATA somente com o formato BINARYFILE.
file_ingestion_options	Objeto	Sim	Controla o formato do arquivo e o comportamento de ingestão. Consulte file_ingestion_options parâmetros.

file_ingestion_options parâmetros

Defina estas opções dentro de onedrive_options.file_ingestion_options.

Parâmetro	Tipo	Obrigatório	Descrição
format	String	Sim	O formato de arquivo a ser ingerido. Valores compatíveis: BINARYFILE, CSV, JSON, XML, EXCEL, PARQUET, AVRO, ORC, FILE (Beta). Use BINARYFILE ou FILE para ingestão não estruturada (PDFs, arquivos do Office, imagens). Use um formato estruturado para analisar o conteúdo do arquivo em linhas. Os formatos estruturados se aplicam somente quando entity_type é FILE. Quando entity_type for FILE_METADATA, use BINARYFILE.
file_filters	Matriz de objetos	Não	Filtros que restringem quais arquivos são ingeridos. Cada objeto de filtro pode conter uma das seguintes key: path_filter (string): Um padrão glob correspondente a nomes de arquivos ou caminhos. Com base no filtro de glob de caminho do Spark. modified_before (strings): Um Timestamp no formato YYYY-MM-DDTHH:mm:ss. Somente arquivos modificados antes desse horário são ingeridos. modified_after (string): um Timestamp no formato YYYY-MM-DDTHH:mm:ss. Somente arquivos modificados após esse horário são ingeridos.
infer_column_types	Booleana	Não	Se os tipos de dados exatos devem ser inferidos para dados estruturados e semiestruturados. O default é true.
schema_evolution_mode	String	Não	Controla como novas colunas nos arquivos recebidos são tratadas. Os modos correspondem aos modos de evolução do esquema do Auto Loader. Valores compatíveis: ADD_NEW_COLUMNS_WITH_TYPE_WIDENING (default), ADD_NEW_COLUMNS, RESCUE, FAIL_ON_NEW_COLUMNS, NONE. A evolução do esquema aplica-se somente a CSV, JSON, XML, PARQUET e AVRO. Para outros formatos, defina NONE. Consulte Como funciona a evolução do esquema do Auto Loader?.
schema_hints	String	Não	Substitui os tipos de coluna inferidos. Especifique como uma lista de pares column_name TYPE separados por vírgulas, por exemplo, order_id INT, amount DOUBLE. Consulte Substitua a inferência de esquema com dicas de esquema.
ignore_corrupt_files	Booleana	Não	Se arquivos corrompidos devem ser ignorados durante a ingestão.
corrupt_record_column	String	Não	A coluna que armazena registros malformados para formatos que oferecem suporte a uma coluna de registros corrompidos.
rescued_data_column	String	Não	A coluna que armazena dados que não correspondem ao esquema inferido ou fornecido.
single_variant_column	String	Não	A coluna que armazena um registro de entrada inteiro como um único valor VARIANT para formatos que oferecem suporte a essa opção.
reader_case_sensitive	Booleana	Não	Se a correspondência de colunas diferencia maiúsculas de minúsculas ao resgatar dados.
format_options	Objeto	Não	Opções de análise específicas do formato. As chaves são nomes padrão das opções de formato do Auto Loader. Consulte Opções de formato.

Parâmetro	Tipo	Obrigatório	Descrição
format	String	Sim	O formato de arquivo a ser ingerido. Valores compatíveis: BINARYFILE, CSV, JSON, XML, EXCEL, PARQUET, AVRO, ORC, FILE (Beta). Use BINARYFILE ou FILE para ingestão não estruturada (PDFs, arquivos do Office, imagens). Use um formato estruturado para analisar o conteúdo do arquivo em linhas. Os formatos estruturados se aplicam somente quando entity_type é FILE. Quando entity_type for FILE_METADATA, use BINARYFILE.
file_filters	Matriz de objetos	Não	Filtros que restringem quais arquivos são ingeridos. Cada objeto de filtro pode conter uma das seguintes key: path_filter (string): Um padrão glob correspondente a nomes de arquivos ou caminhos. Com base no filtro de glob de caminho do Spark. modified_before (strings): Um Timestamp no formato YYYY-MM-DDTHH:mm:ss. Somente arquivos modificados antes desse horário são ingeridos. modified_after (string): um Timestamp no formato YYYY-MM-DDTHH:mm:ss. Somente arquivos modificados após esse horário são ingeridos.
infer_column_types	Booleana	Não	Se os tipos de dados exatos devem ser inferidos para dados estruturados e semiestruturados. O default é true.
schema_evolution_mode	String	Não	Controla como novas colunas nos arquivos recebidos são tratadas. Os modos correspondem aos modos de evolução do esquema do Auto Loader. Valores compatíveis: ADD_NEW_COLUMNS_WITH_TYPE_WIDENING (default), ADD_NEW_COLUMNS, RESCUE, FAIL_ON_NEW_COLUMNS, NONE. A evolução do esquema aplica-se somente a CSV, JSON, XML, PARQUET e AVRO. Para outros formatos, defina NONE. Consulte Como funciona a evolução do esquema do Auto Loader?.
schema_hints	String	Não	Substitui os tipos de coluna inferidos. Especifique como uma lista de pares column_name TYPE separados por vírgulas, por exemplo, order_id INT, amount DOUBLE. Consulte Substitua a inferência de esquema com dicas de esquema.
ignore_corrupt_files	Booleana	Não	Se arquivos corrompidos devem ser ignorados durante a ingestão.
corrupt_record_column	String	Não	A coluna que armazena registros malformados para formatos que oferecem suporte a uma coluna de registros corrompidos.
rescued_data_column	String	Não	A coluna que armazena dados que não correspondem ao esquema inferido ou fornecido.
single_variant_column	String	Não	A coluna que armazena um registro de entrada inteiro como um único valor VARIANT para formatos que oferecem suporte a essa opção.
reader_case_sensitive	Booleana	Não	Se a correspondência de colunas diferencia maiúsculas de minúsculas ao resgatar dados.
format_options	Objeto	Não	Opções de análise específicas do formato. As chaves são nomes padrão das opções de formato do Auto Loader. Consulte Opções de formato.

table_configuration parâmetros

Defina essas opções dentro do bloco table_configuration de cada tabela na definição do seu pipeline. table_configuration é irmão de connector_options, não está aninhado nele.

Parâmetro	Tipo	Obrigatório	Descrição
storage_mode	String	Não	O modo de armazenamento da tabela de destino. Valores compatíveis: SCD_TYPE_1 (default e único modo compatível com BINARYFILE e FILE): substitui a linha atual quando um arquivo é alterado e remove a linha atual quando um arquivo é excluído. APPEND_ONLY (modo default e único compatível com formatos estruturados): acrescenta novas linhas de arquivos novos ou atualizados. Como estes são os valores default e os únicos valores compatíveis, é opcional definir storage_mode explicitamente. A definição de scd_type gera um erro. Use storage_mode em vez disso.

Parâmetro	Tipo	Obrigatório	Descrição
storage_mode	String	Não	O modo de armazenamento da tabela de destino. Valores compatíveis: SCD_TYPE_1 (default e único modo compatível com BINARYFILE e FILE): substitui a linha atual quando um arquivo é alterado e remove a linha atual quando um arquivo é excluído. APPEND_ONLY (modo default e único compatível com formatos estruturados): acrescenta novas linhas de arquivos novos ou atualizados. Como estes são os valores default e os únicos valores compatíveis, é opcional definir storage_mode explicitamente. A definição de scd_type gera um erro. Use storage_mode em vez disso.

Opções de formato

O bloco format_options aceita keys de opções de formato padrão do Auto Loader para o formato selecionado. Expresse cada valor como uma strings. Por exemplo:

JSON

"file_ingestion_options": {
  "format": "CSV",
  "format_options": {
    "header": "true",
    "sep": ","
  }
}

Para obter nomes e comportamentos de opções específicos do formato, consulte Opções de fonte de dados do Spark.

Formato dos dados ingeridos

O esquema da tabela de destino depende de entity_type e format que você configura.

tipo de entidade FILE com formato BINARYFILE

Quando entity_type for FILE e format for BINARYFILE, cada arquivo ingerido se torna uma linha com as seguintes colunas:

campo	Tipo	Descrição
path	string	O caminho do arquivo.
modificationTime	timestamp	A hora em que o arquivo foi modificado pela última vez.
length	bigint	O tamanho do arquivo em bytes.
content	binary	O conteúdo do arquivo.
_file_id	string	O identificador exclusivo do arquivo no OneDrive.
_onedrive_metadata	struct	Contém metadados específicos do OneDrive para o arquivo. Consulte _onedrive_metadata campos.
_file_metadata	struct	Metadados de arquivo padrão adicionados pelo Databricks durante a ingestão. Consulte _file_metadata campos.

campo	Tipo	Descrição
path	string	O caminho do arquivo.
modificationTime	timestamp	A hora em que o arquivo foi modificado pela última vez.
length	bigint	O tamanho do arquivo em bytes.
content	binary	O conteúdo do arquivo.
_file_id	string	O identificador exclusivo do arquivo no OneDrive.
_onedrive_metadata	struct	Contém metadados específicos do OneDrive para o arquivo. Consulte _onedrive_metadata campos.
_file_metadata	struct	Metadados de arquivo padrão adicionados pelo Databricks durante a ingestão. Consulte _file_metadata campos.

tipo de entidade FILE com formato FILE

Quando entity_type for FILE e format for FILE, cada arquivo ingerido se torna uma linha com as seguintes colunas:

campo	Tipo	Descrição
path	string	O caminho do arquivo.
size	bigint	O tamanho do arquivo em bytes.
modification_time	timestamp	A hora em que o arquivo foi modificado pela última vez.
file	FILE	Uma referência gerenciada à cópia do arquivo de origem no volume do Unity Catalog configurado.
_file_id	string	O identificador exclusivo do arquivo no OneDrive.
_onedrive_metadata	struct	Contém metadados específicos do OneDrive para o arquivo. Consulte _onedrive_metadata campos.
_file_metadata	struct	Metadados de arquivo padrão adicionados pelo Databricks durante a ingestão. Consulte _file_metadata campos.

campo	Tipo	Descrição
path	string	O caminho do arquivo.
size	bigint	O tamanho do arquivo em bytes.
modification_time	timestamp	A hora em que o arquivo foi modificado pela última vez.
file	FILE	Uma referência gerenciada à cópia do arquivo de origem no volume do Unity Catalog configurado.
_file_id	string	O identificador exclusivo do arquivo no OneDrive.
_onedrive_metadata	struct	Contém metadados específicos do OneDrive para o arquivo. Consulte _onedrive_metadata campos.
_file_metadata	struct	Metadados de arquivo padrão adicionados pelo Databricks durante a ingestão. Consulte _file_metadata campos.

FILE tipo de entidade com formato estruturado

Quando entity_type é FILE e format é um formato estruturado (CSV, JSON, XML, EXCEL, PARQUET, AVRO ou ORC), o esquema da tabela de destino corresponde ao esquema dos arquivos de origem, além das colunas _onedrive_metadata e _file_metadata. As colunas são inferidas a partir do conteúdo dos arquivos, conforme as configurações schema_evolution_mode e schema_hints.

FILE_METADATA tipo de entidade

Quando entity_type for FILE_METADATA, o conteúdo do arquivo não será download. A tabela de destino contém apenas as colunas de metadados das estruturas _onedrive_metadata e _file_metadata descritas acima, além de _file_id.

_onedrive_metadata campos

A struct _onedrive_metadata contém os seguintes campos. Um campo pode ser nulo quando o Microsoft Graph não retorna um valor.

campo	Tipo	Descrição
id	string	O identificador exclusivo do arquivo no OneDrive.
site_id	string	O identificador do site pessoal do SharePoint que é proprietário da unidade do OneDrive.
drive_id	string	O identificador da unidade do OneDrive.
drive_type	string	O tipo de unidade do OneDrive.
parent_id	string	O identificador da pasta pai.
parent_name	string	O nome da pasta principal.
parent_path	string	O caminho da pasta principal.
web_url	string	Um link para o arquivo no OneDrive.
mime_type	string	O tipo MIME do arquivo.
created_by_email	string	O endereço de email do usuário que criou o arquivo.
created_by_name	string	O nome do usuário que criou o arquivo.
created_timestamp	timestamp	O horário em que o arquivo foi criado no OneDrive.
last_modified_by_email	string	O endereço de email do último usuário que modificou o arquivo.
last_modified_by_name	string	O nome do último usuário que modificou o arquivo.
etag	string	A tag de entidade do arquivo.
ctag	string	A tag de conteúdo do arquivo.
description	string	A descrição do arquivo.
additional_metadata	variant	Metadados adicionais retornados pelo Microsoft Graph que não são representados por outro campo.

campo	Tipo	Descrição
id	string	O identificador exclusivo do arquivo no OneDrive.
site_id	string	O identificador do site pessoal do SharePoint que é proprietário da unidade do OneDrive.
drive_id	string	O identificador da unidade do OneDrive.
drive_type	string	O tipo de unidade do OneDrive.
parent_id	string	O identificador da pasta pai.
parent_name	string	O nome da pasta principal.
parent_path	string	O caminho da pasta principal.
web_url	string	Um link para o arquivo no OneDrive.
mime_type	string	O tipo MIME do arquivo.
created_by_email	string	O endereço de email do usuário que criou o arquivo.
created_by_name	string	O nome do usuário que criou o arquivo.
created_timestamp	timestamp	O horário em que o arquivo foi criado no OneDrive.
last_modified_by_email	string	O endereço de email do último usuário que modificou o arquivo.
last_modified_by_name	string	O nome do último usuário que modificou o arquivo.
etag	string	A tag de entidade do arquivo.
ctag	string	A tag de conteúdo do arquivo.
description	string	A descrição do arquivo.
additional_metadata	variant	Metadados adicionais retornados pelo Microsoft Graph que não são representados por outro campo.

_file_metadata campos

A struct _file_metadata contém metadados de arquivo padrão adicionados pela Databricks durante a ingestão:

campo	Tipo	Descrição
file_path	string	O caminho de origem do arquivo.
file_name	string	O nome do arquivo.
file_size	bigint	O tamanho do arquivo em bytes.
file_block_start	bigint	O deslocamento de bytes inicial do bloco de arquivo.
file_block_length	bigint	O comprimento do bloco de arquivo em bytes.
file_modification_time	timestamp	A hora em que o arquivo foi modificado pela última vez.

campo	Tipo	Descrição
file_path	string	O caminho de origem do arquivo.
file_name	string	O nome do arquivo.
file_size	bigint	O tamanho do arquivo em bytes.
file_block_start	bigint	O deslocamento de bytes inicial do bloco de arquivo.
file_block_length	bigint	O comprimento do bloco de arquivo em bytes.
file_modification_time	timestamp	A hora em que o arquivo foi modificado pela última vez.