Carregar uso de dados em Unity Catalog local externo

Visualização

Esse recurso está em pré-visualização pública.

Este artigo descreve como usar a UI de adição de dados para criar uma tabela gerenciar a partir de dados em Amazon S3 usando um local externo Unity Catalog. Um local externo é um objeto que combina um caminho de armazenamento cloud com uma credencial de armazenamento que autoriza o acesso ao caminho de armazenamento cloud.

Databricks recomenda o uso de Unity Catalog locais externos para acessar dados no armazenamento de objetos cloud. A página de importação de tabelas do siteS3 legado somente oferece suporte à criação de tabelas no site Hive metastore legado e exige que o senhor selecione um recurso compute que use um instance profile.

Antes de começar

Antes de começar, você deve ter o seguinte:

Tipos de arquivo

Os seguintes tipos de arquivo são suportados:

  • CSV

  • TSV

  • JSON

  • XML

  • AVRO

  • PARQUET

passo 1: Confirme o acesso ao local externo

Para confirmar o acesso ao local externo, faça o seguinte:

  1. Na barra lateral do site Databricks workspace, clique em Catalog (Catálogo).

  2. No Catalog Explorer, clique em Dados externos > Localizações externas.

passo 2: Criar a tabela gerencia

Para criar a tabela gerenciar, faça o seguinte:

  1. Na barra lateral do site workspace, clique em + New > Add data( Novo > Adicionar dados).

  2. Na interface do usuário para adicionar dados, clique em Amazon S3.

  3. Selecione um local externo na lista suspensa.

  4. Selecione as pastas e os arquivos que deseja carregar no Databricks e clique em Preview table (Visualizar tabela).

  5. Selecione um catálogo e um esquema nas listas suspensas.

  6. (Opcional) Mude o nome da tabela.

  7. (Opcional) Para definir opções avançadas de formato por tipo de arquivo, clique em Atributos avançados, desative Detectar automaticamente o tipo de arquivo e selecione um tipo de arquivo.

    Para obter uma lista de opções de formato, consulte a seção a seguir.

  8. (Opcional) Para editar o nome da coluna, clique na caixa de entrada na parte superior da coluna.

    Os nomes das colunas não suportam vírgulas, barras invertidas ou caracteres Unicode (como emojis).

  9. (Opcional) Para editar os tipos de coluna, clique no ícone com o tipo.

  10. Clique em Criar tabela.

Opções de formato do tipo de arquivo

As seguintes opções de formato estão disponíveis, dependendo do tipo de arquivo:

Opção de formato

Descrição

Tipos de arquivo compatíveis

Column delimiter

O caractere separador entre as colunas. Somente um único caractere é permitido e a barra invertida não é suportada.

O endereço default é uma vírgula.

CSV

Escape character

O caractere de escape a ser usado ao analisar os dados.

O default é uma aspa.

CSV

First row contains the header

Essa opção especifica se o arquivo contém um cabeçalho.

Habilitado por default.

CSV

Automatically detect file type

Detecte automaticamente o tipo de arquivo. O padrão é true.

XML

Automatically detect column types

Detecte automaticamente os tipos de coluna do conteúdo do arquivo. Você pode editar tipos na tabela de visualização. Se isso for definido como false, todos os tipos de coluna serão inferidos como strings.

Habilitado por default.

  • CSV

  • JSON

  • XML

Rows span multiple lines

Se o valor de uma coluna pode abranger várias linhas no arquivo.

Desativado por default.

  • CSV

  • JSON

Merge the schema across multiple files

Se deve inferir o esquema em vários arquivos e mesclar o esquema de cada arquivo.

Habilitado por default.

CSV

Allow comments

Se os comentários são permitidos no arquivo.

Habilitado por default.

JSON

Allow single quotes

Se aspas simples são permitidas no arquivo.

Habilitado por default.

JSON

Infer timestamp

Se o senhor deve tentar inferir o registro de data e hora strings como TimestampType.

Habilitado por default.

JSON

Rescued data column

Se deseja salvar colunas que não correspondam ao esquema. Para obter mais informações, consulte O que é a coluna de dados resgatada?

Habilitado por default.

  • CSV

  • JSON

  • AVRO

  • PARQUET

Exclude attribute

Se deve excluir atributos em elementos. O padrão é false.

XML

Attribute prefix

O prefixo dos atributos para diferenciar atributos e elementos. O padrão é _.

XML

Tipos de dados de coluna

Os seguintes tipos de dados de coluna são suportados. Para obter mais informações sobre tipos de dados individuais, consulte SQL data types.

Tipo de dados

Descrição

BIGINT

Números inteiros de 8 bytes com valor positivo ou negativo.

BOOLEAN

Valores Boolean (true, false).

DATE

e dia, sem fuso horário.

DECIMAL (P,S)

Números com precisão máxima P e escala fixa S.

DOUBLE

Números de ponto flutuante de 8 bytes com precisão dupla.

STRING

Valores da string do caractere.

TIMESTAMP

Valores que incluem os valores dos campos ano, mês, dia, hora, minuto e segundo, com o fuso horário local da sessão.

Problemas conhecidos

  • O senhor pode ter problemas com caracteres especiais em tipos de dados complexos, como um objeto JSON com um key contendo um backtick ou dois pontos.

  • Alguns arquivos JSON podem exigir que o senhor selecione manualmente JSON para o tipo de arquivo. Para selecionar manualmente um tipo de arquivo depois de selecionar os arquivos, clique em Advanced attributes (Atributos avançados), desative a opção Automatically detect file type (Detectar automaticamente o tipo de arquivo) e selecione JSON.

  • Carimbos de data/hora e decimais aninhados dentro de tipos complexos podem encontrar problemas.