Carregar uso de dados COPY INTO com credenciais compute

A Databricks recomenda o uso do comando COPY INTO para o carregamento de dados incrementais e em massa com o Databricks SQL.

nota

COPY INTO funciona bem para fontes de dados que contêm milhares de arquivos. A Databricks recomenda que o senhor use o Auto Loader para carregar milhões de arquivos, o que não é suportado no Databricks SQL.

Antes de começar

Antes de carregar os dados na Databricks, certifique-se de que o senhor tem o seguinte:

Etapa 1: Confirme o acesso aos dados no armazenamento em nuvem

Para confirmar que você tem acesso aos dados corretos no armazenamento de objetos na nuvem, faça o seguinte:

1. Na barra lateral, clique em Criar consulta > .

2. Na barra de menu do editor SQL, selecione um SQL warehouse.

3. No editor SQL, cole o seguinte código:

   select * from csv.<path>

4. Clique em Executar .

Etapa 2: criar uma tabela

Esta passo descreve como criar uma tabela em seu workspace Databricks para armazenar os dados recebidos.

1. No editor SQL, cole o seguinte código:

   SQL

   CREATE TABLE <catalog_name>.<schema_name>.<table_name> (
     tpep_pickup_datetime  TIMESTAMP,
     tpep_dropoff_datetime TIMESTAMP,
     trip_distance DOUBLE,
     fare_amount DOUBLE,
     pickup_zip INT,
     dropoff_zip INT
   );

2. Clique em Executar .

Etapa 3: carregar dados do armazenamento em nuvem na tabela

Limpe

O senhor pode limpar os recursos associados no site workspace se não quiser mais mantê-los.

Excluir as tabelas

1. Na barra lateral, clique em Criar consulta > .

2. Selecione um SQL warehouse e certifique-se de que o SQL warehouse esteja em execução.

3. Cole o seguinte código:

   SQL

   DROP TABLE <catalog-name>.<schema-name>.<table-name>;

4. Clique em Executar .

5. Passe o mouse sobre o site tab para essa consulta e clique no ícone X .

Excluir as consultas no editor SQL

1. Na barra lateral, clique em SQL Editor .
2. Na barra de menu do editor SQL, passe o mouse sobre o tab para cada consulta que o senhor criou para esse tutorial e, em seguida, clique no ícone X .

Recurso adicional

• Os COPY INTO artigos de referência