Pular para o conteúdo principal

execução sua primeira carga de trabalho ETL no Databricks

Saiba como usar ferramentas prontas para produção do Databricks para desenvolver e implementar seus primeiros pipelines de extração, transformação e carregamento (ETL) para orquestração de dados.

No final deste artigo, você se sentirá confortável:

  1. Lançamento de um Databricks clustering para todos os fins compute.
  2. Criando um Databricks Notebook.
  3. Configuração da ingestão de dados incrementais no Delta Lake com o Auto Loader.
  4. Execução de células do Notebook para processar, consultar e visualizar dados.
  5. Programar um notebook como um trabalho Databricks.

Este tutorial utiliza notebooks interativos para realizar tarefas comuns de ETL em Python ou Scala.

O senhor também pode usar a DLT para criar o pipeline ETL. Databricks criou a DLT para reduzir a complexidade da criação, implantação e manutenção do pipeline de produção ETL. Veja o tutorial: executando seu primeiro DLT pipeline.

O senhor também pode usar o provedorDatabricks Terraform para criar o recurso deste artigo. Consulte Criar clustering, Notebook e Job com Terraform.

Requisitos​

nota

Se o senhor não tiver privilégios de controle de clustering, ainda poderá concluir a maioria das etapas abaixo, desde que tenha acesso a um clustering.

Etapa 1: Criar um clustering​

Para realizar análise exploratória de dados e engenharia de dados, crie um cluster para fornecer os recursos de computação necessários para executar comandos.

  1. Clique em ícone de computação Calcular na barra lateral.
  2. Na página Computação, clique em Criar cluster . Isso abre a página "Novo cluster".
  3. Especifique um nome exclusivo para o cluster, deixe os demais valores em seus estados padrão e clique em Criar Cluster .

Para saber mais sobre o clustering Databricks, consulte computação.

Etapa 2: Criar um notebook Databricks​

Para criar um notebook no seu workspace, clique em Novo ícone Novo na barra lateral e clique em Notebook . Um notebook em branco será aberto no workspace.

Para saber mais sobre como criar e gerenciar o Notebook, consulte gerenciar o Notebook.

Etapa 3: Configurar o Auto Loader para ingerir dados no Delta Lake​

A Databricks recomenda o uso do Auto Loader para a ingestão de dados incrementais. O Auto Loader detecta e processa automaticamente novos arquivos à medida que eles chegam ao armazenamento de objetos na nuvem.

A Databricks recomenda o armazenamento de dados com o Delta Lake. O Delta Lake é uma camada de armazenamento de código aberto que fornece transações ACID e habilita o data lakehouse. Delta Lake é o formato default para tabelas criadas em Databricks.

Para configurar o Auto Loader para ingerir dados em uma tabela Delta Lake, copie e cole o código a seguir na célula vazia do seu notebook:

Python
# Import functions
from pyspark.sql.functions import col, current_timestamp

# Define variables used in code below
file_path = "/databricks-datasets/structured-streaming/events"
username = spark.sql("SELECT regexp_replace(current_user(), '[^a-zA-Z0-9]', '_')").first()[0]
table_name = f"{username}_etl_quickstart"
checkpoint_path = f"/tmp/{username}/_checkpoint/etl_quickstart"

# Clear out data from previous demo execution
spark.sql(f"DROP TABLE IF EXISTS {table_name}")
dbutils.fs.rm(checkpoint_path, True)

# Configure Auto Loader to ingest JSON data to a Delta table
(spark.readStream
  .format("cloudFiles")
  .option("cloudFiles.format", "json")
  .option("cloudFiles.schemaLocation", checkpoint_path)
  .load(file_path)
  .select("*", col("_metadata.file_path").alias("source_file"), current_timestamp().alias("processing_time"))
  .writeStream
  .option("checkpointLocation", checkpoint_path)
  .trigger(availableNow=True)
  .toTable(table_name))
nota

As variáveis definidas neste código devem permitir que você o execute com segurança sem risco de entrar em conflito com ativos de workspace existentes ou outros usuários. Permissões restritas de rede ou armazenamento gerarão erros ao executar esse código; Entre em contato com o administrador do workspace para solucionar essas restrições.

Para saber mais sobre o Auto Loader, consulte O que é o Auto Loader?

Etapa 4: processar e interagir com os dados​

Os notebooks executam a lógica célula por célula. Para executar a lógica em sua célula:

  1. Para executar a célula concluída na etapa anterior, selecione a célula e pressione SHIFT+ENTER .

  2. Para realizar consultas na tabela que você acabou de criar, copie e cole o código a seguir em uma célula vazia e, em seguida, pressione SHIFT+ENTER para executar a célula.

Python
df = spark.read.table(table_name)
  1. Para visualizar os dados em seu DataFrame, copie e cole o seguinte código em uma célula vazia e pressione SHIFT+ENTER para executar a célula.
Python
display(df)

Para saber mais sobre as opções interativas de visualização de dados, consulte Visualizações em Databricks Notebook.

Etapa 5: programar um emprego​

Você pode executar Databricks Notebook como scripts de produção, adicionando-os como uma tarefa em um Databricks Job. Nesta passo, você criará um novo Job que pode ser acionado manualmente.

Para programar seu notebook como uma tarefa:

  1. Clique em Agendar no lado direito da barra de cabeçalho.
  2. Insira um nome exclusivo para o Nome do job .
  3. Clique em Manual .
  4. No menu suspenso Cluster , selecione o cluster que você criou na etapa 1.
  5. Clique em Criar .
  6. Na janela exibida, clique em Executar agora .
  7. Para ver os resultados da execução do trabalho, clique no ícone Link externo ao lado do registro de data e hora da última execução .

Para obter mais informações sobre o Job, consulte What are Job?

Integrações adicionais​

Saiba mais sobre integrações e ferramentas para engenharia de dados com Databricks:

Última atualização em