Pular para o conteúdo principal
Última atualização em

Tutorial: execução Python em um cluster e como um Job usando a extensão do Databricks IDE

Este tutorial orienta você na configuração da extensão de IDE do Databricks e, em seguida, na execução de Python em um cluster do Databricks e como um Job do Databricks em seu workspace remoto. Consulte extensão de IDE do Databricks.

Requisitos​

Este tutorial requer isso:

  • Você instalou a extensão de IDE do Databricks. Consulte Instalar a extensão de IDE do Databricks.
  • O senhor tem um clustering Databricks remoto para usar. Anote o nome do clustering. Para view o clustering disponível, na barra lateral Databricks workspace , clique em computar . Veja computar.

Etapa 1: Criar um novo projeto Databricks​

Nesta etapa, o senhor cria um novo projeto Databricks e configura a conexão com o site remoto Databricks workspace.

  1. Inicie o Visual Studio Code, clique em Arquivo > Abrir pasta e abra uma pasta vazia em sua máquina de desenvolvimento local.
  2. Na barra lateral, clique no ícone do logotipo da Databricks . Isso abre a extensão Databricks.
  3. Em Configuration (Configuração ) view, clique em Create configuration (Criar configuração ).
  4. A paleta de comandos para configurar seu Databricks workspace é aberta. Para Databricks Host , digite ou selecione o URL da instânciaworkspace, por exemplo, https://dbc-a1b2345c-d6e7.cloud.databricks.com.
  5. Selecione um perfil de autenticação para o projeto. Consulte Configurar a autorização para a extensão do Databricks IDE.

Etapa 2: Adicionar informações de clustering à extensão Databricks e começar o clustering​

  1. Com o site Configuration view já aberto, clique em Select a clustering (Selecionar um cluster ) ou clique no ícone de engrenagem (Configure clustering ).

    Configurar o clustering

  2. Na paleta de comandos , selecione o nome do clustering que o senhor criou anteriormente.

  3. Clique no ícone de reprodução (começar clustering ) se ele ainda não estiver começando.

Etapa 3: Criar e executar o código Python​

  1. Crie um arquivo de código Python local: na barra lateral, clique no ícone da pasta (Explorer ).

  2. No menu principal, clique em File > New File e escolha um arquivo Python. Nomeie o arquivo demo.py e salve-o na raiz do projeto.

  3. Adicione o código a seguir ao arquivo e salve-o. Este código cria e exibe o conteúdo de um DataFrame básico do PySpark:

    Python
    from pyspark.sql import SparkSession
    from pyspark.sql.types import *

    spark = SparkSession.builder.getOrCreate()

    schema = StructType([
       StructField('CustomerID', IntegerType(), False),
       StructField('FirstName',  StringType(),  False),
       StructField('LastName',   StringType(),  False)
    ])

    data = [
       [ 1000, 'Mathijs', 'Oosterhout-Rijntjes' ],
       [ 1001, 'Joost',   'van Brunswijk' ],
       [ 1002, 'Stan',    'Bokenkamp' ]
    ]

    customers = spark.createDataFrame(data, schema)
    customers.show()
    Output
    # +----------+---------+-------------------+
    # |CustomerID|FirstName|           LastName|
    # +----------+---------+-------------------+
    # |      1000|  Mathijs|Oosterhout-Rijntjes|
    # |      1001|    Joost|      van Brunswijk|
    # |      1002|     Stan|          Bokenkamp|
    # +----------+---------+-------------------+

  4. Clique no ícone de execução em Databricks ao lado da lista da guia do editor e, em seguida, clique em upload e execução de arquivo . A saída aparece no Console de depuração view.

    upload e execução do arquivo a partir do ícone

    Como alternativa, no Explorer view, clique com o botão direito do mouse no arquivo demo.py e, em seguida, clique em executar em Databricks > upload and execution File .

    upload e execução de arquivos a partir do menu de contexto

Etapa 4: executar o código como um trabalho​

Para executar demo.py como um trabalho, clique no ícone executar em Databricks ao lado da lista da guia do editor e, em seguida, clique em executar File como fluxo de trabalho . A saída aparece em um editor separado tab ao lado do editor de arquivos demo.py.

execução file as fluxo de trabalho from icon

Como alternativa, clique com o botão direito do mouse no arquivo demo.py no painel Explorer e selecione executar em Databricks > executar arquivo como fluxo de trabalho .

arquivo de execução como fluxo de trabalho a partir do menu de contexto

Próximas etapas​

Agora que você usou com sucesso a extensão de IDE do Databricks para fazer upload de um arquivo Python local e executá-lo remotamente, você também pode:

Nesta página