Pular para o conteúdo principal
Última atualização em

Recursos de pacote e explorer

A extensão de IDE do Databricks fornece recursos adicionais no Visual Studio Code que permitem definir, implantar e executar Declarative Automation Bundles, além de explorar arquivos de workspace e catálogos do Unity Catalog.

Para instalar a extensão de IDE do Databricks, consulte Instalar a extensão de IDE do Databricks.

Suporte para pacotes de automação declarativa em projetos​

A extensão do Databricks IDE adiciona os seguintes recursos para seus projetos de Pacotes de Automação Declarativa:

  • Autenticação e configuração fáceis dos seus Pacotes de Automação Declarativa por meio da interface do usuário do Visual Studio Code, incluindo a seleção de perfil AuthType . Consulte Configurar a autorização para a extensão de IDE do Databricks.
  • Um seletor de Target na extensão do Databricks para alternar rapidamente entre ambientes de destino de bundle. Consulte Alterar o workspace de implementação de destino.
  • A opção Override Jobs cluster in bundle na extensão para permitir a substituição fácil de clusters.
  • Um Bundles recurso Explorer view, que permite que o senhor navegue pelo seu recurso de pacote usando a interface do usuário do Visual Studio Code, implante o recurso do seu pacote ativo local Databricks no seu site remoto Databricks workspace com um único clique e vá diretamente para o recurso implantado no seu site workspace a partir do Visual Studio Code. Consulte Bundle recurso Explorer.
  • Uma **View de Variáveis de Pacotes**, que permite navegar e editar suas variáveis de pacote usando a interface do usuário do Visual Studio Code. Consulte Variáveis de Pacote.

Pacote recurso Explorer​

A view Bundle Resource Explorer na extensão do Databricks IDE usa as definições de recurso na configuração de pacote do projeto para exibir recursos, incluindo datasets de pipeline e seus esquemas. Ele também permite implantar e executar recursos, validar e realizar atualizações parciais de pipelines, visualizar eventos e diagnósticos de execução de pipeline e navegar até recursos em seu workspace remoto do Databricks. Para obter informações sobre recursos de configuração de pacote, consulte recursos.

Por exemplo, dada uma definição simples de trabalho:

YAML
resources:
  jobs:
    my-notebook-job:
      name: 'My Notebook Job'
      tasks:
        - task_key: notebook-task
          existing_cluster_id: 1234-567890-abcde123
          notebook_task:
            notebook_path: notebooks/my-notebook.py

O Bundle recurso Explorer view na extensão exibe o recurso Notebook Job:

Pacote recurso Explorer

implantação e execução de um trabalho​

Para implantar o pacote, clique no ícone da nuvem (pacote implantado ).

implantado bundle

Para executar o Job, no Bundle recurso Explorer view, selecione o nome do Job, que é My Notebook Jobneste exemplo. Em seguida, clique no ícone play (implantado o pacote e executado o recurso ).

implantado o bundle e executado o recurso

Para view o Job em execução, no Bundle recurso Explorer view, expanda o nome do Job, clique em Execution Status e, em seguida, clique no ícone do link (Open link externally ).

Abrir o link do trabalho externamente

Validar e diagnosticar problemas no pipeline​

Para um pipeline, o senhor pode acionar a validação e uma atualização parcial selecionando o ícone pipeline e, em seguida, o ícone de verificação (implantar o pacote e validar o pipeline ). Os eventos da execução são exibidos e todas as falhas podem ser diagnosticadas no painel PROBLEMAS do Visual Studio Code.

implantar o pacote e validar o pipeline

Eventos de execução do pipeline

Variáveis de pacote​

A view Bundle Variables View na extensão do Databricks IDE exibe quaisquer variáveis personalizadas e configurações associadas que estejam definidas na configuração do seu pacote. Você também pode definir variáveis diretamente usando a Bundles Variables View . Esses valores substituem aqueles definidos nos arquivos de configuração do pacote. Para obter informações sobre variáveis personalizadas, consulte Variáveis personalizadas.

Por exemplo, a visualização Bundle Variables (Variáveis do pacote) view na extensão exibiria o seguinte:

Visualização das variáveis do pacote

Para a variável my_custom_var definida nesta configuração de pacote:

YAML
variables:
  my_custom_var:
    description: 'Max workers'
    default: '4'

resources:
  jobs:
    my_job:
      name: my_job

      tasks:
        - task_key: notebook_task
          job_cluster_key: job_cluster
          notebook_task:
            notebook_path: ../src/notebook.ipynb

      job_clusters:
        - job_cluster_key: job_cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: i3.xlarge
            autoscale:
              min_workers: 1
              max_workers: ${var.my_custom_var}

Sistema de Arquivos do Workspace​

A view Workspace File System do painel da extensão de IDE do Databricks permite visualizar e abrir seus arquivos de workspace do Databricks diretamente no Visual Studio Code ou Cursor. Clique em um notebook para abri-lo no Databricks. Você também pode criar arquivos ou pastas, ou fazer upload de arquivos para seu workspace a partir da IDE usando os controles no painel da extensão.

Unity Catalog​

A view Unity Catalog do painel da extensão do Databricks IDE exibe seus catálogos do Databricks. Use os controles nesta view de extensão para abrir um catálogo, esquema ou outro ativo de dados no Databricks.

Nesta página