Configure seu projeto Databricks usando a extensão Databricks para o Visual Studio Code
A extensão Databricks para o Visual Studio Code oferece uma configuração view no painel da extensão que permite configurar e atualizar facilmente as definições do projeto Databricks. Esses recursos incluem um seletor de implantação de destino workspace, configuração fácil de autenticação e compute, sincronização de pastas workspace e etapas simples para ativar o ambiente virtual Python necessário para a depuração.
A configuração view na extensão Databricks para o Visual Studio Code está disponível depois que o senhor criar ou migrar um projeto para um projeto Databricks. Consulte Criar um novo projeto Databricks.
As versões anteriores da extensão Databricks para Visual Studio Code definiam as configurações em um arquivo de projeto JSON e as variáveis de ambiente eram definidas no terminal. Na versão de lançamento, a configuração do projeto e do ambiente é encontrada nos arquivos databricks.yml e databricks.env.
Se o seu projeto for um Databricks ativo Bundle, a UI de extensão Databricks também fornecerá um Bundle recurso Explorer e uma visualização Bundle Variables para gerenciar o recurso e as variáveis do bundle. Consulte Databricks ativo Recurso de extensão de pacotes.
Alterar a implantação de destino workspace
Para selecionar ou alternar o destino da implantação do projeto Databricks (por exemplo, para alternar de um destino dev para um destino prod ):
-
Em Configuration (Configuração ) view do painel de extensão Databricks, clique no ícone de engrenagem (Select a Databricks ativo Bundle target ) associado a Target .
-
Na paleta de comandos , selecione o destino de implementação desejado.
Depois que um alvo é configurado, o Host e a implementação Mode é exibido. Para obter informações sobre os modos de implantação de Databricks ativo Bundles, consulte Databricks ativo Bundle deployment modes.
O host workspace pode ser alterado modificando a configuração de destino workspace no arquivo de configuração databricks.yml associado ao projeto. Veja os alvos.
A seguinte extensão Databricks para o recurso Visual Studio Code só está disponível quando o modo de implantação de destino é desenvolvimento:
- Use o clustering de desenvolvimento anexado para o bundle Job
- Sincronizar arquivos da pasta workspace
- Selecione um clustering de desenvolvimento interativo
Configurar o perfil do Databricks para o projeto
Quando o senhor cria um projeto Databricks ou converte um projeto para ser um projeto Databricks, configura um perfil que inclui as configurações de autenticação usadas para se conectar ao Databricks. Se o senhor quiser alterar o perfil de autenticação usado, clique no ícone de engrenagem associado ao AuthType no site Configuration view.
Para obter mais informações sobre a autenticação da extensão Databricks para Visual Studio Code, consulte Configurar a autorização para a extensão Databricks para Visual Studio Code.
Selecione compute para executar o código e o trabalho
Usando a extensão Databricks para o Visual Studio Code, o senhor pode selecionar serverless, selecionar um clustering Databricks existente ou criar um novo clustering Databricks para executar seu código e trabalho. Depois que o senhor se conectar a compute, serão exibidos o ID de um cluster, a versão Databricks Runtime, o criador, o estado e o modo de acesso. O senhor também pode começar e parar um clustering e navegar diretamente para os detalhes da página do clustering.
Se o senhor não quiser aguardar a inicialização do cluster do trabalho, marque a opção Override Jobs clustering in bundle logo abaixo da seleção de clustering para usar o clustering selecionado para executar o trabalho do pacote no modo de desenvolvimento. Isso não está disponível se o senhor estiver usando o site serverless compute.
Uso serverless
serverless compute é gerenciado por Databricks. Quando o senhor executa cargas de trabalho em serverless compute, Databricks aloca e gerencia automaticamente o recurso necessário compute.
-
Em Configuration view, ao lado de clustering , clique em Select a clustering (Selecionar um clustering ) ou no ícone de engrenagem (Configure clustering ).
-
Na paleta de comandos , selecione serverless .
Usar um clustering existente
Se o senhor tiver um clustering Databricks existente que deseja usar:
-
Em Configuration view, ao lado de clustering , clique em Select a clustering (Selecionar um clustering ) ou no ícone de engrenagem (Configure clustering ).
-
Na paleta de comandos , selecione o clustering que o senhor deseja usar.
Criar um novo clustering
Se o senhor não tiver um clustering Databricks existente ou quiser criar um novo:
-
Em Configuration view, ao lado de clustering , clique no ícone de engrenagem (Configure clustering ).
-
Na paleta de comandos , clique em Create New clustering (Criar novo cluster ).
-
Quando solicitado a abrir o site externo (seu Databricks workspace), clique em Open (Abrir ).
-
Se solicitado, faça login em seu site Databricks workspace.
-
Siga as instruções para criar um clustering.
Databricks recomenda que o senhor crie um clustering de computação pessoal. Isso permite que o senhor comece a executar cargas de trabalho imediatamente, minimizando a sobrecarga de gerenciamento do compute.
-
Depois que o clustering for criado e estiver em execução, volte para o Visual Studio Code.
-
Em Configuration view, ao lado de clustering , clique no ícone de engrenagem (Configure clustering ).
Na paleta de comandos , clique no clustering que o senhor deseja usar.
Sincronize sua pasta workspace com o Databricks
O senhor pode sincronizar a pasta Databricks workspace remota associada ao seu projeto Databricks clicando no ícone de sincronização (começar synchronization ) associado à pasta Remote Folder em Configuration view do painel de extensão Databricks.
A extensão Databricks para o Visual Studio Code funciona somente com os diretórios workspace que ele cria. O senhor não pode usar um diretório workspace existente em seu projeto, a menos que ele tenha sido criado pela extensão.
Para navegar até workspace view em Databricks, clique no ícone de link externo (Open link externally ) associado à pasta remota .
A extensão determina a pasta Databricks workspace a ser usada com base na configuração file_path no mapeamento workspace da configuração do pacote ativo Databricks associado ao projeto. Veja workspace.
A extensão Databricks para o Visual Studio Code executa apenas a sincronização automática unidirecional das alterações de arquivos do projeto local do Visual Studio Code para a pasta workspace relacionada no site remoto Databricks workspace. Os arquivos nesse diretório remoto workspace devem ser transitórios. Não inicie alterações nesses arquivos a partir do site remoto workspace, pois essas alterações não serão sincronizadas de volta ao projeto local.
Para obter detalhes de uso do recurso de sincronização de diretório workspace para versões anteriores da extensão Databricks para Visual Studio Code, consulte Selecionar um diretório workspace para a extensão Databricks para Visual Studio Code.
Configure seu ambiente Python e o Databricks Connect
A seção Python Environment (Ambiente ) do Configuration (Configuração ) view permite a fácil configuração do ambiente de desenvolvimento virtual Python e a instalação do Databricks Connect para execução e depuração do código e das células do Notebook. Python ambientes virtuais, certifique-se de que seu projeto esteja usando versões compatíveis de Python e Python pacote (neste caso, o Databricks Connect pacote).
Para configurar o Python ambiente virtual para seu projeto, no view painel de extensão Configuration:
- Clique no item vermelho Activate Virtual Environment (Ativar ambiente virtual ) em Python Environment (Ambiente Python ).
- Na paleta de comandos , selecione Venv ou Conda.
- Selecione as dependências que você deseja instalar, se houver.
Para mudar de ambiente, clique no ícone de engrenagem ( Alterar ambiente virtual ) associado ao ambiente ativo .
Para obter informações sobre a instalação do Databricks Connect, que permite a execução e depuração de código e Notebook no Visual Studio Code, consulte Depurar código usando Databricks Connect para a extensão Databricks para Visual Studio Code.