Use o Serverless Compartilhado para pastas e pacotes Git

info

Beta

Este recurso está em Beta. Para usá-lo, um administrador do workspace deve ativar o Compute Compartilhado de Escopo de Projeto na página Prévias . Consulte Gerenciar prévias do Databricks.

Com o Serverless Compartilhado, notebooks e arquivos na mesma pasta Git ou pacote compartilham compute serverless e um ambiente Python no editor. Para personalizar o ambiente, adicione um arquivo pyproject.toml na raiz da pasta. Escolha a opção de compute para sua pasta ou bundle Git:

• Pastas Git, com Serverless compartilhado para pastas Git.
• Declarative Automation Bundles, com Serverless compartilhado para ativo Bundles.

Requisitos

• O seu workspace deve cumprir os requisitos do serverless compute.
• Abra sua pasta Git ou bundle no editor de pasta Git ou no editor de bundle. Veja Criar e gerenciar pastas Git e Criar bundles no workspace.
• O Serverless compartilhado requer a versão 5 ou acima do ambiente serverless.

Compute e ambiente compartilhados

• Notebooks e arquivos na mesma pasta ou bundle do Git compartilham compute e um ambiente Python no editor. Um arquivo pyproject.toml opcional na raiz da pasta define o ambiente compartilhado.
• Apenas notebooks e arquivos dentro da pasta Git ou pacote associado podem ser anexados ao seu recurso de compute compartilhado.
• Os recursos de compute compartilhado são isolados por usuário. Somente o usuário que conecta primeiro um Notebooks ou arquivo a um recurso de compute compartilhado pode realizar execução de cargas de trabalho nele.
• A execução do notebook permanece isolada. Variáveis Python definidas em um notebook não estão disponíveis em outro notebook.
• Um terminal web aberto a partir de um Notebooks ou arquivo anexado está em execução no mesmo recurso de compute.

Serverless compartilhado para pastas Git

Use o Serverless Compartilhado para Pastas Git para trabalhar com notebooks e arquivos em uma pasta Git.

Anexar notebooks e arquivos no editor de pasta Git

1. Na barra lateral do workspace, clique em Workspace e navegue até a pasta Git.

2. Clique em Abrir no editor .

3. Abra um notebook ou arquivo na pasta Git.

4. Clique no menu suspenso compute.

5. Selecione Shared Serverless for Git Folders .

   

6. execução o notebook ou arquivo para começar o recurso de compute.

Para usar o mesmo compute de outro notebook ou arquivo, abra-o na mesma pasta Git e selecione Serverless Compartilhado para Pastas Git .

Colabore através do Git

O Databricks recomenda que cada colaborador clone o repository para uma pasta Git em sua pasta de workspace pessoal. Cada colaborador recebe então um recurso de compute e um ambiente separados para seu clone.

Use Branch, commit, pushes e pulls para trocar alterações através do repository Git remoto. Consulte Colaborar em pastas Git.

Serverless compartilhado para Pacotes de Ativos

Use o Shared Serverless for Bundles de ativos para trabalhar com notebooks e arquivos em um bundle no Workspace. A raiz do bundle contém databricks.yml e pode conter um arquivo pyproject.toml que define o ambiente compartilhado.

Anexar notebooks e arquivos no editor de bundle

1. Na barra lateral do workspace, clique em Workspace e navegue até o bundle.
2. À direita do nome do bundle, clique em Abrir no editor .
3. Abra um notebook ou arquivo no pacote.
4. Clique no menu suspenso compute.
5. Selecione Shared Serverless for ativo Bundles .
6. execução o notebook ou arquivo para começar o recurso de compute.

Para usar o mesmo compute de outro notebook ou arquivo, abra-o no mesmo bundle e selecione Shared Serverless for ativo Bundles .

Para colaborar via Git, faça com que cada colaborador clone o repository em uma pasta Git na sua pasta de workspace pessoal. Consulte Colaborar via Git.

Gerenciar o ambiente com pyproject.toml

O Shared Serverless usa o arquivo pyproject.toml na pasta Git ou na raiz do pacote para gerenciar as dependências do Python para o projeto. Os notebooks serverless padrão usam dependências configuradas para cada notebook no painel lateral Ambiente .

Crie o arquivo pyproject.toml raiz e defina a versão do seu ambiente serverless antes de gerenciar suas dependências. Veja Criar e editar pyproject.toml. Você pode então adicionar dependências com comandos de notebook ou editar o arquivo diretamente.

Usar comandos de notebook

1. Abra um notebook anexado a Shared Serverless for Git Folders ou Shared Serverless for ativo Bundles .

2. execução %uv add <package> para adicionar uma dependência ao arquivo pyproject.toml raiz. Por exemplo:

   Python

   %uv add cowsay

O comando atualiza pyproject.toml, uv.lock e o ambiente compartilhado. Você não precisa execução %uv sync após %uv add. Use %uv sync para aplicar alterações feitas diretamente ao pyproject.toml.

Criar e editar pyproject.toml

1. Abra um notebook anexado a Shared Serverless for Git Folders ou Shared Serverless for ativo Bundles .

2. Abra o painel lateral Ambiente .

3. No cartão Gerenciado por pyproject.toml , clique em Criar pyproject.toml para criar o arquivo raiz. Se o arquivo já existir, clique em view pyproject.toml . O arquivo abre no editor.

   

4. Edite a lista dependencies. Mantenha a seção [tool.databricks.environment] gerada ou adicione-a se estiver ausente. Defina environment_version como uma versão compatível (5 e acima). Por exemplo:

   Toml

   [project]
   name = "my-project"
   version = "0.1.0"
   dependencies = [
     "simplejson==3.18.1",
   ]
   
   [tool.databricks.environment]
   environment_version = "5"

5. Clique em Aplicar na parte superior do editor de arquivos pyproject.toml.

   

O ambiente atualizado está disponível para notebooks e arquivos anexados ao mesmo recurso de compute compartilhado. Para inspecionar o ambiente, abra o painel lateral Ambiente . Consulte Configurar o ambiente serverless para obter informações sobre as versões do ambiente serverless e as dependências instaladas.

programar um notebook

Ao programar um notebook anexado ao Shared Serverless a partir da pasta Git ou do editor de bundles, o Databricks usa o arquivo raiz pyproject.toml como o ambiente de projeto do job se o arquivo existir. Implante o bundle conforme descrito nos os passos seguintes.

1. No editor de pasta Git ou bundle, abra um notebook anexado ao Serverless Compartilhado.
2. Se a pasta Git ou o bundle tiver um arquivo pyproject.toml raiz, verifique se ele declara as dependências necessárias pela tarefa.
3. Clique em programar .
4. Na lista suspensa compute , selecione compute Serverless.
5. Defina programar e clique em Criar .

Depois de clicar em Create , verifique a configuração do job:

• Pasta Git: se a pasta Git tiver um arquivo pyproject.toml raiz, verifique se o Ambiente do projeto na configuração da tarefa do job aponta para ele. Para alterar a seleção, consulte Configurar o ambiente para tarefas de job.

• Bundle: O editor de bundle abre um arquivo YAML de job gerado na pasta resources/.

  1. Se o pacote tiver um arquivo pyproject.toml raiz, verifique se project_environment sob spec do ambiente aponta para ele, em relação ao arquivo YAML gerado. Consulte Configurar um ambiente de projeto em um pacote.
  2. implantado o bundle para criar o Job.

  Os cronogramas são pausados por default no modo de desenvolvimento. Consulte Modos de implantação de Pacotes de Automação Declarativa.

Para opções de programar notebooks, consulte Criar, programar e gerenciar Job de notebook.

Limitações

• O compartilhamento de compute está limitado a uma política de uso serverless. Notebooks e arquivos na mesma pasta Git ou bundle que usam políticas de uso diferentes recebem recursos de compute separados em vez do compartilhamento de um.

Outros recursos

• Compute serverless para notebooks
• Configurar o ambiente serverless
• Criar e gerenciar pastas Git
• Execute comandos shell no terminal web
• Pacotes de Automação Declarativa