ger ambientes de base workspace serverless

info

Visualização

Esse recurso está em Public Preview.

Esta página explica como criar e gerenciar ambientes de base do serverless em um workspace.

Permissões

• Somente os administradores do workspace podem criar e gerenciar os ambientes de base do workspace.
• Todos os usuários do workspace têm acesso aos ambientes básicos do workspace.
• Todos os usuários do site workspace podem criar especificações personalizadas do ambiente serverless.

Como os ambientes básicos funcionam no Databricks

Em Databricks, um ambiente básico é uma especificação YAML compartilhável que define uma versão do ambienteserverless e um conjunto de dependências Python adicionais para o serverless Notebook. Os administradores do espaço de trabalho criam e gerenciam ambientes de base para que os usuários possam começar rapidamente a partir de um ambiente consistente e armazenado em cache e, opcionalmente, adicionar sua própria biblioteca.

Utilize ambientes de trabalho baseados workspace

Os usuários podem selecionar um ambiente base workspace na dropdown "Ambiente base" no painel lateral "Ambiente" . Os ambientes base do espaço de trabalho aparecem no dropdown juntamente com outras opções como Padrão , AI e Personalizado .

Quando um ambiente base workspace é selecionado, o ambiente pré-configurado e armazenado em cache é carregado rapidamente, reduzindo o tempo startup do Notebook e do Job. Para o Job, usar ambientes base workspace melhora o desempenho porque as dependências já estão em cache.

Utilize ambientes de trabalho baseados workspace

Os usuários podem selecionar um ambiente base workspace para um Notebook usando a configuração Ambiente base no painel lateral Ambiente do Notebook.

Quando um ambiente base workspace é selecionado, o ambiente pré-configurado e armazenado em cache é carregado rapidamente, reduzindo o tempo startup do Notebook e do Job. Para tarefas de Notebook em Jobs, o uso de ambientes base workspace melhora o desempenho porque as dependências já estão em cache.

Para obter instruções sobre como configurar ambientes base em um Notebook, consulte Selecionar um ambiente base.

Criar e exportar uma especificação de ambiente

A maneira mais simples de criar uma especificação YAML válida é criar o ambiente no painel lateral Environment (Ambiente ) e, em seguida, usar o botão Export environment (Exportar ambiente) para download o arquivo YAML.

1. Abra um notebook e conecte-se ao site serverless compute.
2. Clique no botão Environment no painel lateral do Notebook.
3. Em Ambiente básico , selecione Padrão ou use Mais para escolher uma versão de ambiente específica. Databricks recomenda o uso da versão mais recente do ambiente serverless compatível com seu workspace.
4. No campo Dependências , adicione as dependências que você gostaria que o ambiente básico tivesse. Clique em Adicionar dependência depois de inserir cada dependência. Para obter mais instruções sobre como adicionar dependências, consulte Adicionar dependências ao Notebook.
5. Clique em Aplicar na parte inferior do painel do ambiente para garantir que a especificação seja válida.
6. Clique no ícone do menu kebab na parte inferior do painel do ambiente e clique em Exportar ambiente.
7. Dê um nome ao arquivo YAML e adicione-o a uma pasta do espaço de trabalho ou ao volume Unity Catalog.

Exemplo de especificação de ambiente

O exemplo YAML a seguir é baseado na especificação do ambiente de projetos do MLflow. Ele define um ambiente básico com algumas dependências de biblioteca:

YAML

environment_version: '4'
dependencies:
  - --index-url https://pypi.org/simple
  - -r "/Workspace/Shared/requirements.txt"
  - my-library==6.1
  - /Workspace/Shared/Path/To/simplejson-3.19.3-py3-none-any.whl
  - git+https://github.com/databricks/databricks-cli

Adicione um ambiente básico ao seu workspace

Para adicionar a especificação do ambiente como um ambiente de base ao site workspace:

1. No site workspace, vá para Settings (Configurações ).
2. Em administração do espaço de trabalho , selecione computação .
3. Ao lado de Base environments for serverless compute , clique em gerenciar .
4. Clique em Criar novo ambiente .
5. Dê um nome ao seu ambiente básico. Esse é o nome que os usuários verão no menu Base environment dropdown.
6. Selecione o arquivo YAML de especificação do ambiente usando o seletor de arquivos. O senhor pode navegar pelos arquivos workspace ou pelos volumes Unity Catalog.
7. Clique em Criar .

O ambiente básico começará a ser construído. Verifique a coluna Status na lista de ambientes básicos. Ele mudará para Pronto para usar quando estiver pronto.

Desenvolva para computede GPU serverless

info

Beta

Este recurso está em versão Beta. Os administradores do espaço de trabalho podem controlar o acesso a este recurso na página de Pré-visualizações . Veja as prévias do Gerenciador Databricks.

Ao criar um ambiente base, você pode habilitar opcionalmente a opção "Criar para computação de GPU sem servidor" para criar o ambiente para cargas de trabalho de GPU. Isso cria uma versão do ambiente base compatível com GPU, que aparece na tab GPU .

A página de gerenciamento de ambientes básicos possui duas abas:

• CPU : Lista os ambientes básicos para compute serverless (cargas de trabalho sem GPU).
• GPU : Lista os ambientes básicos para compute GPU serverless . Esta tab também mostra as linhas do ambiente AI que correspondem aos ambientes base AI . Para mais informações, consulte AmbienteAI.

"Standard Latest" refere-se à versão mais recente e estável do ambiente base padrão fornecida pela Databricks.

nota

Os registros de uso associados à criação e atualização de ambientes base têm a coluna billing_origin_product definida como BASE_ENVIRONMENTS. Além disso, o ID do ambiente base específico é preenchido na coluna usage_metadata.base_environment_id .

Definir o ambiente base do workspace's default

Por default, serverless Notebook em um workspace não usa um ambiente de base. Os administradores do espaço de trabalho podem selecionar um ambiente de base para aplicar a todos os novos Notebooks pelo site default.

1. No site workspace, vá para Settings (Configurações ).
2. Em administração do espaço de trabalho , selecione computação .
3. Ao lado de Base environments for serverless compute , clique em gerenciar .
4. Clique no ícone de estrela ao lado do ambiente base para defini-lo como o default.

Todos os novos serverless Notebook agora serão default para o ambiente de base selecionado.

Atualizar um ambiente básico

Talvez você queira editar o arquivo de ambiente base para atualizar os números de versão ou adicionar ou remover dependências.

Na lista de ambientes básicos, clique no caminho do arquivo YAML do ambiente base que você deseja atualizar. Isso abre o arquivo em um novo tab. Você pode revisar ou atualizar o conteúdo do arquivo lá. As alterações são salvas automaticamente.

Depois de fazer uma atualização na especificação YAML, o senhor deve refresh o ambiente básico para que o Notebook e o Job obtenham a configuração mais recente.

1. Ao lado do ambiente de base que o senhor deseja refresh, clique no ícone do menu kebab e selecione refresh .
2. Clique em Confirmar .

As novas sessões agora usam o ambiente básico atualizado. As sessões existentes do Notebook devem ser reiniciadas para receber as atualizações.

Limitações

Os ambientes básicos apresentam as seguintes limitações:

• Ambientes base personalizados são suportados apenas para os tipos de tarefa Python serverless , Python wheel e Notebook. Outros tipos de tarefas não são suportados.
• Ambientes base de espaço de trabalho não são suportados em Jobs. A única exceção é a tarefa Notebook, que só pode usar ambientes base workspace quando o ambiente é configurado diretamente nas configurações de ambiente do Notebook.
• O pipeline declarativo LakeFlow Spark não oferece suporte a ambientes básicos.
• Somente as dependências relevantes são instaladas em tempo de execução.
• não há suporte para a versão 1 do ambiente sem servidor. Use a versão 2 ou superior.
• Os ambientes básicos estão disponíveis para todos os usuários do site workspace.
• são limitados a 10 ambientes básicos.