Pular para o conteúdo principal

referência de configuração de computação

nota

A organização deste artigo pressupõe que o senhor esteja usando o formulário simples compute UI. Para obter uma visão geral das atualizações do formulário simples, consulte Use o formulário simples para gerenciar compute.

Este artigo explica as definições de configuração disponíveis ao criar um novo recurso multifuncional ou Job compute. A maioria dos usuários cria o recurso compute usando as políticas atribuídas, o que limita as definições configuráveis. Se você não vê uma configuração específica na sua interface do usuário, é porque a política que você selecionou não permite que você defina essa configuração.

Formulário simples compute

As configurações e as ferramentas de gerenciamento descritas neste artigo se aplicam a todos os fins e ao Job compute. Para obter mais considerações sobre a configuração do Job compute, consulte Configurar compute para o Job.

Criar um novo recurso para todos os fins compute​

Para criar um novo recurso de compute de uso geral:

  1. Na barra lateral do workspace, clique em Compute .
  2. Clique no botão Criar compute .
  3. Configure o recurso de compute.
  4. Clique em Criar .

Seu novo recurso de compute iniciará automaticamente e estará pronto para uso em breve.

política de computação​

Políticas são um conjunto de regras usadas para limitar as opções de configuração disponíveis para os usuários quando eles criam recursos de compute. Se um usuário não tiver a permissão de Criação de cluster irrestrita , ele só poderá criar recursos de compute usando suas políticas concedidas.

Para criar recursos de compute de acordo com uma política, selecione uma política no menu suspenso Política .

Por padrão, todos os usuários têm acesso à política Compute Pessoal , permitindo que eles criem recursos de compute de máquina única. Se você precisar de acesso ao Compute Pessoal ou a quaisquer políticas adicionais, entre em contato com o administrador do seu workspace.

Configurações de desempenho​

As seguintes configurações aparecem na seção de desempenho do formulário simples compute UI:

Databricks Runtime versões​

Databricks Runtime é o conjunto de componentes principais que são executados em seu site compute. Selecione o tempo de execução usando o menu suspenso Databricks Runtime Version . Para obter detalhes sobre versões específicas do site Databricks Runtime, consulte Databricks Runtime notas sobre versões e compatibilidade. Todas as versões incluem o Apache Spark. A Databricks recomenda o seguinte:

  • Para compute de uso geral, utilize a versão mais recente para garantir que você tenha as otimizações mais recentes e a compatibilidade mais atualizada entre seu código e os pacotes pré-carregados.
  • Para compute de job executando cargas de trabalho operacionais, considere usar a versão Long Term Support (LTS) do Databricks Runtime. Usar a versão LTS garantirá que você não tenha problemas de compatibilidade e possa testar sua carga de trabalho completamente antes de atualizar.
  • Para casos de uso de ciência de dados e machine learning, considere a versão Databricks Runtime ML.

Use a aceleração Photon​

O Photon está habilitado por padrão no compute executando o Databricks Runtime 9.1 LTS e superior.

Para ativar ou desativar a aceleração do Photon, marque a caixa de seleção Use Photon Acceleration (Usar aceleração do ). Para saber mais sobre o Photon, consulte O que é o Photon?

tipo de nó de trabalho​

Um recurso compute consiste em um nó driver e zero ou mais nós worker. O senhor pode escolher tipos de instância de provedor de nuvem separados para os nós driver e worker, embora em default o nó driver use o mesmo tipo de instância que o nó worker. A configuração do nó do driver está abaixo da seção Desempenho avançado .

Diferentes famílias de tipos de instância se adaptam a diferentes casos de uso, como cargas de trabalho com uso intensivo de memória ou de computação. Você também pode selecionar um pool para usar como nó de worker ou driver.

important

Não use um pool com instâncias pontuais como seu tipo de driver. Selecione um tipo de motorista sob demanda para evitar que seu motorista seja recuperado. Consulte Conectar ao pool.

No compute multinó, os nós worker executam os executores do Spark e outros serviços necessários para um recurso de compute funcionando corretamente. Quando você distribui sua carga de trabalho com o Spark, todo o processamento distribuído acontece nos nós worker. O Databricks executa um executor por nó worker. Portanto, os termos executor e worker são usados alternadamente no contexto da arquitetura do Databricks.

dica

Para executar um trabalho do Spark, você precisa de pelo menos um nó de worker. Se o recurso de compute tiver zero workers, você poderá executar comandos não Spark no nó do driver, mas os comandos Spark falharão.

endereços IP do nó de trabalho​

O Databricks inicia nós worker com dois endereços IP privados cada. O endereço IP privado primário do nó hospeda o tráfego interno do Databricks. O endereço IP privado secundário é usado pelo contêiner Spark para comunicação dentro do cluster. Esse modelo permite que o Databricks forneça isolamento entre vários recursos de compute no mesmo workspace.

Tipos de instância de GPU​

Para tarefas computacionalmente desafiadoras que exigem alto desempenho, como as associadas à aprendizagem profunda, o site Databricks suporta o recurso compute que é acelerado com unidades de processamento gráfico (GPUs). Para obter mais informações, consulte GPU-enabled compute.

A Databricks não oferece mais suporte à inicialização de compute usando instâncias Amazon EC2 P2.

Tipos de instância do AWS Graviton​

O Databricks oferece suporte a instâncias do AWS Graviton. Essas instâncias usam processadores Graviton projetados pela AWS com base na arquitetura de conjunto de instruções Arm64. A AWS afirma que os tipos de instância com esses processadores têm a melhor relação preço/desempenho de todos os tipos de instância no Amazon EC2. Para usar os tipos de instância do Graviton, selecione um dos tipos de instância do AWS Graviton disponíveis para o tipo de worker , tipo de driver ou ambos.

A Databricks oferece suporte a compute habilitado para AWS Graviton:

nota

Delta Live Tables não é suportado em compute habilitado para Graviton.

Limitações do ARM64 ISA​

  • Alterações de precisão de ponto flutuante: operações típicas como adicionar, subtrair, multiplicar e dividir não têm alteração na precisão. Para funções de triângulo único, como sin e cos, o limite superior da diferença de precisão para instâncias da Intel é 1.11e-16.
  • Compatibilidade com terceiros: a alteração no ISA pode ter algum impacto na compatibilidade com ferramentas e bibliotecas de terceiros.
  • Compute de instâncias mistas: a Databricks não suporta a mistura de tipos de instância AWS Graviton e não AWS Graviton, pois cada tipo requer um Databricks Runtime diferente.

Graviton limitações​

Os seguintes recursos não são compatíveis com os tipos de instância AWS Graviton:

  • UDFs em Python (UDFs em Python estão disponíveis no Databricks Runtime 15.2 e versões superiores)
  • Databricks Container Services
  • Tabelas Dinâmicas do Delta
  • Databricks SQL
  • Databricks on AWS GovCloud
  • Acesso a arquivos do workspace, incluindo aqueles em pastas Git, a partir de terminais web.

Tipos de instância do AWS Fleet​

nota

Se o seu workspace foi criado antes de maio de 2023, as permissões do IAM roletalvez precisem ser atualizadas para permitir o acesso aos tipos de instância da frota. Para obter mais informações, consulte Ativar tipos de instância de frota.

Um tipo de instância de frota é um tipo de instância variável que é resolvido automaticamente para o melhor tipo de instância disponível do mesmo tamanho.

Por exemplo, se você selecionar o tipo de instância de frota m-fleet.xlarge, seu nó será resolvido para qualquer tipo de instância de propósito geral .xlarge que tiver a melhor capacidade de spot e preço naquele momento. O tipo de instância para o qual seu recurso de compute é resolvido sempre terá a mesma memória e número de núcleos que o tipo de instância de frota que você escolheu.

Os tipos de instância de frota usam a API Spot Placement Score da AWS para escolher a zona de disponibilidade melhor e com maior probabilidade de sucesso para seu recurso de compute no momento da inicialização.

Limitações da frota​

  • Se o senhor atualizar a porcentagem de lance da instância spot usando API ou JSON, isso não terá efeito quando o tipo de nó worker for definido como um tipo de instância de frota. Isso ocorre porque não há uma única instância sob demanda para usar como ponto de referência para o preço à vista.
  • Instâncias de frota não suportam instâncias de GPU.
  • Uma pequena porcentagem de workspaces mais antigos ainda não suporta tipos de instância de frota. Se este for o caso do seu workspace, você verá um erro indicando isso ao tentar criar um compute ou um pool de instâncias usando um tipo de instância de frota. Estamos trabalhando para trazer suporte a esses workspaces restantes.

Nó único compute​

A caixa de seleção Single node (Nó único ) permite que o senhor crie um único nó compute recurso.

O compute de nó único destina-se a jobs que usam pequenas quantidades de dados ou cargas de trabalho não distribuídas, como bibliotecas de aprendizado de máquina de nó único. O compute multinó deve ser usado para jobs maiores com cargas de trabalho distribuídas.

Propriedades de um único nó​

Um recurso de compute de nó único tem as seguintes propriedades:

  • Executa o Spark localmente.
  • O driver atua como mestre e worker, sem nós worker.
  • Gera uma thread executor por núcleo lógico no recurso de compute, menos 1 núcleo para o driver.
  • Salva todas as saídas de log stderr, stdout e log4j no log do driver.
  • Não pode ser convertido em um recurso de compute multinó.

Seleção de um ou vários nós​

Considere seu caso de uso ao decidir entre compute de nó único ou multinó:

  • O processamento de dados em grande escala esgotará os recursos em um recurso de compute de nó único. Para essas cargas de trabalho, a Databricks recomenda o uso de compute multinó.

  • O compute de nó único não foi projetado para ser compartilhado. Para evitar conflitos de recursos, a Databricks recomenda o uso de um recurso de compute multinó quando o compute precisa ser compartilhado.

  • Um recurso de compute multinó não pode ser dimensionado para 0 workers. Use o compute de nó único em vez disso.

  • Compute de nó único não é compatível com isolamento de processo.

  • O agendamento de GPU não está habilitado no compute de nó único.

  • Em compute de nó único, o Spark não consegue ler arquivos Parquet com uma coluna UDT. A seguinte mensagem de erro é exibida:

    Console
    The Spark driver has stopped unexpectedly and is restarting. Your notebook will be automatically reattached.

    Para contornar esse problema, desative o leitor Parquet nativo:

    Python
    spark.conf.set("spark.databricks.io.parquet.nativeReader.enabled", False)

Habilitar a autoescala​

Quando a opção Ativar autoscale está marcada, você pode fornecer um número mínimo e máximo de workers para o recurso de compute. O Databricks então escolhe o número apropriado de workers necessários para executar seu job.

Para definir o número mínimo e máximo de trabalhadores que seu recurso compute irá autoscale entre, use os campos Min e Max ao lado do tipo de trabalhador dropdown.

Se você não habilitar o autoscale, deverá inserir um número fixo de workers no campo Workers ao lado da lista suspensa Tipo de worker .

nota

Quando o recurso de compute está em execução, a página de detalhes de compute exibe o número de workers alocados. Você pode comparar o número de workers alocados com a configuração do worker e fazer os ajustes necessários.

Benefícios da autoescala​

Com o autoscale, o Databricks realoca dinamicamente os workers para dar conta das características do seu job. Certas partes do seu pipeline podem ser mais exigentes computacionalmente do que outras, e o Databricks adiciona automaticamente workers adicionais durante essas fases do seu trabalho (e os remove quando não são mais necessários).

O autoscale facilita a obtenção de alta utilização porque você não precisa provisionar o compute para corresponder a uma carga de trabalho. Isso se aplica especialmente a cargas de trabalho cujos requisitos mudam ao longo do tempo (como explorar um conjunto de dados durante o dia), mas também pode se aplicar a uma carga de trabalho mais curta cujos requisitos de provisionamento são desconhecidos. O autoscale oferece, portanto, duas vantagens:

  • As cargas de trabalho podem ser executadas mais rapidamente em comparação com um recurso de compute subprovisionado de tamanho constante.
  • O autoscale pode reduzir os custos gerais em comparação com um recurso de compute de tamanho estático.

Dependendo do tamanho constante do recurso de compute e da carga de trabalho, o autoscale oferece um ou ambos os benefícios ao mesmo tempo. O tamanho do compute pode ficar abaixo do número mínimo de workers selecionados quando o provedor de nuvem encerra as instâncias. Nesse caso, o Databricks tenta continuamente provisionar novamente as instâncias para manter o número mínimo de workers.

nota

O autoscale não está disponível para jobs spark-submit.

nota

O dimensionamento automático da computação tem limitações na redução do tamanho do clustering para cargas de trabalho de transmissão estruturada. Databricks recomenda o uso do site Delta Live Tables com autoscale aprimorado para cargas de trabalho de transmissão. Consulte Otimizar a utilização de clustering do pipeline Delta Live Tables com autoscale aprimorado.

Como a autoescala se comporta​

Workspace no plano Premium ou superior usam autoscale otimizado. Workspaces no plano de preços padrão usam autoscale padrão.

O autoscale otimizado tem as seguintes características:

  • Aumenta de mínimo a máximo em 2 passos.
  • Pode reduzir a escala, mesmo se o recurso de compute não estiver ocioso, observando o estado do arquivo shuffle.
  • Reduz com base em uma porcentagem dos nós atuais.
  • No compute de job, reduz a escala se o recurso de compute estiver subutilizado nos últimos 40 segundos.
  • No compute de uso geral, reduz a escala se o recurso de compute estiver subutilizado nos últimos 150 segundos
  • A propriedade de configuração spark.databricks.aggressiveWindowDownS do Spark especifica em segundos com que frequência o cálculo toma decisões de redução de escala. Aumentar o valor faz com que o compute diminua mais lentamente. O valor máximo é 600.

O autoscale padrão é usado em workspaces de plano padrão. O autoscale padrão tem as seguintes características:

  • Começa adicionando 8 nós. Então escala exponencialmente, realizando tantos passos quantos forem necessários para atingir o máximo.
  • Reduz quando 90% dos nós não estão ocupados por 10 minutos e o compute está ocioso há pelo menos 30 segundos.
  • Reduz exponencialmente, começando com 1 nó.

autoscale com piscina​

Se estiver anexando seu recurso de compute a um pool, considere o seguinte:

  • Certifique-se de que o tamanho do compute solicitado seja menor ou igual ao número mínimo de instâncias do parado no pool. Se for maior, o tempo de compute startup será equivalente ao de compute que não usa um pool.

  • Certifique-se de que o tamanho máximo do compute seja menor ou igual à capacidade máxima do pool. Se for maior, a criação do compute falhará.

exemplo de autoescala​

Se você reconfigurar um recurso de compute estático para autoscale, o Databricks redimensiona imediatamente o recurso de compute dentro dos limites mínimo e máximo e, em seguida, inicia o autoscale. Como exemplo, a tabela a seguir demonstra o que acontece com um recurso de compute com um determinado tamanho inicial se você reconfigurar o recurso de compute para autoscale entre 5 e 10 nós.

Tamanho inicialTamanho após a reconfiguração
66
1210
35

Configurações avançadas de desempenho​

As seguintes configurações aparecem na seção Advanced desempenho no formulário simples compute UI.

Instâncias pontuais​

O senhor pode especificar se deseja usar instâncias pontuais marcando a caixa de seleção Usar instância pontual em Desempenho avançado . Veja os preços spot da AWS.

azure:

#### <a id="spot-instances"></a> Spot instances

To save cost, you can choose to use [spot instances, also known as Azure Spot VMs](https://learn.microsoft.com/azure/virtual-machines/spot-vms) by checking the **Spot instances** checkbox.

![Configure spot](/_static/images/clusters/spot-azure.png)

The first instance will always be on-demand (the driver node is always on-demand) and subsequent instances will be spot instances.

If instances are evicted due to unavailability, <Databricks> will attempt to acquire new spot instances to replace the evicted instances. If spot instances can't be acquired, on-demand instances are deployed to replace the evicted instances. This on-demand failback is only supported for spot instances that have been fully acquired and are running. Spot instances that fail during setup are not automatically replaced.

Additionally, when new nodes are added to existing compute resources, <Databricks> attempts to acquire spot instances for those nodes.

Rescisão automática​

O senhor pode definir o encerramento automático para compute na seção Desempenho avançado . Durante a criação do site compute, especifique um período de inatividade em minutos após o qual o senhor deseja que o recurso compute seja encerrado.

Se a diferença entre a hora atual e a última execução do comando no recurso compute for maior do que o período de inatividade especificado, o Databricks encerrará automaticamente o compute. Recurso Para obter mais informações sobre o encerramento do site compute, consulte Terminate a compute.

Tipo de motorista​

O senhor pode selecionar o tipo de driver na seção Desempenho avançado . O nó do driver mantém as informações de estado de todos os notebooks anexados ao recurso compute. O nó driver também mantém o SparkContext, interpreta todos os comandos que o senhor executa a partir de um Notebook ou de uma biblioteca no recurso compute e executa o mestre Apache Spark que coordena o executor Spark.

O valor padrão do tipo de nó do driver é o mesmo que o tipo de nó do worker. Você pode escolher um tipo de nó de driver maior com mais memória se estiver planejando collect() muitos dados de workers do Spark e analisá-los no notebook.

dica

Como o nó do driver mantém todas as informações de estado dos notebooks conectados, desanexe os notebooks não utilizados do nó do driver.

Etiquetas​

As tags permitem que o senhor monitore facilmente o custo do recurso compute usado por vários grupos na sua organização. Especifique as tags como par key-value quando o senhor criar compute, e Databricks aplicará essas tags aos recursos de nuvem, como VMs e volumes de disco, bem como aos relatórios de uso DBU.

Para compute iniciado a partir de pools, as tags personalizadas são aplicadas apenas aos relatórios de uso de DBU e não se propagam para os recursos da nuvem.

Para obter informações detalhadas sobre como os tipos de tags pool e compute funcionam juntos, consulte Uso de atributos usando tags

Para adicionar tags ao seu recurso de compute:

  1. Na seção Tags , adicione um par key-value para cada tag personalizada.
  2. Clique em Adicionar .

Configurações avançadas​

As seguintes configurações aparecem na seção Advanced (Avançado ) do formulário simples compute UI:

Modos de acesso​

O modo de acesso é um recurso de segurança que determina quem pode usar o recurso compute e os dados que podem ser acessados usando o recurso compute. Cada recurso do site compute em Databricks tem um modo de acesso. As configurações do modo de acesso podem ser encontradas na seção Advanced (Avançado ) do formulário simples compute UI.

A seleção do modo de acesso é feita automaticamente pelo site default, o que significa que o modo de acesso é escolhido automaticamente para o senhor com base no site selecionado Databricks Runtime. Tempos de execução de aprendizado de máquina e Databricks Tempos de execução inferiores a 14.3 default para Dedicated ; caso contrário, será usado o Standard .

A Databricks recomenda que o senhor use o modo de acesso padrão para todas as cargas de trabalho. Use o modo de acesso dedicado somente se a funcionalidade necessária não for suportada pelo modo de acesso padrão.

Modo de acessoVisível para o usuárioSuporte UCIdiomas suportadosNotas
Dedicado (anteriormente usuário único)SempreSimPython, SQL, Scala, RPode ser atribuído e usado por um único usuário ou grupo.
Padrão (anteriormente compartilhado)SempreSimPython, SQL, Scala (no Unity Catalog habilitado compute usando Databricks Runtime 13.3 LTS e acima)Pode ser usado por vários usuários com isolamento de dados entre os usuários.

Para obter informações detalhadas sobre o suporte de funcionalidade para cada um desses modos de acesso, consulte Limitações do modo de acesso de computação para Unity Catalog.

nota

Em Databricks Runtime 13.3 LTS e acima, o script de inicialização e a biblioteca são suportados por todos os modos de acesso. Os requisitos e os níveis de suporte variam. Consulte Onde o script de inicialização pode ser instalado? e biblioteca com escopo de computação.

perfil da instância​

nota

Databricks recomenda usar os locais externos de Unity Catalog para se conectar a S3 em vez do perfil da instância. Unity Catalog simplifica a segurança e a governança de seus dados, fornecendo um local central para administrar e auditar o acesso aos dados em vários espaços de trabalho em seu account. Consulte Conectar-se ao serviço e armazenamento de objetos na nuvem usando Unity Catalog.

Para acessar com segurança o AWS recurso sem usar a chave AWS, o senhor pode iniciar o Databricks compute com o perfil da instância. Consulte o tutorial: Configure o acesso S3 com um instance profile para obter informações sobre como criar e configurar o perfil da instância. Depois de criar um instance profile, o senhor o seleciona na lista suspensa do perfil da instância .

Após iniciar seu recurso de compute, verifique se você pode acessar o bucket S3 usando o seguinte comando. Se o comando for bem-sucedido, esse recurso de compute poderá acessar o bucket S3.

Python
 dbutils.fs.ls("s3a://<s3-bucket-name>/")
atenção

Quando um recurso compute é iniciado com um instance profile, qualquer pessoa que tenha permissões de anexação a esse recurso compute pode acessar o recurso subjacente controlado por essa função. Para se proteger contra acesso indesejado, use as permissões de computação para restringir as permissões ao recurso compute.

Zonas de disponibilidade​

Para localizar a configuração da zona de disponibilidade, abra a seção Advanced e clique em Instances (Instâncias ) tab. Essa configuração permite que o senhor especifique qual zona de disponibilidade (AZ) deseja que o recurso compute use. Em default, essa configuração é definida como automática , em que a AZ é selecionada automaticamente com base nos IPs disponíveis nas sub-redes workspace. O Auto-AZ tenta novamente em outras zonas de disponibilidade se o AWS retornar erros de capacidade insuficiente.

nota

A opção "auto" para AZ funciona apenas na inicialização do compute. Após o recurso de compute ser iniciado, todos os nós permanecem na zona de disponibilidade original até que o recurso de compute seja encerrado ou reiniciado.

Escolher uma AZ específica para o recurso de compute é útil principalmente se sua organização tiver adquirido instâncias reservadas em zonas de disponibilidade específicas. Leia mais sobre as zonas de disponibilidade da AWS.

Ativar o armazenamento local de escala automática​

Para configurar Enable autoscale local storage (Ativar armazenamento local de autoescala ), abra a seção Advanced (Avançado ) e clique em Instances (Instâncias ) tab.

Se você não quiser alocar um número fixo de volumes EBS no momento da criação do compute, use o armazenamento local com autoscale. Com o armazenamento local de autoscale, o Databricks monitora a quantidade de espaço livre em disco disponível nos workers Spark de sua computação. Se um worker começar a ficar com pouco espaço em disco, o Databricks anexará automaticamente um novo volume EBS ao worker antes que ele fique sem espaço em disco. Os volumes EBS são anexados até um limite de 5 TB de espaço total em disco por instância (incluindo o armazenamento local da instância).

Os volumes EBS anexados a uma instância são desanexados somente quando a instância é devolvida ao AWS. Ou seja, os volumes EBS nunca são desvinculados de uma instância enquanto ela fizer parte de uma instância em execução compute. Para reduzir o uso do EBS, o site Databricks recomenda o uso desse recurso em compute configurado com autoscale compute ou encerramento automático.

nota

A Databricks usa volumes do Amazon EBS GP3 para ampliar o armazenamento local de uma instância. O limite de capacidade dodefault AWS para esses volumes é de 50 TiB. Para evitar atingir esse limite, os administradores devem solicitar um aumento desse limite com base em seus requisitos de uso.

Volumes do EBS​

Esta seção descreve as configurações padrão de volume EBS para nós worker, como adicionar volumes de shuffle e como configurar o compute para que o Databricks aloque automaticamente volumes EBS.

Para configurar os volumes EBS, o site compute não deve estar habilitado para o armazenamento local de autoescala. Clique em Instances (Instâncias ) tab em Advanced (Avançado ) na configuração compute e selecione uma opção na lista EBS Volume Type (Tipo de volume EBS ) dropdown.

volumes padrão do EBS​

O Databricks provisiona volumes EBS para cada nó de trabalho da seguinte forma:

  • Um volume raiz de instância EBS criptografado de 30 GB usado pelo sistema operacional do host e pelos serviços internos do Databricks.
  • Um volume raiz de contêiner EBS criptografado de 150 GB usado pelo worker do Spark. Isso hospeda serviços e logs do Spark.
  • (somente HIPAA) um volume de log de worker do EBS criptografado de 75 GB que armazena logs para serviços internos do Databricks.

Adicionar volumes aleatórios do EBS​

Para adicionar volumes aleatórios, selecione SSD de uso geral na lista suspensa Tipo de volume do EBS .

Por padrão, as saídas de shuffle do Spark vão para o disco local da instância. Para tipos de instância que não possuem um disco local, ou se você deseja aumentar seu espaço de armazenamento de shuffle do Spark, você pode especificar volumes EBS adicionais. Isso é particularmente útil para evitar erros de falta de espaço em disco quando você executa jobs do Spark que produzem grandes saídas de shuffle.

A Databricks criptografa esses volumes EBS para instâncias on-demand e spot. Leia mais sobre os volumes EBS da AWS.

Opcionalmente, criptografe os volumes do Databricks EBS com um gerenciador de clientes key​

Opcionalmente, você pode criptografar os volumes EBS do compute com uma chave gerenciada pelo cliente.

Consulte Chave de gerenciar clientes para criptografia.

Limites do AWS EBS​

Certifique-se de que seus limites de AWS EBS sejam altos o suficiente para satisfazer os requisitos de tempo de execução para todos os workers em todos os seus computes implantados. Para obter informações sobre os limites padrão de EBS e como alterá-los, consulte Limites do Amazon Elastic Block Store (EBS).

Tipo de volume do AWS EBS SSD​

Selecione gp2 ou gp3 para o tipo de volume do AWS EBS SSD. Para fazer isso, consulte gerenciar SSD storage. A Databricks recomenda que o senhor mude para o gp3 por causa da economia de custos em comparação com o gp2.

nota

Por padrão, a configuração do Databricks define as IOPS e as IOPS de taxa de transferência do volume gp3 para corresponder ao desempenho máximo de um volume gp2 com o mesmo tamanho de volume.

Para obter informações técnicas sobre gp2 e gp3, consulte Tipos de volume do Amazon EBS.

Criptografia de disco local​

info

Visualização

Esse recurso está em Public Preview.

Alguns tipos de instância que você usa para executar um compute podem ter discos conectados localmente. O Databricks pode armazenar dados de shuffle ou dados efêmeros nesses discos conectados localmente. Para garantir que todos os dados em repouso sejam criptografados para todos os tipos de armazenamento, incluindo dados de shuffle que são armazenados temporariamente nos discos locais do seu compute, você pode habilitar a criptografia de disco local.

important

Suas cargas de trabalho podem ser executadas mais lentamente devido ao impacto no desempenho da leitura e gravação de dados criptografados de e para volumes locais.

Quando a criptografia de disco local está habilitada, o Databricks gera uma chave de criptografia localmente, que é única para cada nó de compute e é usada para criptografar todos os dados armazenados em discos locais. O escopo da chave é local para cada nó de compute e é destruído junto com o próprio nó de compute. Durante sua vida útil, a chave reside na memória para criptografia e descriptografia e é armazenada criptografada no disco.

Para ativar a criptografia de disco local, o senhor deve usar o clustering API. Durante a criação ou edição do site compute, defina enable_local_disk_encryption como true.

Configuração do Spark​

Para ajustar os jobs do Spark, você pode fornecer propriedades de configuração personalizadas do Spark.

  1. Na página de configuração compute, clique no botão Advanced .

  2. Clique na tab Spark .

    Configuração do Spark

    Na configuração do Spark , insira as propriedades de configuração como um par key-value por linha.

Quando o senhor configura compute usando o clustering API, define as propriedades de Spark no campo spark_conf em create clustering API ou Update clustering API.

Para impor as configurações de Spark em compute, os administradores de workspace podem usar as políticas decompute.

Recuperar uma propriedade de configuração do Spark a partir de um segredo​

Databricks recomenda o armazenamento de informações confidenciais, como senhas, em um segredo em vez de texto simples. Para fazer referência a um segredo na configuração do Spark, use a seguinte sintaxe:

ini
spark.<property-name> {{secrets/<scope-name>/<secret-name>}}

Por exemplo, para definir uma propriedade de configuração do Spark chamada password para o valor do segredo armazenado em secrets/acme_app/password:

ini
spark.password {{secrets/acme-app/password}}

Para obter mais informações, consulte gerenciar segredos.

variável de ambiente​

Configure a variável de ambiente personalizada que o senhor pode acessar a partir do script de inicialização em execução no recurso compute. Databricks também fornece variáveis de ambiente predefinidas que o senhor pode usar no script de inicialização. O senhor não pode substituir essas variáveis de ambiente predefinidas.

  1. Na página de configuração compute, clique no botão Advanced .

  2. Clique na tab Spark .

  3. Defina as variáveis de ambiente no campo Variáveis de ambiente .

    Campo Variáveis de ambiente

O senhor também pode definir variáveis de ambiente usando o campo spark_env_vars na API de criação de clusters ou na API de atualização de clusters.

computar log delivery​

Ao criar um compute, você pode especificar um local para entregar os logs do nó driver do Spark, dos nós worker e dos eventos. Os logs são entregues a cada cinco minutos e arquivados de hora em hora no destino escolhido. Quando um recurso de compute é encerrado, o Databricks garante a entrega de todos os logs gerados até o momento em que o recurso foi encerrado.

O destino dos registros depende do cluster_id do recurso de compute. Se o destino especificado for dbfs:/cluster-log-delivery, os logs de compute para 0630-191345-leap375 são entregues para dbfs:/cluster-log-delivery/0630-191345-leap375.

Para configurar o local de entrega de log:

  1. Na página compute, clique no botão Advanced (Avançado ).
  2. Clique na tab Logging .
  3. Selecione um tipo de destino.
  4. Insira o caminho do log do compute.

Destinos do bucket S3​

Se o senhor escolher um destino S3, deverá configurar o recurso compute com um instance profile que possa acessar o bucket. Esse instance profile deve ter as permissões PutObject e PutObjectAcl. Um exemplo do site instance profile foi incluído para sua conveniência. Consulte o tutorial: Configure o acesso S3 com um instance profile para obter instruções sobre como configurar um instance profile.

JSON
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["s3:ListBucket"],
      "Resource": ["arn:aws:s3:::<my-s3-bucket>"]
    },
    {
      "Effect": "Allow",
      "Action": ["s3:PutObject", "s3:PutObjectAcl", "s3:GetObject", "s3:DeleteObject"],
      "Resource": ["arn:aws:s3:::<my-s3-bucket>/*"]
    }
  ]
}
nota

Esse recurso também está disponível na API REST. Consulte a API de clusters.

Última atualização em