Otimize a utilização de cluster do pipeline Delta Live Tables com a autoescala aprimorada

O databricks Enhanced autoscale otimiza a utilização clusters alocando automaticamente recursos clusters com base no volume de carga de trabalho, com impacto mínimo na latência de processamento de dados de seus pipelines.

aprimorada autoscale melhora a clusters autoscale funcionalidade do Databricks com o seguinte recurso:

  • autoscale aprimorada implementa a otimização de cargas de trabalho de transmissão e adiciona aprimoramentos para melhorar o desempenho de cargas de trabalho de lotes. autoscale aprimorada otimiza os custos adicionando ou removendo máquinas à medida que a carga de trabalho muda.

  • autoscale aprimorado desliga proativamente os nós subutilizados, garantindo que não haja falhas nas tarefas durante o desligamento. O recurso de escalonamento autoscale clusters existentes reduz os nós somente se o nó for parado.

autoscale aprimorado é o modo autoscale default quando você cria um novo pipeline na IU do Delta Live Tables. Você pode habilitar autoscale aprimorado para pipelines existentes editando as configurações do pipeline na interface do usuário. Você também pode habilitar autoscale aprimorado ao criar ou editar pipelines com a API Delta Live Tables.

Ativar autoscaleaprimorado

Observação

Como o recurso compute é otimizado automaticamente para os pipelines serverless, as configurações do Databricks Enhanced autoscale não estão disponíveis quando o senhor seleciona serverless (Public Preview) para um pipeline.

Para saber mais sobre como habilitar o pipeline DLT serverless, entre em contato com a equipe da Databricks account.

Para usar autoscale aprimorada , siga um destes procedimentos:

  • Defina o modoclusters como autoscaleaprimorado ao criar um pipeline ou editar um pipeline na IU do Delta Live Tables.

  • Adicione a configuração autoscale à configuração do cluster de pipeline e defina o campo mode como ENHANCED. Consulte Configurar as definições do site compute .

Use as seguintes diretrizes ao configurar o Enhanced autoscale para o pipeline de produção:

  • Deixe a configuração Min workers em default.

  • Defina a configuração Max workers como um valor baseado no orçamento e na prioridade do pipeline.

O exemplo a seguir configura um Enhanced autoscale cluster com um mínimo de 5 workers e um máximo de 10 workers. max_workers deve ser maior ou igual a min_workers.

Observação

  • autoscale aprimorado está disponível apenas para updates clusters. O recurso autoscale existente é usado para maintenance clusters.

  • A configuração autoscale tem dois modos:

{
  "clusters": [
    {
      "autoscale": {
        "min_workers": 5,
        "max_workers": 10,
        "mode": "ENHANCED"
      }
    }
  ]
}

O pipeline é reiniciado automaticamente após a alteração da configuração autoscale se o pipeline estiver configurado para execução contínua. Após a reinicialização, espere um curto período de latência aumentada. Após esse breve período de maior latência, o tamanho clusters deve ser atualizado com base na sua configuração autoscale e a latência do pipeline retorna às suas características de latência anteriores.

monitoramento Pipelines habilitados para autoscale aprimorado

Você pode usar os logs in interface do usuário Delta Live Tables para monitorar as métricas autoscale aprimoradas. Os eventos autoscale aprimorado têm o tipo de evento autoscale. Seguem exemplos de eventos:

Evento

Mensagem

pedidos de redimensionamento clusters começar

Scaling [up or down] to <y> executors from current cluster size of <x>

solicitação de redimensionamento clusters bem-sucedida

Achieved cluster size <x> for cluster <cluster-id> with status SUCCEEDED

solicitação de redimensionamento clusters parcialmente bem-sucedida

Achieved cluster size <x> for cluster <cluster-id> with status PARTIALLY_SUCCEEDED

falha na solicitação de redimensionamento clusters

Achieved cluster size <x> for cluster <cluster-id> with status FAILED

Você também pode view eventos de autoscale aprimorado consultando diretamente os logsde eventos: