Pular para o conteúdo principal

execução seu LakeFlow Empregos com serverless compute para fluxo de trabalho

compute sem servidor para fluxo de trabalho permite que você execute seu trabalho sem configurar e implantar infraestrutura. Com compute serverless , você se concentra na implementação do seu pipeline de processamento e análise de dados, e Databricks gerencia os recursos compute de forma eficiente, incluindo a otimização e o dimensionamento compute para suas cargas de trabalho. O autoscale e Photon são ativados automaticamente para os recursos compute que executam seu trabalho.

O serverless compute for fluxo de trabalho otimiza automática e continuamente a infraestrutura, como tipos de instância, memória e mecanismos de processamento, para garantir o melhor desempenho com base nos requisitos específicos de processamento de suas cargas de trabalho.

Databricks atualiza automaticamente a versão do Databricks Runtime para oferecer suporte a aprimoramentos e atualizações da plataforma, garantindo a estabilidade do seu trabalho. Para ver a versão atual do Databricks Runtime usada pelo serverless compute para fluxo de trabalho, consulte serverless compute notas sobre a versão.

A permissão de criação de cluster não é necessária para a execução de fluxos de trabalho no compute Serverless. Por default, todos os usuários do workspace têm acesso ao compute serverless automatizado default do workspace. Os administradores do workspace podem restringir esse acesso. Consulte Gerenciar compute serverless.

Esta página descreve como usar a interface de usuário LakeFlow Jobs para criar e executar trabalhos que utilizam compute serverless . Você também pode automatizar a criação e a execução de trabalhos que utilizam compute serverless com a API de Trabalhos, os Pacotes de Automação Declarativa e o SDK Databricks para Python.

  • Para saber mais sobre como usar o Jobs API para criar e executar trabalhos que usam serverless compute, consulte Jobs na referência REST API .
  • Para aprender como usar os Pacotes de Automação Declarativa para criar e executar trabalhos que utilizam compute serverless , consulte Desenvolver um Trabalho com Pacotes de Automação Declarativa.
  • Para saber mais sobre como usar o Databricks SDK para Python para criar e executar trabalhos que usam serverless compute, consulte Databricks SDK para Python.

Requisitos​

  • Seu Databricks workspace deve ter o Unity Catalog ativado.
  • Como o serverless compute para fluxo de trabalho usa o modo de acesso padrão, suas cargas de trabalho devem suportar esse modo de acesso.

Criar um trabalho usando serverless compute​

nota

Como o serverless compute para o fluxo de trabalho garante o provisionamento de recursos suficientes para a execução de suas cargas de trabalho, o senhor pode ter um aumento no startup tempo ao executar um trabalho que exija grandes quantidades de memória ou inclua muitas tarefas.

compute sem servidor é suportada pelos tipos de tarefa Notebook, script Python , dbt, Python wheel e JAR . Por default, o tipo de compute selecionado ao criar um Job e adicionar um desses tipos de tarefa compatíveis é serverless compute .

Criar serverless tarefa

Databricks recomenda o uso do site serverless compute para todas as tarefas de trabalho. O senhor também pode especificar diferentes tipos de compute para tarefa em um trabalho, o que pode ser necessário se um tipo de tarefa não for suportado pelo serverless compute para fluxo de trabalho.

Para gerenciar as conexões de rede de saída do seu trabalho, consulte O que é o controle de saída serverless?

Configurar um trabalho existente para usar o site serverless compute​

O senhor pode mudar um trabalho existente para usar o site serverless compute para os tipos de tarefa suportados ao editar o trabalho. Para mudar para serverless compute, o senhor pode:

  • No painel lateral Detalhes do Job , clique em Swap em compute , clique em Novo , insira ou atualize as configurações e clique em Atualizar .
  • Clique em Abaixo do cursor no menu suspenso de computação e selecione serverless .

Alterar a tarefa para serverless compute

Selecionar um compute serverless com um limite de taxa​

Os limites de taxa do Serverless estão na versão Beta. Um administrador do workspace deve ativar o Limite de Taxa de Compute Serverless na página Pré-visualizações.

Nas configurações de Compute do job, selecione uma Política de compute que a identidade de execução do job tenha permissão para usar. Uma política de compute nesse seletor é um objeto de compute serverless automatizado. Seu tamanho limita o autoscale do executor do Spark em todas as tarefas Serverless do Job. Cada job que usa o mesmo objeto de compute recebe seu próprio limite. O limite não limita o custo total do job.

O seletor também pode ser rotulado como Compute serverless .

Se o job não especificar um objeto de compute, ele usa Compute Automatizado Default . O job requer permissão para usar esse compute.

Para configurar um job com limite de taxa com a API de Jobs ou Pacotes de Automação Declarativa, consulte Use compute com limite de taxa com a API de Jobs.

Veja Definir limites de taxa no compute serverless para permissões, tamanhos disponíveis e limitações.

Programar um Notebook usando serverless compute​

Além de usar o Jobs UI para criar e programar um trabalho usando serverless compute, o senhor pode criar e executar um trabalho que use serverless compute diretamente de um notebook Databricks. Consulte Criar e gerenciar o trabalho agendado do Notebook.

Selecionar uma política de uso serverless​

info

Visualização

Esse recurso está em Public Preview.

As políticas de uso de serviços sem servidor permitem que sua organização aplique tags personalizadas ao uso de serviços serverless para uma atribuição de faturamento granular.

Se o seu workspace usar políticas de uso serverless para atribuir o uso serverless, é possível selecionar a política de uso serverless do job usando a configuração Política de uso na interface do usuário de detalhes do job. Se for atribuído a apenas uma política de uso serverless, a política é selecionada automaticamente para seus novos jobs.

nota

Depois de lhe ser atribuída uma política de utilização serverless , as suas tarefas existentes não serão automaticamente etiquetadas com a sua política. Você precisa atualizar manualmente os trabalhos existentes se quiser associar uma política a eles.

Para mais informações sobre políticas de uso serverless , consulte Uso de atributos com políticas de uso serverless.

Selecione um modo de desempenho​

As execuções de Job Serverless são feitas no modo otimizado para desempenho por default. O modo otimizado para desempenho começa rapidamente e foi projetado para cargas de trabalho interativas e sensíveis ao tempo. Para cargas de trabalho que podem tolerar um tempo de Startup típico de 4 a 6 minutos, o modo padrão consome menos Databricks Units (DBUs) e custa menos. Para usar o modo padrão, desative Otimizado para desempenho no painel Detalhes do job . A configuração aplica-se apenas às tarefas serverless do job. Você pode alterá-lo somente quando o job tiver pelo menos uma tarefa serverless.

Para comparar os modos, obter orientações sobre como escolher um deles e ver instruções para a API, os Declarative Automation Bundles, o Terraform e os SDKs, consulte Escolher um modo de desempenho para Jobs e pipelines Serverless.

Definir os parâmetros de configuração do Spark​

Para automatizar a configuração de Spark em serverless compute, Databricks permite definir apenas parâmetros específicos de configuração de Spark. Para obter a lista de parâmetros permitidos, consulte Parâmetros de configuração compatíveis com o Spark.

Você só pode definir os parâmetros de configuração do Spark no nível da sessão. Para isso, defina-os em um Notebook e adicione o Notebook a uma tarefa incluída no mesmo Job que utiliza os parâmetros. Consulte Definir propriedades de configuração do Spark no Databricks.

Configurar ambientes e dependências​

Para saber como instalar o biblioteca e as dependências usando serverless compute, consulte Configurar o ambiente serverless.

Para transmitir variáveis de ambiente para o código da aplicação em suas tarefas, veja Configurar variáveis de ambiente para jobs serverless.

Configurar memória alta para a tarefa Notebook​

info

Visualização

Esse recurso está em Public Preview.

É possível configurar tarefas de Notebook para usar um tamanho de memória maior. Para fazer isso, configure a opção Memória no painel lateral Ambiente do notebook. Consulte Usar compute serverless de alta memória.

A memória alta só está disponível para os tipos de tarefa Notebook.

Configure serverless compute auto-optimization para não permitir novas tentativas​

serverless compute for fluxo de trabalho auto-optimization otimiza automaticamente o compute usado para executar seu trabalho e tenta novamente as tarefas que falharam. A otimização automática é ativada pelo site default, e o Databricks recomenda deixá-la ativada para garantir que as cargas de trabalho críticas sejam executadas com êxito pelo menos uma vez. No entanto, se o senhor tiver cargas de trabalho que devem ser executadas no máximo uma vez, por exemplo, trabalhos que não são idempotentes, poderá desativar a otimização automática ao adicionar ou editar uma tarefa:

  1. Ao lado de Tentativas , clique em Adicionar (ou ícone de edição se já existir uma política de repetição).
  2. Na caixa de diálogo Retry Policy (Política de repetição ), desmarque a opção Enable serverless auto-optimization (pode incluir tentativas adicionais) .
  3. Clique em Confirmar .
  4. Clique em Salvar tarefa .

Monitorar o custo do trabalho que usa o site serverless compute para fluxo de trabalho​

O senhor pode monitorar o custo do trabalho que usa o site serverless compute para fluxo de trabalho consultando a tabela do sistema de uso faturável. Essa tabela é atualizada para incluir atributos de usuário e carga de trabalho sobre os custos do serverless. Consulte a referência da tabela do sistema de uso faturável.

Para obter informações sobre os preços atuais e quaisquer promoções, consulte a página de preços do fluxo de trabalho.

visualizar detalhes da consulta para execução do trabalho​

O senhor pode view informações detalhadas sobre o tempo de execução de suas declarações Spark, como métricas e planos de consulta.

Para acessar os detalhes da consulta na Job UI, siga as etapas abaixo:

  1. Na barra lateral do site Databricks workspace, clique em Jobs & pipeline .

  2. Opcionalmente, selecione o filtro Trabalhos .

  3. Clique no nome do trabalho que o senhor deseja view.

  4. Clique na execução específica que o senhor deseja view.

  5. Clique em Timeline (Linha do tempo ) para view a execução como uma linha do tempo, dividida em tarefas individuais.

  6. Clique na seta ao lado do nome da tarefa para mostrar as instruções de consulta e seus tempos de execução.

    Uma tarefa com várias instruções de consulta e seus tempos de execução na linha do tempo view da Job UI.

  7. Clique em uma instrução para navegar até o perfil da consulta, que mostra detalhes de execução e métricas da consulta.

Para view a história da consulta para uma tarefa:

  1. Na **seção Compute** do painel lateral **Execução de tarefa**, clique em **Histórico de consultas**.
  2. O senhor é redirecionado para o site Query History, pré-filtrado com base no ID de execução da tarefa em que estava.

Para obter informações sobre como usar query história, consulte Acessar query história para pipeline e Query história.

Limitações​

Para obter uma lista de limitações de compute Serverless para fluxos de trabalho, consulte Limitações de compute Serverless.