Pular para o conteúdo principal

Configurar um pipeline serverless

Os pipelines serverless são executados em compute gerenciada pelo Databricks, eliminando a maior parte da configuração da infraestrutura.

A Databricks recomenda o desenvolvimento de novos pipelines usando serverless. Algumas cargas de trabalho podem exigir a configuração de compute clássico ou o trabalho com o Hive metastore legado. Para uma comparação lado a lado dos dois tipos de compute, consulte Serverless vs. compute clássico para pipelines. Consulte também Configurar compute clássico para pipelines e Usar LakeFlow Pipelines com Hive metastore legado.

Requisitos​

Configuração recomendada para pipeline serverless​

importante

A permissão de criação de cluster não é necessária para configurar pipelines serverless. Por default, todos os usuários do Workspace têm acesso ao compute Serverless automatizado default do Workspace. Os administradores do workspace podem restringir esse acesso. Consulte Gerenciar compute serverless.

Os pipelines serverless removem a maioria das opções de configuração, pois a Databricks gerencia toda a infraestrutura. Quando você cria um novo pipeline, o default é usar serverless. Para saber como configurar um pipeline serverless, consulte Configurar pipelines.

Você também pode converter o pipeline existente configurado com Unity Catalog para usar serverless. Consulte Converter um pipeline existente para usar serverless.

Outras considerações de configuração​

As seguintes opções de configuração também estão disponíveis para pipeline serverless :

política de uso de serverless​

info

Visualização

Este recurso está em Visualização Pública.

As políticas de uso serverless permitem à sua organização aplicar tags personalizadas no uso serverless para atribuição granular de faturamento. Depois de marcar a caixa de seleção Serverless , a configuração Política de uso é exibida, onde você pode selecionar a política que deseja aplicar ao pipeline. As tags são herdadas da política de uso serverless e só podem ser editadas por administradores do workspace.

nota

Depois de lhe ser atribuída uma política de utilização serverless , os seus pipelines existentes não serão automaticamente etiquetados com a sua política. Você precisa atualizar manualmente os pipelines existentes se quiser associar uma política a eles.

Para mais informações sobre políticas de uso serverless , consulte Uso de atributos com políticas de uso serverless.

Limites de taxa de compute Serverless​

Os limites de taxa Serverless estão na versão Beta. Um administrador de workspace deve habilitar o Limite de taxa de Compute Serverless na página Pré-visualizações.

No editor do Lakeflow, abra Settings do pipeline. Em Compute , selecione o objeto de compute serverless que a identidade run-as do pipeline tem permissão para usar. Seu tamanho limita o autoscale do executor Spark para o pipeline. Cada pipeline que usa o mesmo objeto de compute recebe seu próprio limite. O limite não estabelece um limite para o custo total do pipeline.

Consulte Definir limites de taxa no compute serverless para requisitos de runtime, permissões, tamanhos e limitações.

Selecione um modo de desempenho​

Um pipeline Serverless usa o modo de desempenho do Job ou programar que o execução. O modo de desempenho otimizada é o default. Ele começa rapidamente e foi projetado para workloads interativas e sensíveis ao tempo. Para pipelines que podem tolerar um tempo de startup típico de 4 a 6 minutos, o modo padrão consome menos unidades do Databricks (DBUs) e custa menos. Para usar o modo padrão para um pipeline com trigger, desmarque desempenho optimized no programar do pipeline.

Para comparar os modos e definir o modo para cada tipo de carga de trabalho, consulte Escolher um modo de desempenho para jobs e pipelines serverless.

nota

Para usar o modo de desempenho padrão com um pipeline contínuo, execute o pipeline com um job contínuo e desmarque a caixa de seleção Performance optimized no agendamento. Consulte Executar um pipeline contínuo com um job contínuo e Agendar um pipeline com a interface do pipeline.

recurso pipeline sem servidor​

Além de simplificar a configuração, o pipeline serverless tem os seguintes recursos:

  • **Pipeline de transmissão**: Para melhorar a utilização, o throughput e a latência para cargas de trabalho de dados de transmissão, como a ingestão de dados, os microbatches são *em pipeline*. Em outras palavras, em vez de executar microbatches sequencialmente como no Spark Structured Streaming padrão, os Lakeflow pipelines serverless executam microbatches simultaneamente, melhorando a utilização dos recursos de compute. O pipelining de transmissão é habilitado por default em pipelines serverless.
  • Autoscaling vertical : os Serverless LakeFlow Pipelines somam-se ao autoscaling horizontal fornecido pelo autoscaling aprimorado do Databricks, alocando automaticamente os tipos de instância mais econômicos que podem executar seu pipeline sem falhar devido a erros de falta de memória. Consulte O que é autoscaling vertical?

Converter um pipeline existente para usar o serverless​

Você pode converter um pipeline existente configurado com o Unity Catalog em um pipeline serverless . Conclua os seguintes passos:

  1. Na barra lateral do seu workspace Databricks , clique em Jobs & pipeline .
  2. Clique no Nome do pipeline.
  3. Clique em Configurações .
  4. Na barra lateral direita, em calcular , clique em Ícone de lápis..
  5. Marque a caixa ao lado de sem servidor .
  6. Clique em Salvar .
importante

Quando você habilita serverless, todas as configurações compute que você configurou para um pipeline são removidas. Se você alternar um pipeline de volta para atualizações não semserverless , será necessário reconfigurar as configurações compute desejadas para a configuração pipeline .

Localizar o uso de DBU de um pipeline serverless​

Você pode encontrar o uso de DBU de LakeFlow Pipelines serverless consultando a tabela de uso faturável, parte das tabelas do sistema Databricks. Consulte Qual é o consumo de DBU de um pipeline serverless?.

Limitações​

  • Para limitações de compute serverless, consulte limitações de compute serverless. As limitações de Trigger do Structured Streaming descritas lá não se aplicam aos modos de pipeline. Os pipelines Serverless suportam os modos acionado, contínuo e em tempo real. Consulte Modo de Trigger vs. pipeline contínuo.
  • Não é possível adicionar manualmente configurações compute em um objeto clusters na configuração JSON para um pipeline serverless . Tentar fazer isso resulta em erro.
  • Não há suporte para reiniciar manualmente o processo do Python (dbutils.library.restartPython()), portanto não é possível instalar nem recarregar dependências em tempo de execução. Consulte Gerenciar dependências do Python para pipelines.