Configurar um pipeline serverless
Os pipelines serverless são executados em compute gerenciada pelo Databricks, eliminando a maior parte da configuração da infraestrutura.
A Databricks recomenda o desenvolvimento de novos pipelines usando serverless. Algumas cargas de trabalho podem exigir a configuração de compute clássico ou o trabalho com o Hive metastore legado. Para uma comparação lado a lado dos dois tipos de compute, consulte Serverless vs. compute clássico para pipelines. Consulte também Configurar compute clássico para pipelines e Usar LakeFlow Pipelines com Hive metastore legado.
Requisitos
-
Seu workspace deve ter o Unity Catalog habilitado. Os pipelines Serverless sempre usam o Unity Catalog. Consulte Usar o Unity Catalog com pipelines.
-
Os pipelines serverless exigem a edição do produto
ADVANCED. Consulte Escolher uma edição de produto. -
Você deve ter aceitado os termos de uso do serverless.
-
Seu workspace deve estar em uma região habilitada paraserverless.
Configuração recomendada para pipeline serverless
A permissão de criação de cluster não é necessária para configurar pipelines serverless. Por default, todos os usuários do Workspace têm acesso ao compute Serverless automatizado default do Workspace. Os administradores do workspace podem restringir esse acesso. Consulte Gerenciar compute serverless.
Os pipelines serverless removem a maioria das opções de configuração, pois a Databricks gerencia toda a infraestrutura. Quando você cria um novo pipeline, o default é usar serverless. Para saber como configurar um pipeline serverless, consulte Configurar pipelines.
Você também pode converter o pipeline existente configurado com Unity Catalog para usar serverless. Consulte Converter um pipeline existente para usar serverless.
Outras considerações de configuração
As seguintes opções de configuração também estão disponíveis para pipeline serverless :
-
Você pode optar por usar o modo pipeline contínuo ao executar o pipeline em produção. Veja Modo de pipeline disparado vs. contínuo.
-
Adicione notificações para atualizações email com base em condições de sucesso ou falha. Consulte Adicionar notificações email para eventos pipeline.
-
Use o campo Configuração para definir keypar e o valor do pipeline. Essas configurações atendem a dois propósitos:
- Defina parâmetros arbitrários que você pode referenciar em seu código-fonte. Consulte Usar parâmetros com pipeline.
- Configure as definições do pipeline e as configurações do Spark. Consulte a referência de propriedades do pipeline.
-
Utilize o canal Preview para testar seu pipeline em relação a alterações pendentes do Runtime e experimentar novos recursos.
-
Declare dependências externas do Python nas configurações de Ambiente do pipeline. Consulte Gerenciar dependências do Python para pipelines.
Se precisar usar uma conexão AWS PrivateLink com seus LakeFlow Pipelines Serverless, entre em contato com seu representante da Databricks.
política de uso de serverless
Visualização
Este recurso está em Visualização Pública.
As políticas de uso serverless permitem à sua organização aplicar tags personalizadas no uso serverless para atribuição granular de faturamento. Depois de marcar a caixa de seleção Serverless , a configuração Política de uso é exibida, onde você pode selecionar a política que deseja aplicar ao pipeline. As tags são herdadas da política de uso serverless e só podem ser editadas por administradores do workspace.
Depois de lhe ser atribuída uma política de utilização serverless , os seus pipelines existentes não serão automaticamente etiquetados com a sua política. Você precisa atualizar manualmente os pipelines existentes se quiser associar uma política a eles.
Para mais informações sobre políticas de uso serverless , consulte Uso de atributos com políticas de uso serverless.
Limites de taxa de compute Serverless
Os limites de taxa Serverless estão na versão Beta. Um administrador de workspace deve habilitar o Limite de taxa de Compute Serverless na página Pré-visualizações.
No editor do Lakeflow, abra Settings do pipeline. Em Compute , selecione o objeto de compute serverless que a identidade run-as do pipeline tem permissão para usar. Seu tamanho limita o autoscale do executor Spark para o pipeline. Cada pipeline que usa o mesmo objeto de compute recebe seu próprio limite. O limite não estabelece um limite para o custo total do pipeline.
Consulte Definir limites de taxa no compute serverless para requisitos de runtime, permissões, tamanhos e limitações.
Selecione um modo de desempenho
Um pipeline Serverless usa o modo de desempenho do Job ou programar que o execução. O modo de desempenho otimizada é o default. Ele começa rapidamente e foi projetado para workloads interativas e sensíveis ao tempo. Para pipelines que podem tolerar um tempo de startup típico de 4 a 6 minutos, o modo padrão consome menos unidades do Databricks (DBUs) e custa menos. Para usar o modo padrão para um pipeline com trigger, desmarque desempenho optimized no programar do pipeline.
Para comparar os modos e definir o modo para cada tipo de carga de trabalho, consulte Escolher um modo de desempenho para jobs e pipelines serverless.
Para usar o modo de desempenho padrão com um pipeline contínuo, execute o pipeline com um job contínuo e desmarque a caixa de seleção Performance optimized no agendamento. Consulte Executar um pipeline contínuo com um job contínuo e Agendar um pipeline com a interface do pipeline.
recurso pipeline sem servidor
Além de simplificar a configuração, o pipeline serverless tem os seguintes recursos:
-
refresh incremental para visualização materializada : as atualizações para visualização materializada são atualizadas incrementalmente sempre que possível. refresh incremental tem os mesmos resultados que a recomputação completa. A atualização usa uma refresh completa se os resultados não puderem ser computados incrementalmente. Veja refresh incremental para visualização materializada.
-
**Pipeline de transmissão**: Para melhorar a utilização, o throughput e a latência para cargas de trabalho de dados de transmissão, como a ingestão de dados, os microbatches são *em pipeline*. Em outras palavras, em vez de executar microbatches sequencialmente como no Spark Structured Streaming padrão, os Lakeflow pipelines serverless executam microbatches simultaneamente, melhorando a utilização dos recursos de compute. O pipelining de transmissão é habilitado por default em pipelines serverless.
-
Autoscaling vertical : os Serverless LakeFlow Pipelines somam-se ao autoscaling horizontal fornecido pelo autoscaling aprimorado do Databricks, alocando automaticamente os tipos de instância mais econômicos que podem executar seu pipeline sem falhar devido a erros de falta de memória. Consulte O que é autoscaling vertical?
Converter um pipeline existente para usar o serverless
Você pode converter um pipeline existente configurado com o Unity Catalog em um pipeline serverless . Conclua os seguintes passos:
- Na barra lateral do seu workspace Databricks , clique em Jobs & pipeline .
- Clique no Nome do pipeline.
- Clique em Configurações .
- Na barra lateral direita, em calcular , clique em
.
- Marque a caixa ao lado de sem servidor .
- Clique em Salvar .
Quando você habilita serverless, todas as configurações compute que você configurou para um pipeline são removidas. Se você alternar um pipeline de volta para atualizações não semserverless , será necessário reconfigurar as configurações compute desejadas para a configuração pipeline .
Localizar o uso de DBU de um pipeline serverless
Você pode encontrar o uso de DBU de LakeFlow Pipelines serverless consultando a tabela de uso faturável, parte das tabelas do sistema Databricks. Consulte Qual é o consumo de DBU de um pipeline serverless?.
Limitações
- Para limitações de compute serverless, consulte limitações de compute serverless. As limitações de Trigger do Structured Streaming descritas lá não se aplicam aos modos de pipeline. Os pipelines Serverless suportam os modos acionado, contínuo e em tempo real. Consulte Modo de Trigger vs. pipeline contínuo.
- Não é possível adicionar manualmente configurações compute em um objeto
clustersna configuração JSON para um pipeline serverless . Tentar fazer isso resulta em erro. - Não há suporte para reiniciar manualmente o processo do Python (
dbutils.library.restartPython()), portanto não é possível instalar nem recarregar dependências em tempo de execução. Consulte Gerenciar dependências do Python para pipelines.