Configurar compute clássico para Jobs do Lakeflow
Jobs clássicos exigem que você crie e configure recursos de compute clássicos que se ajustem às necessidades dos seus cenários de transformação de dados.
A Databricks recomenda computação serverless para a maioria das cargas de trabalho de jobs. A computação serverless gerencia toda a infraestrutura e elimina a necessidade de configuração específica de compute. Consulte Executar seus jobs do LakeFlow com compute serverless para fluxos de trabalho.
Se a sua carga de trabalho não for suportada em serverless, use as melhores práticas gerais de compute clássico descritas em Práticas recomendadas de configuração de compute clássico, e revise a orientação específica de jobs nesta página.
transmissão estructurada fluxo de trabalho têm recomendações específicas de configuração. Consulte Considerações sobre produção para transmissão estruturada.
Use compute de jobs, não compute de uso geral
A Databricks desaconselha o uso de compute de uso geral para jobs pelos seguintes motivos:
- Databricks O senhor paga pelo site compute em uma taxa diferente do Job compute.
- Jobs compute é encerrado automaticamente após a conclusão da execução de um trabalho. O site compute para todos os fins oferece suporte ao encerramento automático, que está vinculado à inatividade e não ao fim da execução de um trabalho.
- O site compute para todos os fins é frequentemente compartilhado entre equipes de usuários. Os trabalhos agendados em compute para todos os fins geralmente têm latência aumentada devido à concorrência pelo recurso compute.
- Muitas recomendações para otimizar a configuração do Job compute não são apropriadas para o tipo de consultas ad-hoc e cargas de trabalho interativas executadas em compute.
Exceções limitadas
Veja a seguir os casos de uso em que o senhor pode optar por usar o site compute para todos os fins:
- O senhor está desenvolvendo ou testando iterativamente um novo trabalho. Os tempos de inicialização do Job compute podem tornar o desenvolvimento iterativo tedioso. O site compute permite que o senhor aplique alterações e execute seu trabalho rapidamente.
- O senhor tem um trabalho de curta duração que deve ser executado com frequência ou em uma programação específica. Não há tempo de start-up associado ao site de uso geral em execução no momento compute. Considere os custos associados ao tempo de parada se estiver usando esse padrão.
serverless compute for Job é o substituto recomendado para a maioria dos tipos de tarefa que o senhor pode considerar executar em compute.
Políticas de compute específicas de jobs
A Databricks recomenda que os administradores do workspace definam políticas de compute para jobs e imponham essas políticas para todos os usuários que configuram jobs.
Databricks fornece uma política default configurada para o Job. Os administradores podem tornar essa política disponível para outros usuários do site workspace. Consulte Job compute.