folha de dicas de criação de computação
Este artigo tem o objetivo de fornecer orientações claras e opinativas para a criação do site compute. Usando os tipos certos de compute para seu fluxo de trabalho, o senhor pode melhorar o desempenho e economizar nos custos.
Melhor prática | Impacto | Documentos |
|---|---|---|
Use compute serverless para a maioria das cargas de trabalho. | Databricks gerencia dimensionamento, escalabilidade e infraestrutura automaticamente. Não é necessária nenhuma configuração de cluster. | |
Para compute clássica: use o modo de acesso padrão, a menos que a funcionalidade necessária não seja suportada. | O computador com modo de acesso padrão pode ser usado por vários usuários com isolamento de dados entre os usuários. | |
Para compute clássica: comece usando tipos de instância genéricos e de uso geral se você for novo no Databricks | Selecionar o tipo de instância apropriado para a carga de trabalho resulta em maior eficiência. | |
Para compute clássica: use os tipos de instância da geração mais recente, caso haja disponibilidade suficiente. | A última geração de tipos de instância oferece o melhor desempenho e o recurso mais recente. | |
Para compute clássica: defina seu equilíbrio entre instâncias sob demanda e instâncias spot com base na rapidez com que você precisa que sua carga de trabalho seja executada. | As instâncias pontuais economizam em custos, mas podem afetar o tempo total de execução de uma operação se as instâncias pontuais forem recuperadas. | |
Para compute clássica: escolha o tamanho dos seus nós e o número de trabalhadores com base nos tipos de operações que sua carga de trabalho executa. | Por exemplo, se você espera muitos embaralhamentos, pode ser mais eficiente usar um único nó grande em vez de vários nós menores. | |
Para compute clássica: vacuum em um cluster com escalonamento automático configurado para 1 a 4 trabalhadores, onde cada worker possui 8 núcleos. Selecione um driver com entre 8 e 32 núcleos. Aumente o tamanho do driver se você receber erros de falta de memória (OOM). | vacuum As declarações acontecem em duas fases, a segunda das quais é mais intensa para o motorista. Se o senhor não usar o cluster de tamanho correto, as operações poderão causar lentidão e talvez não sejam bem-sucedidas. | |
Para compute clássica: avalie se seus lotes de fluxo de trabalho se beneficiariam do Photon | O Photon oferece consultas mais rápidas e reduz seu custo total por carga de trabalho. |