Otimização de custos para o data lakehouse

Este artigo aborda os princípios arquiteturais do pilar de otimização de custos , visando possibilitar a gestão de custos de forma a maximizar o valor entregue. Dado um orçamento, a eficiência de custos é impulsionada pelos objetivos de negócios e pelo retorno do investimento. Os princípios de otimização de custos podem ajudar a atingir os objetivos de negócios e a justificativa de custos.

Diagrama de arquitetura de lakehouse de otimização de custos para Databricks.

Princípios de otimização de custos

  1. Escolha os recursos corretos

    Escolha os recursos certos que se alinham com os objetivos de negócios e podem lidar com o desempenho da carga de trabalho. Ao integrar novas cargas de trabalho, explore as diferentes opções de implantação e escolha aquela com a melhor relação preço/desempenho.

  2. Alocar e desalocar recursos dinamicamente

    Aloque e libere recursos dinamicamente para atender aos requisitos de desempenho. Identifique recursos não utilizados ou subutilizados e reconfigure, consolide ou desligue-os.

  3. Monitore e controle os custos

    O custo de suas cargas de trabalho depende da quantidade de recursos consumidos e das taxas cobradas por esses recursos. Para entender o custo dessas cargas de trabalho, monitore-as para cada recurso envolvido. Isso fornece uma linha de base para controlar o consumo e os custos.

  4. Analisar e atribuir despesas

    O lakehouse facilita a identificação precisa do uso e dos custos da carga de trabalho. Isso permite a alocação transparente de custos para proprietários de cargas de trabalho individuais. Eles podem medir o retorno sobre o investimento e otimizar seus recursos para reduzir custos, se necessário.

  5. Otimize cargas de trabalho, aponte para custos escaláveis

    Uma das key vantagens da lakehouse é sua capacidade de escalar dinamicamente. Como ponto de partida, as métricas de uso e desempenho são analisadas para determinar o número inicial de instâncias. Com o dimensionamento automático, custos adicionais podem ser economizados escolhendo instâncias menores para uma carga de trabalho altamente variável ou expandindo em vez de aumentar para atingir o nível de desempenho necessário.

Próximo: Melhores práticas para otimização de custos

Consulte Melhores práticas para otimização de custos.