Eficiência de desempenho para o data lakehouse

Este artigo aborda os princípios arquitetônicos do pilar de eficiência de desempenho , referindo-se à capacidade de um sistema de se adaptar às mudanças de carga.

Princípios de eficiência de desempenho

1. Use as arquiteturas serverless

   As arquiteturas sem servidor não exigem que os clientes operem e mantenham a infraestrutura de computação na nuvem. Isso elimina a sobrecarga operacional do gerenciamento da infraestrutura de nuvem e reduz os custos de transação porque o serviço gerenciado opera na escala da nuvem. Eles também oferecem disponibilidade imediata, segurança pronta para uso e exigem configuração ou administração mínimas.

2. Projetar cargas de trabalho para desempenho

   Para cargas de trabalho repetidas, como o pipeline de engenharia de dados, o desempenho nunca deve ser uma reflexão tardia. Os dados devem ser:

   • Leia com eficiência a partir da memória do objeto.
   • Transformado com eficiência.
   • Publicado de forma eficiente para consumo.

   Além disso, a maioria dos padrões de pipeline ou consumo usa uma cadeia de sistemas. Para obter o melhor desempenho possível, toda a cadeia deve ser considerada e selecionada para obter o melhor desempenho.

3. execução desempenho testando no escopo do desenvolvimento

   Toda carga de trabalho de desenvolvimento deve passar por testes contínuos de desempenho. Os testes garantem que qualquer alteração na base de código não afete negativamente o desempenho da carga de trabalho. Estabeleça uma programação regular para a execução de testes. executar o teste como parte de um evento programado ou como parte de uma construção de integração contínua pipeline.

   Estabelecer linhas de base de desempenho e determinar a eficiência atual das cargas de trabalho e da infraestrutura de suporte. A medição do desempenho em relação às linhas de base pode fornecer estratégias de melhoria e determinar se o aplicativo atende aos objetivos comerciais.

   Identifique os gargalos que podem estar afetando o desempenho. Esses gargalos podem ser causados por erros de código ou configuração incorreta de um serviço. Normalmente, os gargalos pioram à medida que a carga aumenta.

4. Monitorar o desempenho

   Assegure-se de que o recurso e o serviço permaneçam acessíveis e que o desempenho atenda às expectativas do usuário ou aos requisitos de carga de trabalho. O monitoramento pode ajudá-lo a identificar gargalos ou recurso insuficiente, otimizar configurações e detectar pipeline/ erros de carga de trabalho.

Próximo: Práticas recomendadas para eficiência de desempenho

Consulte Práticas recomendadas para eficiência de desempenho.