Excelência operacional para o data lakehouse

Os princípios arquitetônicos do pilar de excelência operacional cobrem todos os processos operacionais que mantêm a lakehouse funcionando. A excelência operacional aborda a capacidade de operar o lakehouse com eficiência e discute como operar, gerenciar e monitorar o lakehouse para agregar valor aos negócios.

Princípios de excelência operacional

1. Otimize os processos de compilação e lançamento

   Use as melhores práticas de engenharia de software em todo o seu ambiente lakehouse. Crie e libere usando pipeline de integração contínua (CI) e entrega contínua (CD) para DevOps e MLOps.

2. Automatize implantações e cargas de trabalho

   A automação de implantações e cargas de trabalho para o lakehouse ajuda a padronizar esses processos, eliminar erros humanos, melhorar a produtividade e fornecer maior repetibilidade. Isso inclui o uso de “configuração como código” para evitar desvios de configuração e “infraestrutura como código” para automatizar o provisionamento de todos os serviços de lakehouse e cloud necessários.

   Especificamente para ML, os processos devem conduzir à automação: nem todas as passos de um processo podem ou devem ser automatizadas. As pessoas ainda determinam as questões de negócios e alguns modelos sempre precisarão de supervisão humana antes da implantação. Portanto, o processo de desenvolvimento é primário e cada módulo do processo deve ser automatizado conforme necessário. Isso permite a criação incremental de automação e personalização.

3. Configurar monitoramento, alerta e registro

   As cargas de trabalho no lakehouse normalmente integram serviços de plataforma Databricks e serviços externos cloud , por exemplo, como fonte de dados ou destinos. A execução bem-sucedida só pode ocorrer se cada serviço na cadeia de execução estiver funcionando corretamente. Quando esse não é o caso, monitoramento, alerta e registro são importantes para detectar e rastrear problemas e entender o comportamento do sistema.

4. gerencia capacidade e cotas

   Para qualquer serviço iniciado em cloud, leve em account os limites, por exemplo, limites de taxa de acesso, número de instâncias, número de usuários e requisitos de memória. Antes de projetar a soluções, esses limites devem ser entendidos.

Próximo: Melhores práticas para excelência operacional

Consulte Melhores práticas para excelência operacional.