Excelência operacional para o data lakehouse
Os princípios arquitetônicos do pilar de excelência operacional abrangem todos os processos operacionais que mantêm o site lakehouse em funcionamento. A excelência operacional aborda a capacidade de operar a lakehouse de forma eficiente e discute como operar, gerenciar e monitorar a lakehouse para fornecer valor comercial.
Princípios de excelência operacional
-
Otimize os processos de criação e lançamento
Use as práticas recomendadas de engenharia de software em todo o seu ambiente de lakehouse. Construir e lançar usando o pipeline de integração contínua (CI) e entrega contínua (CD) para DevOps e MLOps.
-
Automatize implantações e cargas de trabalho
A automação de implementações e cargas de trabalho para a lakehouse ajuda a padronizar esses processos, eliminar erros humanos, melhorar a produtividade e proporcionar maior repetibilidade. Isso inclui o uso de "configuração como código" para evitar desvios de configuração e "infraestrutura como código" para automatizar o provisionamento de todos os serviços de nuvem e lakehouse necessários.
Especificamente para ML, os processos devem conduzir à automação: nem todas as passos de um processo podem ou devem ser automatizadas. As pessoas ainda determinam as questões de negócios e alguns modelos sempre precisarão de supervisão humana antes da implantação. Portanto, o processo de desenvolvimento é primário e cada módulo do processo deve ser automatizado conforme necessário. Isso permite a criação incremental de automação e personalização.
-
Configure o monitoramento, os alertas e o registro
As cargas de trabalho no site lakehouse normalmente integram o serviço da plataforma Databricks e o serviço de nuvem externa, por exemplo, como fonte de dados ou alvos. A execução bem-sucedida só pode ocorrer se cada serviço da cadeia de execução estiver funcionando adequadamente. Quando esse não é o caso, o monitoramento, os alertas e o registro são importantes para detectar e rastrear problemas e entender o comportamento do sistema.
-
capacidade gerencial e cotas
Para qualquer serviço lançado em uma nuvem, considere os limites em account, por exemplo, limites de taxa de acesso, número de instâncias, número de usuários e requisitos de memória. Antes de projetar uma solução, esses limites devem ser compreendidos.