Genie ZeroOps

info

Visualização

Esse recurso está em Prévia privada. Para experimentar, fale com o seu contato no Databricks.

O Genie ZeroOps é um agente em segundo plano que monitora seus jobs, pipelines e tabelas, detecta falhas e problemas de qualidade de dados, identifica a causa raiz e propõe uma correção. Ele faz parte da família de experiências de Genie AI do Databricks. Diferentemente do Genie Code, que responde quando você envia um prompt, o Genie ZeroOps está em execução continuamente sem um prompt e apresenta problemas para que você tome providências.

Para configurar o Genie ZeroOps e trabalhar com as percepções que ele gera, consulte Comece a usar o Genie ZeroOps.

O que o Genie ZeroOps faz

As equipes de dados gastam um tempo significativo encontrando a origem de uma falha ou de um problema de qualidade de dados. Um job falha, uma tabela fica obsoleta ou uma alteração de esquema upstream quebra uma tabela downstream, e um engenheiro rastreia o problema através da linhagem, gráficos de pipeline e logs de execução para entender o que aconteceu.

O Genie ZeroOps faz esse trabalho para você. Ele está em execução em segundo plano nos ativos pelos quais você é responsável, seguindo quatro passos para ajudá-lo a encontrar e corrigir problemas:

1. Detecção : Encontra jobs e pipelines com falha, jobs que são bem-sucedidos, mas produzem tabelas obsoletas ou incompletas, e tabelas que estão obsoletas ou com dados ausentes.
2. Análise de causa raiz : Para cada problema, identifica a causa subjacente, como uma alteração de código, uma alteração de esquema ou uma falha upstream.
3. Análise de impacto : Mostra os ativos downstream que um problema afeta, para que você possa priorizar os problemas mais importantes.
4. Resolução : propõe uma correção e vincula você à origem, como o notebook, onde você faz a alteração. Para um Job que faz a execução de código de um repositório Git, o Genie ZeroOps também pode realizar o push da correção para uma nova Branch quando você solicitar, para que você possa abrir um pull request.

Como o Genie ZeroOps monitora ativos e fornece percepções

Você configura o Genie ZeroOps em um workspace e seleciona o que ele monitora, como os jobs ou esquemas que você possui. Ele pode monitorar os jobs, pipelines e tabelas nos quais você tem permissão OWNER, CAN MANAGE ou CAN VIEW. Você pode alterar este escopo a qualquer momento.

O Genie ZeroOps agrupa suas descobertas em percepções . Uma percepção descreve um único problema e sua causa raiz compartilhada. Se uma causa raiz afetar vários ativos, o Genie ZeroOps os agrupa em uma percepção em vez de relatar cada um separadamente. As percepções aparecem em uma caixa de entrada, onde você as revisa, segue a correção proposta e as rastreia até a resolução.

Cada percepção contém:

• Uma descrição do que foi detectado.
• A causa raiz do problema.
• Os ativos downstream que o problema afeta.
• Uma correção proposta e um Link para a fonte onde você faz a alteração.

Integração do Git

Um Job pode executar códigos de um Git repositório por meio de uma fonte Git ou de um pacote implantado a partir do Git. Quando um Job desse tipo falha, o Genie ZeroOps lê o repository para encontrar a causa raiz. Quando a correção é uma alteração de código, o Genie ZeroOps prepara a alteração. Quando você faz uma pergunta, a alteração é enviada para um novo branch para que você possa abrir uma solicitação pull. Consulte Criar uma solicitação de pull a partir de uma correção.

O Genie ZeroOps lê o repository com sua credencial Git. Para adicionar uma credencial Git, consulte Adicionar credenciais Git.

Processamento de dados

Ao selecionar os ativos para o Genie ZeroOps monitorar, você está optando por fazer com que o Databricks os processe usando um modelo de linguagem grande de forma contínua e autônoma até que você desative o Genie ZeroOps. Para um Job que executa código de um repository Git, os dados que o Genie ZeroOps processa incluem o conteúdo do repository.

O Genie ZeroOps é alimentado pela Anthropic no Databricks, que utiliza Endpoint hospedados pelo Databricks dentro do perímetro de segurança do Databricks.

Permissões e visibilidade

Você deve ter pelo menos permissão CAN VIEW em um ativo para ver percepções sobre ele. Estas são as mesmas permissões necessárias para configurar o Genie ZeroOps, e outros usuários não podem ver percepções de ativos para os quais não possuem permissão.

Quando você pode view uma percepção, mas não o ativo que o Genie ZeroOps identifica como a causa raiz, o Genie ZeroOps mascara a informação à qual você não tem acesso. Em vez de nomear o ativo upstream, ele informa que um Job ou pipeline upstream falhou.

Barreiras de segurança

O Genie ZeroOps não altera dados ou códigos de produção sem revisão humana. Ele propõe correções e Link você à fonte, e você mesmo aplica a correção, solicita ao Genie Code ou, para jobs de execução de código de um repositório Git, pede ao Genie ZeroOps para fazer push.

Para um Job que executa código de um repository Git, o Genie ZeroOps não grava em seu repository em segundo plano. Ele faz push de uma correção apenas depois que você solicita explicitamente e confirma o push. O Genie ZeroOps faz o commit da correção e faz o push para um novo branch. Ele fornece um link para abrir uma solicitação pull em seu provedor Git, e a alteração passa por seu processo de revisão normal.

Limitações

• Ao configurar o Genie ZeroOps, a configuração e o monitoramento resultantes para percepções são apenas para sua account. As percepções não são compartilhadas com outros usuários em seu Workspace e não podem ser reatribuídas a outros para view ou acompanhamento.
• O Genie ZeroOps monitora jobs, pipelines e tabelas. Ele não monitora outros tipos de ativos, como modelos ou aplicativos.
• O Genie ZeroOps detecta falhas de jobs e pipelines e problemas de qualidade de dados. Ele não detecta regressões de desempenho ou de custo.
• O Genie ZeroOps não valida correções em um sandbox de produção.
• O Genie ZeroOps opera no nível do workspace, não no nível da account.
• O Genie ZeroOps não está em conformidade com a HIPAA.
• Embora o Private Preview do Genie ZeroOps seja gratuito, a detecção de problemas de qualidade de dados em suas tabelas requer monitoramento da qualidade de dados, que o Databricks fatura separadamente conforme os preços padrão.