Genie ZeroOps

info

Visualização

Esse recurso está em Prévia privada. Para experimentar, fale com o seu contato no Databricks.

O Genie ZeroOps é um agente em segundo plano que monitora seus jobs, pipelines e tabelas, detecta falhas e problemas de qualidade de dados, identifica a causa raiz e propõe uma correção. Ele faz parte da família de experiências de Genie AI do Databricks. Diferentemente do Genie Code, que responde quando você envia um prompt, o Genie ZeroOps está em execução continuamente sem um prompt e apresenta problemas para que você tome providências.

Para configurar o Genie ZeroOps e trabalhar com as percepções que ele gera, consulte Comece a usar o Genie ZeroOps.

O que o Genie ZeroOps faz

As equipes de dados gastam um tempo significativo encontrando a origem de uma falha ou de um problema de qualidade de dados. Um job falha, uma tabela fica obsoleta ou uma alteração de esquema upstream quebra uma tabela downstream, e um engenheiro rastreia o problema através da linhagem, gráficos de pipeline e logs de execução para entender o que aconteceu.

O Genie ZeroOps faz esse trabalho para você. Ele está em execução em segundo plano nos ativos pelos quais você é responsável, seguindo os três passos para ajudá-lo a encontrar e corrigir problemas:

1. Detecção : Encontra jobs e pipelines com falha, jobs que são bem-sucedidos, mas produzem tabelas obsoletas ou incompletas, e tabelas que estão obsoletas ou com dados ausentes.
2. Análise de causa raiz : Para cada problema, identifica a causa subjacente, como uma alteração de código, uma alteração de esquema ou uma falha upstream.
3. Resolução : propõe uma correção e vincula você à origem, como o notebook, onde você faz a alteração. Para um Job que faz a execução de código de um repositório Git, o Genie ZeroOps também pode realizar o push da correção para uma nova Branch quando você solicitar, para que você possa abrir um pull request.

Como o Genie ZeroOps monitora ativos e fornece percepções

Você configura o Genie ZeroOps em um workspace e seleciona o que ele monitora, como os jobs ou schemas que você possui. Ele pode monitorar os jobs, pipelines e tabelas sobre os quais você tem permissão de OWNER (Proprietário), CAN MANAGE (Pode gerenciar) ou CAN VIEW (Pode visualizar). Você pode alterar esse escopo a qualquer momento.

O Genie ZeroOps apresenta resultados como percepções . As percepções aparecem em uma caixa de entrada, onde você os analisa, segue a correção proposta e marca as percepções como resolvidos. Você também pode configurar notificações para novas percepções.

Cada percepção contém:

• Uma descrição do que foi detectado.
• A causa raiz do problema.
• Uma correção proposta e um Link para a fonte onde você faz a alteração.

Integração do Git

Um Job pode executar códigos de um Git repositório por meio de uma fonte Git ou de um pacote implantado a partir do Git. Quando um Job desse tipo falha, o Genie ZeroOps lê o repository para encontrar a causa raiz. Quando a correção é uma alteração de código, o Genie ZeroOps prepara a alteração. Quando você faz uma pergunta, a alteração é enviada para um novo branch para que você possa abrir uma solicitação pull. Consulte Criar uma solicitação de pull a partir de uma correção.

O Genie ZeroOps lê o repository com sua credencial Git. Para adicionar uma credencial Git, consulte Adicionar credenciais Git.

Processamento de dados

Quando você seleciona os ativos para o Genie ZeroOps monitorar, você está escolhendo que o Databricks os processe usando um modelo de linguagem grande de forma contínua e autônoma até que você desabilite o Genie ZeroOps. Para um Job que realiza a execução de código de um repository Git, os dados que o Genie ZeroOps processa incluem o conteúdo do repository. Durante as investigações, o Genie ZeroOps também pode query tabelas que você tem permissão para acessar.

O Genie ZeroOps é alimentado por modelos da Anthropic e da OpenAI no Databricks, usando Endpoint hospedados pelo Databricks dentro do perímetro de segurança do Databricks.

Permissões e visibilidade

O Genie ZeroOps produz percepções apenas para ativos aos quais o usuário de configuração tem acesso. Por default, essas percepções são visíveis apenas para o usuário que configura o Genie ZeroOps.

Você pode compartilhar sua configuração do Genie ZeroOps com outros usuários em seu workspace para que eles possam trabalhar em suas percepções. Os usuários com os quais você compartilha veem os trechos de código, correções sugeridas e linhas de dados de exemplo incluídas nessas percepções, mesmo que não tenham acesso aos ativos subjacentes. Veja Compartilhar sua configuração do Genie ZeroOps.

Barreiras de segurança

O Genie ZeroOps não altera dados ou códigos de produção sem revisão humana. Ele propõe correções e Link você à fonte, e você mesmo aplica a correção, solicita ao Genie Code ou, para jobs de execução de código de um repositório Git, pede ao Genie ZeroOps para fazer push.

Para um Job que executa código de um repository Git, o Genie ZeroOps não grava em seu repository em segundo plano. Ele faz push de uma correção apenas depois que você solicita explicitamente e confirma o push. O Genie ZeroOps faz o commit da correção e faz o push para um novo branch. Ele fornece um link para abrir uma solicitação pull em seu provedor Git, e a alteração passa por seu processo de revisão normal.

Limitações

• Quando você configura o Genie ZeroOps, a configuração resultante pertence à sua account. Você pode compartilhar com até 25 usuários individuais do Workspace para que eles possam trabalhar em suas percepções. Você não pode compartilhar com grupos ou Service Principal. Veja Compartilhar sua configuração do Genie ZeroOps.
• O Genie ZeroOps monitora jobs, pipelines e tabelas. Ele não monitora outros tipos de ativos, como modelos ou aplicativos.
• O Genie ZeroOps detecta falhas de jobs e pipelines e problemas de qualidade de dados. Ele não detecta regressões de desempenho ou de custo.
• O Genie ZeroOps opera no nível do workspace, não no nível da account.
• O Genie ZeroOps não está em conformidade com a HIPAA.
• Embora o Private Preview do Genie ZeroOps seja gratuito, a detecção de problemas de qualidade de dados em suas tabelas requer monitoramento da qualidade de dados, que o Databricks fatura separadamente conforme os preços padrão.