Genie ZeroOps

info

Beta

Este recurso está em Beta. Para usá-lo, um administrador de workspace deve ativar o Genie ZeroOps na página Prévias . Consulte Gerenciar prévias do Databricks.

O Genie ZeroOps é um agente em segundo plano que monitora seus jobs, pipelines e tabelas, detecta falhas e problemas de qualidade de dados, identifica a causa raiz e propõe uma correção. Ele faz parte da família de experiências de Genie AI do Databricks. Diferentemente do Genie Code, que responde quando você envia um prompt, o Genie ZeroOps está em execução continuamente sem um prompt e apresenta problemas para que você tome providências.

Para configurar o Genie ZeroOps e trabalhar com as percepções que ele gera, consulte Comece a usar o Genie ZeroOps.

O que o Genie ZeroOps faz

As equipes de dados gastam um tempo significativo encontrando a origem de uma falha ou de um problema de qualidade de dados. Um job falha, uma tabela fica obsoleta ou uma alteração de esquema upstream quebra uma tabela downstream, e um engenheiro rastreia o problema através da linhagem, gráficos de pipeline e logs de execução para entender o que aconteceu.

O Genie ZeroOps faz esse trabalho para você. Ele está em execução em segundo plano nos ativos pelos quais você é responsável, seguindo os três passos para ajudá-lo a encontrar e corrigir problemas:

1. Detecção : Encontra jobs e pipelines com falha, jobs que são bem-sucedidos, mas produzem tabelas obsoletas ou incompletas, e tabelas que estão obsoletas ou com dados ausentes.
2. Análise de causa raiz : Para cada problema, identifica a causa subjacente, como uma alteração de código, uma alteração de esquema ou uma falha upstream.
3. Resolução : propõe uma correção e Link você à fonte, como o notebook, onde você faz a alteração. Para um Job que faz execução de código de um repositório Git, o Genie ZeroOps também pode fazer push da correção quando você solicitar, para uma nova Branch ou para uma Branch que você nomear, para que você possa abrir uma pull request.

Como o Genie ZeroOps monitora ativos e fornece percepções

Você configura o Genie ZeroOps em um workspace e seleciona o que ele monitora, como os jobs ou schemas que você possui. Ele pode monitorar os jobs, pipelines e tabelas sobre os quais você tem permissão de OWNER (Proprietário), CAN MANAGE (Pode gerenciar) ou CAN VIEW (Pode visualizar). Você pode alterar esse escopo a qualquer momento.

O Genie ZeroOps apresenta resultados como percepções . As percepções aparecem em uma caixa de entrada, onde você os analisa, segue a correção proposta e marca as percepções como resolvidos. Você também pode configurar notificações para novas percepções.

Cada percepção contém:

• Uma descrição do que foi detectado.
• A causa raiz do problema.
• Uma correção proposta e um Link para a fonte onde você faz a alteração.

Notificações

O Genie ZeroOps pode notificá-lo quando uma percepção aparecer pela primeira vez em sua caixa de entrada. Ele é compatível com vários tipos de destino, como Slack e PagerDuty. Consulte Configurar notificações.

nota

As notificações enviam informações para sistemas fora do Databricks e contêm texto gerado por AI com os detalhes das percepções. As cópias armazenadas em sistemas externos estão fora dos controles de retenção e exclusão do Databricks.

Integração do Git

Um job pode executar código de um repositório Git por meio de uma fonte Git ou de um bundle implantado a partir do Git. Quando um job desse tipo falha, o Genie ZeroOps lê o repository para encontrar a causa raiz. Quando a correção é uma alteração de código, o Genie ZeroOps prepara a alteração. Quando você solicita, ele envia a alteração para uma nova branch ou para uma branch que você nomear, para que possa abrir uma pull request. Consulte Criar uma pull request a partir de uma correção.

O Genie ZeroOps lê o repository com sua credencial Git. Para adicionar uma credencial Git, consulte Adicionar credenciais Git.

Processamento de dados

Quando você seleciona os ativos para o Genie ZeroOps monitorar, você está escolhendo que o Databricks os processe usando um modelo de linguagem grande de forma contínua e autônoma até que você desabilite o Genie ZeroOps. Para um Job que realiza a execução de código de um repository Git, os dados que o Genie ZeroOps processa incluem o conteúdo do repository. Durante as investigações, o Genie ZeroOps também pode query tabelas que você tem permissão para acessar.

O Genie ZeroOps é alimentado por modelos da Anthropic e da OpenAI no Databricks, usando Endpoint hospedados pelo Databricks dentro do perímetro de segurança do Databricks.

Antes que uma notificação inclua o título ou resumo de uma percepção, o Genie ZeroOps verifica esse texto em busca de informações confidenciais, como nomes e endereços de email, e mascara o que encontrar. Esta verificação segue a configuração de processamento cross-Geo do workspace. Se um administrador de Workspace desabilitar Impor o processamento de dados na área geográfica do Workspace para serviços designados , a verificação poderá ser uma execução nos Estados Unidos.

Permissões e visibilidade

O Genie ZeroOps produz percepções apenas para ativos aos quais o usuário de configuração tem acesso. Por default, essas percepções são visíveis apenas para o usuário que configura o Genie ZeroOps.

Você pode compartilhar sua configuração do Genie ZeroOps com outros usuários em seu workspace para que eles possam trabalhar em suas percepções. Os usuários com os quais você compartilha veem os trechos de código, correções sugeridas e linhas de dados de exemplo incluídas nessas percepções, mesmo que não tenham acesso aos ativos subjacentes. Veja Compartilhar sua configuração do Genie ZeroOps.

Barreiras de segurança

O Genie ZeroOps não altera dados ou código de produção a menos que você aprove a alteração. Ele propõe correções e fornece links para a fonte, e você mesmo aplica a correção, solicita ao Genie Code ou, para jobs que executam código de um repositório Git, pede ao Genie ZeroOps para enviá-la.

Para um Job que execução código de um repository Git, o Genie ZeroOps não grava no repository em segundo plano. Ele envia uma correção somente depois que você solicita explicitamente e confirma o envio. O Genie ZeroOps então faz o commit da correção e a envia para uma nova branch ou para a branch que você nomear. O push adiciona um novo commit em vez de forçar o push, por isso ele não reescreve a história de uma branch existente. O Genie ZeroOps fornece um link para abrir um pull request em seu provedor Git, para que a alteração possa passar pelo seu processo de revisão normal.

atenção

Se você nomear a branch default do seu repository, o Genie ZeroOps fará o commit da correção diretamente nessa branch e a alteração ignorará a revisão do pull request. Para exigir uma revisão, configure regras de proteção de branch em seu provedor Git que bloqueiem pushes diretos para a branch default.

Limitações

• Quando você configura o Genie ZeroOps, a configuração resultante pertence à sua account. Você pode compartilhar com até 25 usuários individuais do Workspace para que eles possam trabalhar em suas percepções. Você não pode compartilhar com grupos ou Service Principal. Veja Compartilhar sua configuração do Genie ZeroOps.
• O Genie ZeroOps monitora jobs, pipelines e tabelas. Ele não monitora outros tipos de ativos, como modelos ou aplicativos.
• O Genie ZeroOps detecta falhas de jobs e pipelines e problemas de qualidade de dados. Ele não detecta regressões de desempenho ou de custo.
• O Genie ZeroOps opera no nível do workspace, não no nível da account.
• O Genie ZeroOps não está em conformidade com a HIPAA.
• A detecção de problemas de qualidade de dados nas suas tabelas requer um monitoramento de qualidade de dados cobrado separadamente.