Genie ZeroOps

info

Visualização

Esse recurso está em Prévia privada. Para experimentar, fale com o seu contato no Databricks.

O Genie ZeroOps é um agente em segundo plano que monitora seus jobs, pipelines e tabelas, detecta falhas e problemas de qualidade de dados, identifica a causa raiz e propõe uma correção. Ele faz parte da família Genie de experiências de IA no Databricks.

Para configurar o Genie ZeroOps e trabalhar com as percepções que ele gera, consulte Comece a usar o Genie ZeroOps.

O que o Genie ZeroOps faz

As equipes de dados gastam um tempo significativo encontrando a origem de uma falha ou de um problema de qualidade de dados. Um job falha, uma tabela fica obsoleta ou uma alteração de esquema upstream quebra uma tabela downstream, e um engenheiro rastreia o problema através da linhagem, gráficos de pipeline e logs de execução para entender o que aconteceu.

O Genie ZeroOps faz esse trabalho para você. Ele está em execução em segundo plano nos ativos pelos quais você é responsável, seguindo quatro passos para ajudá-lo a encontrar e corrigir problemas:

1. Detecção : Encontra jobs e pipelines com falha, jobs que são bem-sucedidos, mas produzem tabelas obsoletas ou incompletas, e tabelas que estão obsoletas ou com dados ausentes.
2. Análise de causa raiz : Para cada problema, identifica a causa subjacente, como uma alteração de código, uma alteração de esquema ou uma falha upstream.
3. Análise de impacto : Mostra os ativos downstream que um problema afeta, para que você possa priorizar os problemas mais importantes.
4. Resolução : Propõe uma correção e Link você à origem, como os Notebooks, onde você faz a alteração.

Como funciona

Você configura o Genie ZeroOps em um workspace e seleciona o que ele monitora, como os jobs ou esquemas que você possui. Ele pode monitorar os jobs, pipelines e tabelas nos quais você tem permissão OWNER, CAN MANAGE ou CAN VIEW. Você pode alterar este escopo a qualquer momento.

O Genie ZeroOps agrupa suas descobertas em percepções . Uma percepção descreve um único problema e sua causa raiz compartilhada. Se uma causa raiz afetar vários ativos, o Genie ZeroOps os agrupa em uma percepção em vez de relatar cada um separadamente. As percepções aparecem em uma caixa de entrada, onde você as revisa, segue a correção proposta e as rastreia até a resolução.

Cada percepção contém:

• Uma descrição do que foi detectado.
• A causa raiz do problema.
• Os ativos downstream que o problema afeta.
• Uma correção proposta e um Link para a fonte onde você faz a alteração.

Processamento de dados

Ao selecionar os ativos para o Genie ZeroOps monitorar, você está escolhendo que o Databricks os processe usando um modelo de linguagem grande de forma contínua e autônoma até que você desative o Genie ZeroOps.

O Genie ZeroOps é alimentado pela Anthropic no Databricks, que utiliza Endpoint hospedados pelo Databricks dentro do perímetro de segurança do Databricks.

Permissões e visibilidade

Você deve ter pelo menos permissão CAN VIEW em um ativo para ver percepções sobre ele. Estas são as mesmas permissões necessárias para configurar o Genie ZeroOps, e outros usuários não podem ver percepções de ativos para os quais não possuem permissão.

Quando você pode view uma percepção, mas não o ativo que o Genie ZeroOps identifica como a causa raiz, o Genie ZeroOps mascara a informação à qual você não tem acesso. Em vez de nomear o ativo upstream, ele informa que um Job ou pipeline upstream falhou.

Barreiras de segurança

O Genie ZeroOps não altera dados ou código de produção sem revisão humana. Ele propõe correções e fornece links para a origem, mas você gera a correção por conta própria, ou solicitando ao Genie Code, e então a aprova através do seu fluxo de trabalho regular.

Limitações

• Ao configurar o Genie ZeroOps, a configuração e o monitoramento resultantes para percepções são apenas para sua account. As percepções não são compartilhadas com outros usuários em seu Workspace e não podem ser reatribuídas a outros para view ou acompanhamento.
• O Genie ZeroOps monitora jobs, pipelines e tabelas. Ele não monitora outros tipos de ativos, como modelos ou aplicativos.
• O Genie ZeroOps detecta falhas de jobs e pipelines e problemas de qualidade de dados. Ele não detecta regressões de desempenho ou de custo.
• O Genie ZeroOps não valida correções em um sandbox de produção.
• O Genie ZeroOps opera no nível do workspace, não no nível da account.
• O Genie ZeroOps não está em conformidade com a HIPAA.
• Embora o Private Preview do Genie ZeroOps seja gratuito, a detecção de problemas de qualidade de dados em suas tabelas requer monitoramento da qualidade de dados, que o Databricks fatura separadamente conforme os preços padrão.