Pular para o conteúdo principal
Última atualização em

Capturar telemetria para o Lakehouse

info

Beta

Esse recurso está em Beta. Administradores do Workspace podem controlar o acesso a este recurso na página **Pré-visualizações**. Consulte Gerenciar prévias do Databricks.

Tanto o percepções quanto o Genie dependem de uma configuração de observabilidade : um objeto que está acima de projetos individuais. Isso é proposital: anexar uma configuração a vários projetos permite reutilizar uma única configuração e permite que o percepções mostre descobertas em todos eles em uma lista em todo o Workspace, em vez de cada proprietário de projeto configurar o seu próprio do zero.

Para o que as Percepções e o Genie fazem com a telemetria depois que ela está fluindo, veja Solução de problemas assistida por IA.

Pré-requisitos​

  • Um projeto de Lakebase Autoscaling na AWS ou no Azure. Consulte Obter um banco de dados Postgres.
  • Um catálogo e um esquema do Unity Catalog para receber telemetria. O esquema já deve existir, e o catálogo não pode usar Default storage .
  • Uma decisão sobre a **identidade que executa a exportação de telemetria**. O Lakebase grava telemetria no Unity Catalog como esta identidade, então ele determina em quais catálogos e esquemas de destino a exportação pode gravar e onde a pasta Workspace de resultados de percepções é salva. Decida antes de começar: um service principal compartilhado é a escolha durável para uma configuração que você reutilizará ou marcará como default, enquanto suas próprias credenciais de usuário são mais rápidas para testes. Você o configura no Passo 1, e se você usar um service principal, ele precisa das permissões em Conceder acesso ao service principal.

Conceder ao service principal acesso​

Se você escolher **Usar service principal** como a identidade no Passo 1, conceda ao principal as permissões abaixo antes de depender da configuração. Eles são independentes, e cada um é concedido em um lugar diferente. A configuração salva independentemente de estarem no lugar ou não, e se algo estiver faltando, a telemetria nunca é gravada silenciosamente e nenhuma percepção é gerada, sem nenhum erro para indicar a causa. Se uma configuração que você configurou não produzir telemetria, verifique cada uma delas aqui primeiro.

Conceda acesso de CAN USE e ao Workspace em Settings > Identity and access > Service principals e então selecione o principal.

Acesso ao Workspace​

Na **tab** **Configurações** do principal, em **Direitos**,selecione **Acesso ao Workspace**. Isso permite que a Service Principal atue no Workspace. Sem isso, o Lakebase grava a telemetria como uma identidade que não pode fazer nada, então cada tabela de telemetria permanece vazia mesmo quando todo o resto está configurado corretamente.

Administrador do workspace​

Adicione o Service Principal ao grupo de **administradores** do Workspace. Em **Configurações > Identidade e acesso > Grupos**, abra o grupo de **administradores** e adicione o principal como membro. O agente em segundo plano atualmente requer acesso de administrador para gravar telemetria e gerar percepções. Sem isso, o pipeline executa, mas não produz nada.

nota

A exigência de acesso de administrador é uma restrição atual da versão Beta e pode ser atenuada em uma versão posterior. Conceda-o por enquanto para que a telemetria e as percepções funcionem.

PODE USAR na Service Principal​

Na tab Permissões do principal, conceda CAN USE. É isso que permite que você selecione o principal no assistente de configuração. Criar ou gerenciar um Service Principal concede CAN MANAGE, o que não inclui CAN USE, então você precisa concedê-lo explicitamente. Consulte Funções para gerenciar Service Principal.

Privilégios do Unity Catalog no destino​

Conceda ao service principal os privilégios de que ele precisa para criar e gravar as tabelas de telemetria no catálogo e esquema de destino:

  • USE CATALOG no catálogo
  • USE SCHEMA no esquema
  • CREATE TABLE no esquema

Você pode concedê-los no Catalog Explorer ou com SQL:

SQL
GRANT USE CATALOG ON CATALOG <catalog> TO `<service-principal-id>`;
GRANT USE SCHEMA ON SCHEMA <catalog>.<schema> TO `<service-principal-id>`;
GRANT CREATE TABLE ON SCHEMA <catalog>.<schema> TO `<service-principal-id>`;

Crie a configuração​

Abra o assistente de um dos dois locais:

  • Em **Lakebase** > **Percepções** > **Gerenciar configurações** > **Adicionar nova configuração**
  • Nas próprias Settings do projeto > Observability config > Create new config

Ambos abrem o mesmo assistente. Conclua seus três passos em ordem, clicando em Avançar entre eles.

Passo 1: Configurar​

Nomeie a configuração e selecione onde sua telemetria será direcionada. Duas opções aqui merecem uma pausa:

  • Esta configuração default para novos projetos atribui automaticamente essa configuração a cada novo projeto criado no workspace, sem ação do criador do projeto. Ative-o apenas quando você quiser um default para todo o workspace. Caso contrário, desative-o e atribua a configuração a projetos específicos no Passo 3.
  • Identidade (em Autorizar Lakebase a gravar seus dados) é a account que o Lakebase usa para gravar telemetria. Use Service Principal é a escolha duradoura: não depende da account de uma única pessoa, então é ideal para uma configuração que você compartilhará entre projetos ou marcar como default. Usar credenciais de nível de usuário é mais rápido para testar por conta própria. Ele depende das suas permissões existentes, então não há principal para provisionar, mas é limitado ao seu acesso e não deve sobreviver ao seu teste.

Se você selecionar **Use Service Principal**, ela deve ter as permissões descritas em Conceder acesso à Service Principal. Somente os administradores do workspace podem selecionar um Service Principal. Outros usuários selecionam **Usar credenciais no nível do usuário**.

Em Enviar telemetria para o Unity Catalog , escolha o Catálogo e o Esquema em que as tabelas são gravadas e, opcionalmente, um prefixo de tabela. Você está escolhendo um destino, não projetando um: o Lakebase cria as tabelas listadas em Como funciona na primeira vez que grava telemetria. O esquema já deve existir, e o catálogo **não pode usar o armazenamento default**. Como **Usar armazenamento padrão** é selecionado por default quando você cria um catálogo no Catalog Explorer, certifique-se de desmarcá-lo para o catálogo que você usa aqui.

Passo 2: Habilitar percepções​

Certifique-se de que **Habilitar percepções** esteja ativado. É o que faz a execução do agente de percepções em segundo plano. Sem isso, uma configuração grava a telemetria no Unity Catalog, mas não exibe nada proativamente. Dois campos relacionados aparecem:

  • Instruções é um texto livre que o agente lê antes de cada passagem de análise, por exemplo, "Não gere percepções sobre o tamanho da tabela." Trate-o como orientação, não como um filtro garantido: como qualquer instrução dada a um LLM, geralmente é seguida, não estritamente aplicada.
  • **Frequência de análise** controla a frequência com que as Percepções raciocinam sobre sua telemetria (por exemplo, a cada hora). Isso é separado da rapidez com que a telemetria bruta chega ao Unity Catalog, o que acontece continuamente, independentemente.

Os entendimentos salvam seus achados em um **local do Workspace**, distinto do destino do Unity Catalog acima: a telemetria bruta é gravada como tabelas Delta, mas os entendimentos em si são arquivos em seu próprio Databricks Workspace.

Passo 3: Atribuir a projetos​

Selecione os projetos do Lakebase aos quais esta configuração se aplica e, em seguida, salve.

Após salvar, confirme se o compute está em execução. Se você habilitou a observabilidade em uma instância que já estava em execução, reinicie a instância para que a alteração tenha efeito. Durante a versão Beta, a telemetria não começa a fluir em uma instância já em execução até que ela seja reiniciada.

Próximos passos​

Nesta página