Tabela existente

info

Visualização

O Lakewatch está na Prévia privada. Para solicitar acesso, entre em contato com a equipe de account da Databricks.

Use o método de ingestão Tabela existente para ingerir uma tabela Delta ou view do Unity Catalog que já existe em seu workspace. O Lakewatch lê a tabela de origem diretamente e executa seus analisadores anexados sobre ela para produzir tabelas analisadas, em vez de copiar os dados.

nota

Você não precisa ingerir uma tabela para usá-la no Lakewatch. Se uma tabela do Unity Catalog já estiver pronta para consulta, você pode executar query e criar regras de detecção diretamente nela, sem criar uma fonte de dados. Use o método Tabela existente quando quiser que o Lakewatch execute parsers na fonte e produza tabelas analisadas normalizadas, com as colunas lw_id, lw_meta e lw_observables gerenciadas pelo Lakewatch.

Esta página é o guia completo para criar uma fonte de dados a partir de uma tabela existente. Para gerenciar uma fonte de dados após ela existir (editar configurações, alterar analisadores e monitoramento), consulte Criar e gerenciar fontes de dados.

A fonte pode ser uma tabela Delta gerenciada ou externa, uma tabela de transmissão, uma tabela Delta Sharing ou uma view que lê de uma única tabela upstream. Views que combinam várias tabelas (por exemplo, com UNION ALL) não são aceitas.

Criar origem de dados

Em Fontes de dados , clique em Adicionar fonte de dados e selecione Fonte de dados personalizada . Na página de criação, defina o Tipo de fonte como Tabela do Unity Catalog .

Preencha os seguintes campos no formulário de criação:

• Nome da fonte de dados: Introduza um nome único para a fonte de dados.
• Tabela ou view de origem: insira o nome totalmente qualificado da tabela ou view existente do Unity Catalog no formato catalog.schema.table ou clique no ícone de procura para selecionar uma. Depois de selecionar uma tabela, uma prévia dos dados mostra os dados para que você possa confirmar se escolheu a tabela certa.

Defina a identidade run-as para a fonte de dados. Expanda Configurações avançadas para configurar:

• Processar apenas novas linhas: Controla se o Lakewatch preenche retroativamente as linhas já presentes na tabela de origem. Ela é selecionada por default, portanto, o Lakewatch ingere apenas as linhas adicionadas após a criação da fonte de dados. Desmarque-a para ingerir também as linhas já presentes (um preenchimento retroativo que leva mais tempo em uma fonte grande) e continue com cada nova commit. Essa configuração só entra em vigor na primeira inicialização e não pode ser alterada após a criação. As tabelas do Delta Sharing não suportam leituras incrementais, portanto essa opção não se aplica a elas. O Lakewatch processa todas as linhas.
• Otimizado para desempenho: use compute otimizado para desempenho para ingestão mais rápida (ativado) ou compute padrão (desativado). Usa como default a configuração de ingestão-compute do workspace.

Você não pode alterar a tabela de origem após a criação da fonte de dados. Para alterá-la, recrie a fonte de dados.

nota

As query e regras de detecção que leem a fonte de dados têm melhor desempenho quando a tabela de origem é agrupada em clusters líquidos na coluna usada para time. Se não for, o Lakewatch exibirá um aviso durante a configuração. Se essa coluna for uma coluna TIMESTAMP ou TIMESTAMP_NTZ de nível superior, adicione o agrupamento diretamente na tabela de origem executando ALTER TABLE catalog.schema.my_source_table CLUSTER BY (my_time_column) em um notebook ou editor SQL, onde my_time_column é a coluna de tempo da tabela de origem. Consulte Ativar clustering líquido em tabelas existentes.

Se a coluna de tempo não for uma coluna de nível superior, não for do tipo TIMESTAMP ou TIMESTAMP_NTZ, ou se for derivada por uma expressão SQL, o clustering não poderá ser adicionado diretamente.

Anexe analisadores e crie a fonte de dados

1. Anexar analisadores. Anexe um ou mais analisadores para esquematizar os dados ingeridos: um analisador integrado que corresponda à sua fonte ou um que você tenha criado. Para saber como funciona a correspondência de analisadores e as colunas que eles produzem, consulte Anexar analisadores.
2. Crie a fonte de dados. Clique em Criar fonte de dados . A fonte de dados começa a ser executada imediatamente em seu programar de processamento; para pará-la, exclua a fonte de dados.

Você pode editar as outras configurações da fonte de dados (programar de processamento, compute e anotações) a qualquer momento na tab Visão geral após a criação. Consulte Configurar configurações de fonte de dados.

Ingerir logs de rastreamento do AI Gateway

O Rastreamento Unificado do AI Gateway registra solicitações de modelo e ferramenta (incluindo decisões de política e proteção, uso de tokens e identidade do solicitante) em uma tabela Delta do Unity Catalog (unity_gateway_otel_spans) de sua propriedade. Como é uma tabela padrão do Unity Catalog, você pode levá-la para o Lakewatch com o método Tabela existente e, em seguida, fazer query e executar regras de detecção em relação a ela.

1. Ativar rastreamento. Configure a tabela de rastreamento para o seu metastore na IU do AI Gateway. Veja a tabela de rastreamento unificada.
2. Crie a fonte de dados. Siga os passos acima, utilizando o nome totalmente qualificado da tabela de rastreamento como a Tabela ou view de origem .
3. Conceder acesso. A identidade run-as da fonte de dados deve ser capaz de ler a tabela de rastreamento e gravar no esquema de destino. Uma regra de detecção que você escreve em relação aos dados é executada sob sua própria identidade execução-as, que precisa do mesmo acesso.

Você também pode consultar a tabela de rastreamento diretamente na página de query ou a partir de uma regra de detecção, sem criar uma fonte de dados.