Pular para o conteúdo principal

Criar um analisador personalizado

info

Beta

O Lakewatch está em Beta. Os administradores do Workspace podem controlar o acesso a esse recurso na página Pré-visualizações . Consulte Gerenciar prévias em nível de workspace.

O Lakewatch fornece analisadores integrados para fontes de logs de segurança comuns. Escreva um analisador personalizado quando ingerir uma fonte que nenhum analisador integrado cobre, ou quando quiser personalizar as colunas, validadores ou observáveis que um analisador integrado produz.

Um analisador é uma especificação com versão que descreve as colunas de saída de uma fonte de log. Você o cria no editor de analisador no modo IU ( um construtor guiado de apontar e clicar) ou no modo YAML , e ele é criado no seu ambiente atual do Lakewatch. Para a sintaxe completa (atributos de campo, tipos, Timestamp, validadores e observáveis), consulte a referência do analisador.

Abrir o editor do parser​

Na barra lateral do Lakewatch, selecione Analisadores e, em seguida, selecione Criar analisador . A lista de analisadores também mostra todos os analisadores integrados e personalizados em seu ambiente, com seu tipo, fontes de dados anexadas e versão mais recente.

Para começar a partir de um analisador integrado em vez de um em branco, encontre-o na lista, abra o seu menu de ações ⋮ e selecione Clone . A clonagem copia a definição para um novo analisador personalizado editável (versão 1) e deixa o analisador integrado inalterado.

Definir o analisador​

Na página Adicionar novo parser , dê ao parser um Nome do parser e uma Descrição opcional. O nome não pode conter espaços, pontos ou barras forward, e deve ser único na pasta da fonte de dados default.

Construa as colunas de saída em Campos & Observáveis , no modo UI ou YAML . Você pode alternar entre eles a qualquer momento.

Escolha dados de exemplo​

Selecione Escolher dados de exemplo e escolha os registros brutos para os quais este analisador se destina, para que os campos venham de dados reais. Você pode fazer uma amostragem de uma Fonte de dados , Local externo , Volume ou Tabela .

Com os dados de amostra escolhidos, você pode opcionalmente selecionar Criar analisador com o Genie : o Genie lê a amostra e rascunha o tempo e os campos do evento para você revisar e ajustar.

A inferência precisa de um SQL warehouse selecionado na barra superior e acesso aos arquivos de amostra. Se a inferência falhar, o Lakewatch mostrará A inferência falhou ou atingiu o tempo limite. Verifique o acesso ao armazenamento e o seu warehouse, tente novamente com uma pasta mais restrita ou defina as opções de entrada manualmente.

Se você fizer a amostragem de um local amplo, a visualização mostra Esta raiz pode conter muitos arquivos ou formatos diferentes. Escolha um prefixo mais estreito quando possível. Uma pequena pré-visualização não limita quantos arquivos devem ser descobertos. Um local amplo pode levar mais tempo para ser visualizado.

Definir o tempo e os campos do evento​

  • Tempo de evento (obrigatório): o timestamp de cada evento. Cada analisador precisa de um antes de poder ser salvo. No YAML, este é o bloco time de nível superior (não é um campo), porque ele direciona o clustering e o desempenho da query. Veja Tempo do evento.
  • Campos : as colunas da tabela analisada e de onde cada uma é lida. Para cada campo, defina name, type e (quando a key de origem for diferente do nome da coluna) path; marque os campos que devem estar presentes com required: true; adicione validate para restringir um campo STRING e observables para extrair valores (como ip ou email) na coluna lw_observables compartilhada. Expresse objetos aninhados como VARIANT com fields interno e listas como ARRAY com um element.

Defina seus campos com cuidado. Durante a classificação, um evento corresponde apenas quando seus campos obrigatórios estão presentes, seus campos tipados convertem para os tipos declarados e todos os validadores passam. Um evento que não corresponde a nenhum analisador anexado é encaminhado para um sentinela de carta morta em vez de falhar no pipeline; portanto, um analisador muito rigoroso descarta silenciosamente os eventos.

Visualizar e salvar​

No painel Visualização de dados , selecione Visualizar para execução do analisador em seus dados de amostra e confirmar se as colunas, os tipos e os observáveis extraídos são o que você espera. Quando parecer correto, selecione Salvar . Salvar armazena a definição como versão 1, registra você como seu proprietário e cria o analisador no seu ambiente atual. Um documento de analisador tem no máximo 256 KB.

Anexar o analisador a uma fonte de dados​

Anexe o analisador personalizado a uma fonte de dados da mesma forma que você anexa um analisador integrado. Você pode anexar mais de um analisador a uma fonte de dados; os eventos recebidos são correspondidos na ordem de declaração e chegam no primeiro analisador correspondente. Veja Anexar analisadores.

Parameters.Name​

Após a execução da fonte de dados, confirme se o analisador se comporta conforme o esperado:

  • Faça uma query na tabela analisada para verificar se as colunas, tipos e observáveis extraídos correspondem ao que você definiu.
  • Verifique os eventos no sentinela de dead-letter. Os eventos vão para lá quando não correspondem a nenhum parser anexado: geralmente porque um campo required está faltando, um valor não é convertido para seu tipo declarado ou um validador falha.

Para refinar o analisador, edite-o e salve. A edição adiciona uma nova versão imutável; versões anteriores nunca são alteradas e os números de versão nunca são reutilizados. Uma nova versão mantém o nome do analisador e altera apenas a definição. Uma fonte de dados pin uma versão específica, portanto, atualize a fonte de dados para obter sua nova versão: consulte Alterar uma versão do analisador. Os dados analisados existentes não são reprocessados; a nova versão aplica-se aos eventos ingeridos após você salvar a alteração.

Recursos adicionais​