Pular para o conteúdo principal
Última atualização em

Armazenamento em cloud

info

Visualização

O Lakewatch está em Pré-visualização privada. Para solicitar acesso, entre em contato com a equipe da sua account Databricks.

Use o método de ingestão Armazenamento em cloud para ingerir arquivos de um armazenamento de objetos em cloud compatível. O Lakewatch lê a fonte com Auto Loader.

Esta página ensina como criar uma fonte de dados de armazenamento em cloud. Para gerenciar uma fonte de dados depois que ela existir, consulte Criar e gerenciar fontes de dados.

O Lakewatch ingere do Google Cloud Storage através de um volume do Unity Catalog ou local externo.

Pré-requisitos​

Antes de criar a fonte de dados, certifique-se de atender aos seguintes requisitos:

  • Origem no Unity Catalog: Configure seu armazenamento como um volume Unity Catalog ou local externo. Como o Unity Catalog governa o acesso à origem, este é o caminho recomendado. Para configuração, consulte Gerenciar locais externos.
  • Acesso Run-as à fonte: A identidade Run-as da fonte de dados deve ter permissão para ler a fonte: o privilégio READ FILES no local externo ou READ VOLUME no volume. Conceda isso no local externo ou volume no Unity Catalog, não na própria identidade. Para obter instruções, consulte Gerenciar locais externos ou Privilégios para volumes do Unity Catalog. O Lakewatch ingere como a identidade execução-as, não como sua account de usuário, portanto seu acesso individual em nível de account aos dados não é suficiente. O acesso à identidade herdado de um catálogo ou esquema pai, ou de um grupo, também satisfaz esse requisito.

Prepare seus dados para ingestão​

Cada fonte de dados do Lakewatch ingere a partir de um único diretório e lê todos os arquivos usando um formato de arquivo . Antes de criar uma fonte de dados, organize seu armazenamento na cloud para que cada diretório que você planeja ingerir contenha:

  • Um formato de arquivo : todos os arquivos devem ter o mesmo formato (por exemplo, todos JSON, todos Parquet ou todos CSV). Arquivos em formatos diferentes causam erros de análise.
  • Um tipo de fonte : Os arquivos devem vir do mesmo sistema de origem e compartilhar um esquema compatível (por exemplo, todos os logs do AWS CloudTrail ou todos os eventos de detecção do CrowdStrike). Pequenas variações de esquema dentro do mesmo formato são tratadas automaticamente, mas misturar esquemas fundamentalmente diferentes em um único diretório não é compatível.

Exemplo de estrutura de diretório:

Text
s3://my-security-bucket/
├── cloudtrail/           ← Datasource 1 (JSON)
│   ├── 2025/01/01/
│   │   ├── event1.json.gz
│   │   └── event2.json.gz
│   └── 2025/01/02/
│       └── event3.json.gz
├── vpc-flow-logs/        ← Datasource 2 (Parquet)
│   ├── region=us-east-1/
│   │   └── flowlogs.parquet
│   └── region=us-west-2/
│       └── flowlogs.parquet
└── waf-logs/             ← Datasource 3 (JSON)
    └── waf-events.json

Cada diretório de nível superior torna-se uma fonte de dados Lakewatch separada. Os subdiretórios são percorridos automaticamente, incluindo caminhos particionados no estilo Hive (como region=us-east-1/), que o Lakewatch detecta e mapeia como colunas de partição.

Criar a origem de dados​

Em Fontes de dados , clique em Adicionar fonte de dados e selecione Fonte de dados personalizada . Na página de criação, defina o Tipo de origem como o seu local de armazenamento e, em seguida, preencha os campos seguintes:

  • Nome da fonte de dados: Insira um nome exclusivo para a fonte de dados (por exemplo, Cloudflare_WAF).

  • Local dos dados: insira o caminho para o diretório que contém seus dados (por exemplo, s3://my-bucket/cloudtrail/, dbfs:/mnt/logs/ ou /Volumes/catalog/schema/volume/). O caminho deve apontar para um diretório, não para um arquivo individual. Para ingerir apenas arquivos que correspondam a um padrão, você pode incluir um padrão glob no caminho. Por exemplo, s3://my-bucket/logs/{2025,2026}/*.json.gz. Os caracteres suportados são *, ?, {, }, [ e ]. Para obter detalhes completos da sintaxe, consulte a documentação de filtragem de caminho do carregador automático do Databricks.

  • Formato do arquivo: o formato que o Lakewatch usa para analisar os dados de origem: JSON, JSONL, Parquet, CSV, XML ou texto. Clique em Inferir com Genie para que o Genie sugira o formato de uma amostra dos seus dados.

  • Ingestão de dados: escolha quanto da fonte ingerir. Esta escolha entra em vigor apenas na primeira começar.

    • Novos dados (default): ingere apenas arquivos que chegam após a fonte de dados começar pela primeira vez. Arquivos já presentes no local são ignorados.
    • Todos os dados : ingira os arquivos já presentes no local e, em seguida, continue com os arquivos que chegarem depois.

  • Configurações avançadas: Expanda esta seção opcional para configurar:

    • Nome da tabela de saída bruta: O nome da tabela bruta na qual o Lakewatch escreve eventos de origem antes de os parsers serem executados. O Lakewatch cria isso em seu ambiente; o nome é obrigatório.
    • Otimizado para desempenho: Use compute otimizado para desempenho para uma ingestão mais rápida (ativado) ou compute padrão (desativado). Usa como default a configuração de compute de ingestão do workspace.

Descoberta de arquivos e credenciais​

Lakewatch detecta novos arquivos automaticamente. Se o local externo do Unity Catalog de origem tiver eventos de arquivo configurados, o Lakewatch os usa; caso contrário, ele lista o diretório. Não há uma configuração de notificação de arquivo para definir no Lakewatch.

Quando a fonte é um volume do Unity Catalog ou um local externo, o Lakewatch é autenticado por meio dele. Não há uma entrada separada de credencial ou Secret Scope. Certifique-se de que a identidade de execução possa ler o objeto do Unity Catalog e sua credencial de armazenamento de suporte.

Pré-visualizar os dados​

Depois de definir o local dos dados e o formato do arquivo, revise a Visualização de dados na parte inferior da página. Ele mostra os dados brutos como o Lakewatch os escreve: uma coluna data contendo cada registro e uma coluna _metadata. O Lakewatch coleta uma amostra de um arquivo do Local de dados configurado.

A amostra afeta apenas a pré-visualização; quando a fonte de dados está em execução, ela ingere a partir da fonte configurada.

Manipulação de coluna de tempo​

A coluna time é fundamental para clustering, marcas d'água de transmissão e desempenho de query. O Lakewatch detecta e extrai automaticamente durante a configuração, inclusive quando o timestamp está aninhado em uma estrutura VARIANT. Antes de gravar cada linha na tabela raw, o Lakewatch substitui os valores nulos de time pelo Timestamp de ingestão (lw_meta.ingestion_time), portanto, a coluna time da tabela raw nunca é nula; ele define lw_meta.missing_timestamp como true para essas linhas, para que você possa distinguir os horários originais dos eventos dos fallback de horário de ingestão.

Anexe analisadores e crie a fonte de dados​

No mesmo formulário de criação, role até a seção Analisadores :

  1. Anexar analisadores. Anexe um ou mais analisadores para esquematizar os dados: um analisador integrado que corresponda à sua fonte ou um que você criou. Se a sua fonte entrega registros com envelope, também defina a opção Desempacotamento , descrita em Desempacotar registros com envelope. Para saber como o pareamento de analisadores funciona e quais colunas os analisadores produzem, consulte Anexar analisadores.
  2. Crie a fonte de dados. Clique em Criar fonte de dados . A fonte de dados começa a ser executada imediatamente em seu programar de processamento; para pará-la, exclua a fonte de dados.

Você pode editar as outras configurações da fonte de dados (programar de processamento, compute e anotações) a qualquer momento na tab Visão geral após a criação. Consulte Configurar configurações da fonte de dados.

Desempacotar registros envoltos​

Algumas fontes entregam vários eventos dentro de um container em vez de um registro por linha. Quando os dados amostrados são uma array de eventos JSON, ou eventos empacotados em um envelope de entrega do AWS CloudWatch Logs, o Lakewatch pode desempacotar o container para que cada evento se torne sua própria linha. No passo do analisador, use a opção Desempacotamento (o default é Sem desempacotamento ) para corresponder a como seus registros estão empacotados. Somente as formas de registro exibidas durante a configuração são compatíveis. O desempacotamento está disponível para fontes de dados de armazenamento cloud, mas não para o método Tabela existente, que ingere uma tabela do Unity Catalog como está.

  • Matriz JSON: Insira a key da matriz JSON : a key de nível raiz que contém a matriz de eventos (por exemplo, Records). Caminhos aninhados não são suportados.
  • AWS CloudWatch Logs: Ative Manter cabeçalhos do CloudWatch Logs para manter os metadados originais do envelope do CloudWatch Logs em cada evento desempacotado. Está desativada por default.
Nesta página