Armazenamento em cloud

info

Visualização

O Lakewatch está em Pré-visualização privada. Para solicitar acesso, entre em contato com a equipe da sua account Databricks.

Use o método de ingestão Armazenamento em cloud para ingerir arquivos de um armazenamento de objetos em cloud compatível. O Lakewatch lê a fonte com Auto Loader.

Esta página ensina como criar uma fonte de dados de armazenamento em cloud. Para gerenciar uma fonte de dados depois que ela existir, consulte Criar e gerenciar fontes de dados.

O Lakewatch ingere do Google Cloud Storage através de um volume do Unity Catalog ou local externo.

Pré-requisitos

Antes de criar a fonte de dados, certifique-se de atender aos seguintes requisitos:

• Fonte no Unity Catalog: Se a fonte for um volume do Unity Catalog ou um local externo, configure-a no Unity Catalog antes de criar a datasource. Para a configuração, consulte Gerenciar locais externos.
• Acesso Run-as à fonte: A identidade Run-as da fonte de dados deve ter permissão para ler a fonte: o privilégio READ FILES no local externo ou READ VOLUME no volume. Conceda isso no local externo ou volume no Unity Catalog, não na própria identidade. Para obter instruções, consulte Gerenciar locais externos ou Privilégios para volumes do Unity Catalog. O Lakewatch ingere como a identidade execução-as, não como sua account de usuário, portanto seu acesso individual em nível de account aos dados não é suficiente. O acesso à identidade herdado de um catálogo ou esquema pai, ou de um grupo, também satisfaz esse requisito.

Prepare seus dados para ingestão

Cada fonte de dados do Lakewatch ingere a partir de um único diretório e lê todos os arquivos usando um formato de arquivo . Antes de criar uma fonte de dados, organize seu armazenamento na cloud para que cada diretório que você planeja ingerir contenha:

• Um formato de arquivo : todos os arquivos devem ter o mesmo formato (por exemplo, todos JSON, todos Parquet ou todos CSV). Arquivos em formatos diferentes causam erros de análise.
• Um tipo de fonte : Os arquivos devem vir do mesmo sistema de origem e compartilhar um esquema compatível (por exemplo, todos os logs do AWS CloudTrail ou todos os eventos de detecção do CrowdStrike). Pequenas variações de esquema dentro do mesmo formato são tratadas automaticamente, mas misturar esquemas fundamentalmente diferentes em um único diretório não é compatível.

Exemplo de estrutura de diretório:

Text

s3://my-security-bucket/
├── cloudtrail/           ← Datasource 1 (JSON)
│   ├── 2025/01/01/
│   │   ├── event1.json.gz
│   │   └── event2.json.gz
│   └── 2025/01/02/
│       └── event3.json.gz
├── vpc-flow-logs/        ← Datasource 2 (Parquet)
│   ├── region=us-east-1/
│   │   └── flowlogs.parquet
│   └── region=us-west-2/
│       └── flowlogs.parquet
└── waf-logs/             ← Datasource 3 (JSON)
    └── waf-events.json

Cada diretório de nível superior torna-se uma fonte de dados Lakewatch separada. Os subdiretórios são percorridos automaticamente, incluindo caminhos particionados no estilo Hive (como region=us-east-1/), que o Lakewatch detecta e mapeia como colunas de partição.

Criar a origem de dados

Em Fontes de dados , clique em Adicionar fonte de dados . Em Logs personalizados & internos , selecione o tipo de armazenamento que contém seus arquivos:

• Google Cloud Storage: Um caminho no Google Cloud Storage, por meio de um local externo do Unity Catalog.
• Volume do Unity Catalog: Uma pasta em um volume do Unity Catalog.

A página de configuração desse tipo de armazenamento abre. Para alternar os tipos de armazenamento posteriormente, use o seletor Tipo de origem na página de configuração. Preencha os seguintes campos:

• Nome da fonte de dados: Insira um nome exclusivo para a fonte de dados (por exemplo, Cloudflare_WAF).

• Local de origem: aponte a fonte de dados para a pasta que contém os seus dados. O local deve ser uma pasta, não um arquivo individual. Os campos dependem do tipo de armazenamento:

  • Local externo e Subpasta (opcional): Clique em Navegar para abrir Navegar em local externo , escolha um local externo do Unity Catalog e, em seguida, selecione a raiz ou uma pasta dentro dele. Você também pode inserir o local e a subpasta diretamente. Deixe Subpasta em branco para ingerir todo o local.
  • Caminho do Volume do Unity Catalog: Insira a pasta que contém seus arquivos de log (por exemplo, /Volumes/catalog/schema/volume/logs/) ou clique em Procurar volumes .

• Formato do arquivo: o formato que o Lakewatch usa para analisar os dados de origem: JSON, JSONL, Parquet, CSV, XML ou texto. Clique em Inferir com Genie para que o Genie sugira o formato a partir de uma amostra dos seus dados. Ao selecionar CSV , você também pode definir as opções de formato CSV.

• Ingerir data histórica: Ative isso para também ingerir os arquivos já presentes no local. Novos arquivos são ingeridos de qualquer maneira. Esta escolha entra em vigor apenas no primeiro começar.

• Configurações avançadas: Expanda esta seção opcional para configurar:

  • Nome da tabela de saída bruta: o nome da tabela bruta na qual o Lakewatch grava eventos de origem antes da execução dos analisadores. O Lakewatch o cria em seu ambiente. O nome é obrigatório.
  • Otimizado para desempenho: Use compute otimizado para desempenho para uma ingestão mais rápida (ativado) ou compute padrão (desativado). Usa como default a configuração de compute de ingestão do workspace.

Definir opções de formato CSV

Ao definir o Formato de arquivo como CSV , uma seção de Opções de formato CSV será exibida para que você possa personalizar como o Lakewatch lê seus arquivos. Clique em Adicionar opção CSV para adicionar uma opção e definir seu valor, ou remova uma opção para usar seu default. Os valores são usados exatamente como inseridos, incluindo espaços e valores vazios.

As opções mais comuns são Cabeçalho , Delimitador , Aspas , Escape , Multilinhas , Codificação , Valor nulo , Formato de data e Formato de timestamp . As outras opções padrão de leitura de CSV aparecem sob os nomes das opções. Para ver a lista completa e o que cada opção faz, consulte opções de CSV.

Descoberta de arquivos e credenciais

O Lakewatch detecta novos arquivos automaticamente. Se o local externo do Unity Catalog da fonte tiver eventos de arquivo configurados, o Lakewatch os usará. Caso contrário, ele lista o diretório. Não há configuração de notificação de arquivo para definir no Lakewatch.

Quando a fonte é um volume do Unity Catalog ou um local externo, o Lakewatch é autenticado por meio dele. Não há uma entrada separada de credencial ou Secret Scope. Certifique-se de que a identidade de execução possa ler o objeto do Unity Catalog e sua credencial de armazenamento de suporte.

Pré-visualizar os dados

Após definir o local de origem e o formato do arquivo, clique em Pré-visualizar dados no painel de Pré-visualização de dados para ver uma amostra. A pré-visualização mostra os dados brutos conforme o Lakewatch os escreve: uma coluna data contendo cada registro e uma coluna _metadata. Se você alterar as configurações após a execução da pré-visualização, a pré-visualização será marcada como desatualizada. Clique em Atualizar pré-visualização para executá-la novamente.

Por default, o Lakewatch faz amostras da origem configurada. Para amostrar de uma pasta específica, clique em Editar origem de pré-visualização e selecione Usar subpasta de amostra . O Caminho da pré-visualização mostra o local da origem herdada e a subpasta como somente leitura. Insira uma pasta dentro dela ou clique em Procurar para escolher uma. O caminho da pré-visualização deve ser uma pasta, não um arquivo, e a identidade de execução deve ter permissão para lê-lo. As fontes de dados de volume do Unity Catalog são pré-visualizadas a partir do caminho do volume e não oferecem um caminho de pré-visualização separado.

A amostra afeta apenas a visualização e não é armazenada com a datasource. Quando a datasource é execução, ela ingere dados da fonte configurada.

Manipulação de coluna de tempo

A coluna time é fundamental para clustering, marcas d'água de transmissão e desempenho de query. O Lakewatch detecta e extrai automaticamente durante a configuração, inclusive quando o timestamp está aninhado em uma estrutura VARIANT. Antes de gravar cada linha na tabela raw, o Lakewatch substitui os valores nulos de time pelo Timestamp de ingestão (lw_meta.ingestion_time), portanto, a coluna time da tabela raw nunca é nula; ele define lw_meta.missing_timestamp como true para essas linhas, para que você possa distinguir os horários originais dos eventos dos fallback de horário de ingestão.

Anexe analisadores e crie a fonte de dados

No mesmo formulário de criação, role até a seção Analisadores :

1. Anexar analisadores. Anexe um ou mais analisadores para esquematizar os dados: um analisador integrado que corresponda à sua fonte ou um que você criou. Se a sua fonte entrega registros com envelope, também defina a opção Desempacotamento , descrita em Desempacotar registros com envelope. Para saber como o pareamento de analisadores funciona e quais colunas os analisadores produzem, consulte Anexar analisadores.
2. Crie a fonte de dados. Clique em Criar fonte de dados . A fonte de dados começa a ser executada imediatamente em seu programar de processamento; para pará-la, exclua a fonte de dados.

Você pode editar as outras configurações da fonte de dados (programar de processamento, compute e anotações) a qualquer momento na tab Visão geral após a criação. Consulte Configurar configurações da fonte de dados.

Desempacotar registros envoltos

Algumas fontes entregam vários eventos dentro de um container em vez de um registro por linha. Quando os dados amostrados são uma array de eventos JSON, ou eventos empacotados em um envelope de entrega do AWS CloudWatch Logs, o Lakewatch pode desempacotar o container para que cada evento se torne sua própria linha. No passo do analisador, use a opção Desempacotamento (o default é Sem desempacotamento ) para corresponder a como seus registros estão empacotados. Somente as formas de registro exibidas durante a configuração são compatíveis. O desempacotamento está disponível para fontes de dados de armazenamento cloud, mas não para o método Tabela existente, que ingere uma tabela do Unity Catalog como está.

• Matriz JSON: Insira a key da matriz JSON : a key de nível raiz que contém a matriz de eventos (por exemplo, Records). Caminhos aninhados não são suportados.
• AWS CloudWatch Logs: Ative Manter cabeçalhos do CloudWatch Logs para manter os metadados originais do envelope do CloudWatch Logs em cada evento desempacotado. Está desativada por default.