Logs estendidos de tráfego de rede
Visualização
Esse recurso está na Prévia privada. Para experimentar, fale com o seu contato no Databricks.
Os logs estendidos de tráfego de rede registram o tráfego de rede de saída do compute serverless da Databricks. Por default, a tabela do sistema de eventos de acesso de saída à rede registra apenas as solicitações negadas pelos controles de saída serverless. Com os logs estendidos de tráfego de rede, o sistema também registra as solicitações permitidas, para que você possa ver a quais destinos suas cargas de trabalho serverless se conectam e solucionar problemas de conectividade.
Os logs de tráfego de rede estendidos também adicionam uma tabela de logs de fluxo que registra a quantidade de dados que o compute serverless envia para cada endereço IP de destino e recebe dele. Os dois recursos usam as seguintes tabelas do sistema:
Capacidade | Tabela do sistema | Descrição |
|---|---|---|
Eventos de acesso à rede de saída permitidos |
| Adiciona solicitações de saída permitidas à tabela existente de solicitações negadas. |
Logs de fluxo de tráfego de saída |
| Registra os bytes enviados e recebidos por endereço IP de destino, agregados em intervalos de um minuto. |
Os logs de fluxo de tráfego de saída registram apenas o tráfego roteado por um gateway de rede privada.
Para fazer query dos Logs, consulte Query Logs estendidos de tráfego de rede.
Casos de uso
Use os logs estendidos de tráfego de rede para:
-
Investigue a atividade de rede: veja quais destinos suas cargas de trabalho serverless acessaram, quando e de qual workspace.
-
Refine as políticas de rede: identifique destinos que são acessados raramente e decida se deve removê-los das listas de permissões de saída serverless.
-
Solucionar problemas de conectividade: determine se os controles de saída serverless permitiram ou negaram uma solicitação.
-
Investigue os custos de rede: Identifique os destinos entre regiões, da internet e privados acessados por cargas de trabalho serverless.
-
Otimizar a conectividade de armazenamento: identifique destinos de armazenamento acessados com frequência que possam se beneficiar de conectividade privada ou de estar na mesma região que suas cargas de trabalho.
-
Medir volumes de tráfego: veja a quantidade de dados que o compute serverless envia para cada destino por meio de um gateway de rede privada e recebe dele.
-
Detecte atividade incomum: Encontre destinos com volumes de tráfego inesperadamente altos.
Como funciona
Eventos de acesso à rede permitidos
Os logs estendidos de tráfego de rede adicionam ALLOWED eventos à tabela system.access.outbound_network existente. Esta tabela registra eventos de acesso à rede de saída de cargas de trabalho serverless, incluindo SQL warehouses, Job, Lakeflow Pipelines, Databricks Apps e Endpoint do Model Serving. Os eventos permitidos abrangem solicitações a armazenamento em cloud, destinos da internet e recursos acessados por meio de conectividade privada. Para ver o esquema completo da tabela, consulte Referência da tabela do sistema de eventos de acesso à rede.
A coluna access_type indica o resultado de cada evento:
Valor | Descrição |
|---|---|
| O acesso de saída à rede foi permitido. Disponível apenas com logs estendidos de tráfego de rede. |
| O acesso de saída à rede foi negado pelos controles de saída serverless no modo aplicado. |
| O acesso à rede de saída teria sido negado pelos controles de saída serverless, mas foi permitido porque a política estava no modo de simulação. |
Os valores access_type e destination_type registrados para uma solicitação dependem do destino e do modo da política de saída serverless:
Solicitação de rede | Saída irrestrita | Modo de execução de teste | Modo de imposição |
|---|---|---|---|
Acesso permitido ao armazenamento |
| Não registrado |
|
Acesso ao armazenamento que viola a política | Não aplicável |
|
|
Acesso permitido a recursos da VPC |
|
|
|
Acesso a recursos da VPC que viola a política | Não aplicável |
|
|
Acesso à internet permitido |
|
|
|
Acesso à internet que viola a política | Não aplicável |
|
|
Para eventos DNS permitidos, destination contém o nome de domínio ou o hostname de armazenamento. Para eventos STORAGE permitidos, destination contém o hostname e o caminho de armazenamento. Os endereços IP de destino resolvidos estão em dns_event.rdata ou storage_event.rdata. Esses campos ficam vazios para eventos negados.
Logs de fluxo de tráfego de saída
A tabela system.access.outbound_traffic registra volumes de tráfego agregados, não solicitações individuais. O Databricks agrupa o tráfego em intervalos fixos de um minuto que começam e terminam no limite de um minuto. Em cada intervalo, o tráfego associado ao mesmo workspace, endereço IP de destino e método de conexão é combinado em um único registro, com a soma dos bytes enviados e recebidos.
O tráfego entre 12:05:00 e 12:06:00 produz um registro com period_start_time = 12:05:00 e period_end_time = 12:06:00. O horário de início é inclusivo e o horário de término é exclusivo. Estas marcas de timestamp delimitam os intervalos, não os horários dos primeiros e últimos pacotes. Intervalos sem tráfego não geram registros.
A tabela system.access.outbound_traffic tem o seguinte esquema:
Coluna | Tipo de dados | Descrição |
|---|---|---|
| string | Identificador exclusivo do registro de tráfego agregado. |
| string | ID da account do Databricks onde o tráfego se originou. |
| string | ID do workspace onde o tráfego se originou. |
| string | Endereço IP de destino. |
| BigInt | Total de bytes recebidos pelo compute serverless durante o intervalo. |
| BigInt | Total de bytes enviados pelo compute serverless durante o intervalo. |
| string | Tipo de conectividade utilizado. O valor é |
| string | Método de conectividade usado. O valor é |
| carimbo de data/hora | Início inclusivo do intervalo de um minuto. |
| carimbo de data/hora | Fim exclusivo do intervalo de um minuto. |
Como as tabelas se relacionam
system.access.outbound_network informa o hostname de destino ou o local de armazenamento de uma solicitação. system.access.outbound_traffic informa o endereço IP de destino, o método de conexão e a quantidade de bytes transferidos.
Para correlacioná-los, compare o ID da account, o ID do workspace e o endereço IP de destino resolvido, e verifique se o event_time do evento de acesso está dentro do intervalo do log de fluxo. As duas tabelas têm valores event_id independentes, portanto, não faça join em event_id.
Essas correspondências são correlações baseadas no endereço IP e no horário. Elas não vinculam um evento de acesso a uma conexão de rede específica. Quando vários hostnames são resolvidos para o mesmo endereço IP, cada hostname corresponde aos mesmos registros de fluxo.
Limitações
Os logs estendidos de tráfego de rede têm as seguintes limitações:
-
Os eventos permitidos não são registrados para acesso externo ao modelo a partir de Endpoint do Model Serving.
-
Os eventos permitidos não são registrados para acessos ao armazenamento de Workspace cujos controles de saída Serverless estão no modo de execução de teste.
-
Os eventos permitidos não são registrados para acessos a armazenamento interno do workspace, como artefatos do MLflow e do dbt.
-
Os eventos permitidos não são registrados para acesso ao armazenamento do provedor OpenSharing.
-
O tráfego permitido de cargas de trabalho em execução por menos de cerca de um minuto tem menor probabilidade de ser registrado, especialmente no caso de cargas de trabalho agendadas e não interativas e de workspaces com políticas de saída irrestritas.
-
Os logs de fluxo de tráfego de saída registram apenas o tráfego roteado por um gateway de rede privada. O tráfego que usa outra conectividade privada ou sai para a internet pública não é registrado.
-
Os logs de fluxo de tráfego de saída não registram o tráfego do Agent Bricks, do Unity Gateway ou das pastas Git.
Essas limitações não afetam a forma como os controles de saída serverless são aplicados nem como as solicitações negadas são registradas.
Perguntas frequentes
As perguntas a seguir abordam comportamentos comuns que você pode observar nos logs estendidos de tráfego de rede.
Preciso de controles de saída serverless para usar os logs estendidos de tráfego de rede?
Não. Eventos de acesso de saída à rede permitidos também são registrados para workspaces com políticas de saída serverless irrestritas.
Por que os eventos de acesso à rede aparecem depois que uma carga de trabalho é concluída?
O Databricks pode continuar acessando o armazenamento após a conclusão de uma carga de trabalho, por exemplo, para manter logs ou metadados do Delta. Essas solicitações podem gerar eventos de acesso à rede quando nenhuma carga de trabalho do usuário está em execução. Os eventos cessam após o encerramento da instância de compute serverless.
Por que vejo hostnames desconhecidos nos meus logs de acesso à rede?
Alguns destinos registrados são recursos gerenciados pelo Databricks usados para operações da plataforma:
Padrão de hostname | Propósito |
|---|---|
| Melhora os tempos de Startup do Serverless compute. |
| Armazenamento default do Databricks. |
| Acesso a exemplos de datasets default. |
Se você vir outros hostnames que não reconhece, entre em contato com a equipe de account da Databricks.
Quanto tempo leva para os logs de tráfego de rede aparecerem?
A maioria dos eventos de acesso à rede de saída aparece em até 15 minutos após a solicitação. A latência pode variar, e a Databricks não oferece um acordo de nível de serviço (SLA) de latência para esses logs.
Por que não consigo encontrar um log de fluxo correspondente para um evento de acesso à rede permitido?
Os logs de fluxo registram apenas o tráfego roteado por um gateway de rede privada, portanto, as solicitações permitidas que usam outra conectividade não têm um log de fluxo correspondente. A ausência de um log de fluxo não significa que a solicitação falhou ou que nenhum dado foi transferido.