Logs estendidos de tráfego de rede
Visualização
Esse recurso está na Prévia privada. Para experimentar, fale com o seu contato no Databricks.
Os logs estendidos de tráfego de rede registram o tráfego de rede de saída do compute serverless da Databricks. Por default, a tabela do sistema de eventos de acesso de saída à rede registra apenas as solicitações negadas pelos controles de saída serverless. Com os logs estendidos de tráfego de rede, o sistema também registra as solicitações permitidas, para que você possa ver a quais destinos suas cargas de trabalho serverless se conectam e solucionar problemas de conectividade.
Para fazer query dos Logs, consulte Query Logs estendidos de tráfego de rede.
Casos de uso
Use os logs estendidos de tráfego de rede para:
- Investigue a atividade de rede: veja quais destinos suas cargas de trabalho serverless acessaram, quando e de qual workspace.
- Refine as políticas de rede: identifique destinos que são acessados raramente e decida se deve removê-los das listas de permissões de saída serverless.
- Solucionar problemas de conectividade: determine se os controles de saída serverless permitiram ou negaram uma solicitação.
- Investigue os custos de rede: Identifique os destinos entre regiões, da internet e privados acessados por cargas de trabalho serverless.
- Otimizar a conectividade de armazenamento: identifique destinos de armazenamento acessados com frequência que possam se beneficiar de conectividade privada ou de estar na mesma região que suas cargas de trabalho.
Como funciona
Eventos de acesso à rede permitidos
Os logs estendidos de tráfego de rede adicionam ALLOWED eventos à tabela system.access.outbound_network existente. Esta tabela registra eventos de acesso à rede de saída de cargas de trabalho serverless, incluindo SQL warehouses, Job, Lakeflow Pipelines, Databricks Apps e Endpoint do Model Serving. Os eventos permitidos abrangem solicitações a armazenamento em cloud, destinos da internet e recursos acessados por meio de conectividade privada. Para ver o esquema completo da tabela, consulte Referência da tabela do sistema de eventos de acesso à rede.
A coluna access_type indica o resultado de cada evento:
Valor | Descrição |
|---|---|
| O acesso de saída à rede foi permitido. Disponível apenas com logs estendidos de tráfego de rede. |
| O acesso de saída à rede foi negado pelos controles de saída serverless no modo aplicado. |
| O acesso à rede de saída teria sido negado pelos controles de saída serverless, mas foi permitido porque a política estava no modo de simulação. |
Os valores access_type e destination_type registrados para uma solicitação dependem do destino e do modo da política de saída serverless:
Solicitação de rede | Saída irrestrita | Modo de execução de teste | Modo de imposição |
|---|---|---|---|
Acesso permitido ao armazenamento |
| Não registrado |
|
Acesso ao armazenamento que viola a política | Não aplicável |
|
|
Acesso permitido a recursos da VPC |
|
|
|
Acesso a recursos da VPC que viola a política | Não aplicável |
|
|
Acesso à internet permitido |
|
|
|
Acesso à internet que viola a política | Não aplicável |
|
|
Para eventos DNS permitidos, destination contém o nome de domínio ou o hostname de armazenamento. Para eventos STORAGE permitidos, destination contém o hostname e o caminho de armazenamento. Os endereços IP de destino resolvidos estão em dns_event.rdata ou storage_event.rdata. Esses campos ficam vazios para eventos negados.
Limitações
Os logs estendidos de tráfego de rede têm as seguintes limitações:
- Os eventos permitidos não são registrados para acesso externo ao modelo a partir de Endpoint do Model Serving.
- Os eventos permitidos não são registrados para acessos ao armazenamento de Workspace cujos controles de saída Serverless estão no modo de execução de teste.
- Os eventos permitidos não são registrados para acessos a armazenamento interno do workspace, como artefatos do MLflow e do dbt.
- Os eventos permitidos não são registrados para acesso ao armazenamento do provedor OpenSharing.
- O tráfego permitido de cargas de trabalho em execução por menos de cerca de um minuto tem menor probabilidade de ser registrado, especialmente no caso de cargas de trabalho agendadas e não interativas e de workspaces com políticas de saída irrestritas.
Essas limitações não afetam a forma como os controles de saída serverless são aplicados nem como as solicitações negadas são registradas.
Perguntas frequentes
As perguntas a seguir abordam comportamentos comuns que você pode observar nos logs estendidos de tráfego de rede.
Preciso de controles de saída serverless para usar os logs estendidos de tráfego de rede?
Não. Eventos de acesso de saída à rede permitidos também são registrados para workspaces com políticas de saída serverless irrestritas.
Por que os eventos de acesso à rede aparecem depois que uma carga de trabalho é concluída?
O Databricks pode continuar acessando o armazenamento após a conclusão de uma carga de trabalho, por exemplo, para manter logs ou metadados do Delta. Essas solicitações podem gerar eventos de acesso à rede quando nenhuma carga de trabalho do usuário está em execução. Os eventos cessam após o encerramento da instância de compute serverless.
Por que vejo hostnames desconhecidos nos meus logs de acesso à rede?
Alguns destinos registrados são recursos gerenciados pelo Databricks usados para operações da plataforma:
Padrão de hostname | Propósito |
|---|---|
| Melhora os tempos de Startup do Serverless compute. |
| Armazenamento default do Databricks. |
| Acesso a exemplos de datasets default. |
Se você vir outros hostnames que não reconhece, entre em contato com a equipe de account da Databricks.
Quanto tempo leva para os logs de tráfego de rede aparecerem?
A maioria dos eventos de acesso à rede de saída aparece em até 15 minutos após a solicitação. A latência pode variar, e a Databricks não oferece um acordo de nível de serviço (SLA) de latência para esses logs.