Ingerir dados do OpenTelemetry com o Zerobus Ingest
O Zerobus Ingest OTLP é um endpoint nativo do protocolo OpenTelemetry (OTLP) integrado ao serviço Zerobus Ingest . Ele permite enviar rastreamentos, logs e métricas diretamente para as tabelas Delta Unity Catalog usando os SDKs e coletores padrão do OpenTelemetry, sem a necessidade de uma biblioteca personalizada.
Para configurar seu cliente OTLP para enviar dados ao Zerobus Ingest, consulte Configurar clientes OpenTelemetry (OTLP) para enviar dados ao Unity Catalog.
O Databricks cobra a ingestão de OTLP como uso do Zerobus Ingest. Para obter informações sobre preços e como monitorar seus gastos, consulte Custo.
Conceitos
Os seguintes conceitos são úteis para entender como funciona o Zerobus Ingest OTLP.
Compatibilidade com OTLP
O Zerobus Ingest OTLP implementa os serviços padrão do OTLP Collector conforme definido pela especificação OpenTelemetry, via gRPC e HTTP (Protobuf). Qualquer exportador compatível com OTLP, como um SDK do OpenTelemetry, o OpenTelemetry Collector ou outra biblioteca de instrumentação, pode enviar dados para este endpoint.
Sinais suportados
O Zerobus Ingest OTLP expõe um serviço por tipo de sinal de telemetria. Cada sinal está disponível via OTLP/gRPC e OTLP/HTTP (Protobuf):
Sinal | caminho do serviço gRPC | Caminho HTTP |
|---|---|---|
Rastreamentos : Rastreamentos distribuídos com suporte completo para eventos, links e status. |
|
|
logs : registros de log com severidade, corpo e correlação com rastreamentos via |
|
|
métricas : Todos os cinco tipos de métricas OTLP: Medidor, Soma, Histograma, Histograma Exponencial e Resumo. |
|
|
Sucesso parcial
O Zerobus Ingest OTLP suporta sucesso parcial, conforme definido pela especificação OTLP. Se uma solicitação contiver uma mistura de registros válidos e inválidos, os registros válidos serão processados e os registros inválidos serão rejeitados. A resposta inclui a contagem de registros rejeitados (rejected_spans, rejected_log_records ou rejected_data_points) e um error_message descrevendo o motivo.
Compressão
A compactação Gzip é compatível com todos os três serviços OTLP, tanto via gRPC quanto HTTP. Para gRPC, defina o cabeçalho grpc-encoding como gzip. Para HTTP, defina o cabeçalho Content-Encoding como gzip. Alternativamente, configure seu exportador OTLP para usar compressão gzip.
Limitações
- Apenas a codificação Protobuf de OTLP/HTTP é compatível. OTLP/HTTP com um corpo JSON não é compatível, e solicitações com um
Content-Typedeapplication/jsonsão rejeitadas. - Cada solicitação tem como alvo uma tabela, especificada usando o cabeçalho
x-databricks-zerobus-table-name. Para ingerir rastreamentos, logs e métricas, configure exportadores separados apontando para tabelas diferentes. - As tabelas devem ser criadas antecipadamente com o esquema correto. O Zerobus Ingest não cria nem modifica tabelas.
- A cota default é de 10.000 solicitações por segundo. Caso necessite de uma quota maior, entre em contato com seu representante da Databricks.
- Alguns campos numéricos OTLP podem perder precisão ou sofrer estouro quando mapeados para tipos Delta. Consulte Precisão numérica e tipos assinados.
- Para obter uma lista completa das limitações do Zerobus Ingest, consulte quotas do conector Zerobus Ingest.
Recursos adicionais
- Configure os clientes OpenTelemetry (OTLP) para enviar dados ao Unity Catalog — exemplos Python e configuração do coletor OpenTelemetry.
- Referência da tabela OpenTelemetry para ingestão Zerobus — Esquemas de tabela e referência de mapeamento de dados.
- Consultar dados do OpenTelemetry — Exemplos de consultas SQL para spans, logs e métricas.
- Quotas do conector Zerobus Ingest