Zerobus Ingestを使用してOpenTelemetryデータを取り込む
ベータ版
この機能はベータ版です。
Zerobus Ingest OTLPは、Zerobus Ingest サービスに組み込まれたネイティブのOpenTelemetry Protocol(OTLP) エンドポイントです。カスタム ライブラリを必要とせず、標準の OpenTelemetry SDK とコレクターを使用して、トレース、ログ、メトリクスをUnity Catalog Deltaテーブルに直接プッシュできます。
OTLPクライアントを設定してデータをZerobus Ingestに送信するには、 「OpenTelemetry(OTLP)クライアントを設定してデータをUnity Catalogに送信する」を参照してください。
コンセプト
以下の概念は、Zerobus Ingest OTLPの仕組みを理解する上で役立ちます。
OTLP互換性
Zerobus Ingest OTLPは、OpenTelemetry仕様で定義されている標準OTLP gRPCコレクターサービスを実装しています。OTLP互換のエクスポーター(OpenTelemetry SDK、OpenTelemetry Collector、その他の計測ライブラリなど)であれば、どれでもこのエンドポイントにデータを送信できます。
サポートされている信号
Zerobus Ingest OTLPは、テレメトリ信号 タイプごとに1つずつ、3つのOTLP/gRPC サービスを提供します。
信号 | gRPC サービス パス |
|---|---|
トレース :イベント、リンク、ステータスを完全にサポートする分散トレーススパン。 |
|
ログ : 重大度、本文、およびトレースとの相関関係を |
|
メトリクス : 5 つの OTLP メトリクス タイプすべて: ゲージ、合計、ヒストグラム、指数ヒストグラム、および概要。 |
|
部分的な成功
Zerobus Ingest OTLPは、OTLP仕様で定義されている部分的な成功をサポートします。リクエストに有効なレコードと無効なレコードが混在している場合、有効なレコードは取り込まれ、無効なレコードは拒否されます。レスポンスには、拒否されたレコードの数( rejected_spans 、 rejected_log_records 、またはrejected_data_points )と、その理由を説明するerror_messageが含まれます。
圧縮
OTLPの3つのサービスすべてでGzip圧縮がサポートされています。grpc-encodingヘッダーをgzipに設定するか、OTLP エクスポーターで gzip 圧縮を使用するように設定してください。
制限事項
- OTLP/gRPC(Protobuf)トランスポートのみがサポートされています。HTTP(Protobuf)はまだサポートされていません。
- 各リクエストは、
x-databricks-zerobus-table-nameヘッダーを使用して指定された1つのテーブルを対象とします。トレース、ログ、メトリクスを取り込むには、それぞれ異なるテーブルを指す個別のエクスポート設定を行います。 - テーブルは、正しいスキーマで事前に作成しておく必要があります。Zerobus Ingestはテーブルを作成または変更しません。
- デフォルトのクォータは1秒あたり10,000リクエストです。より多くの割り当て量が必要な場合は、Databricksの担当者にご連絡ください。
- Zerobus Ingestの制限事項の全リストについては、 「Zerobus Ingestコネクタの制限事項」を参照してください。
次のステップ
- OpenTelemetry (OTLP) クライアントを設定してデータを Unity Catalog に送信する— Python の例と OpenTelemetry Collector の設定。
- Zerobus Ingest 用の OpenTelemetry テーブルリファレンス— テーブルスキーマとデータマッピングのリファレンス。
- OpenTelemetry データのクエリ— スパン、ログ、メトリクスのSQLクエリの例。
- Zerobus Ingestコネクタの制限事項