Zerobus Ingest のクォータ
このページでは、Lakeflow Connect における Zerobus Ingest の default クォータと、Delta テーブル、スキーマ、データ型との連携方法について説明します。
可用性
Zerobus Ingest は、一部のリージョンでのみ利用可能です。サポートされているリージョンの一覧については、「 取り込みの可用性」を参照してください。
レイテンシー
レイテンシは、耐久性の確認と、ターゲットのDeltaテーブルにレコードをマテリアライズするまでの時間の両方を反映します。実際の時間は、リージョンの整合性やワークロードの特性によって異なります。
-
耐久性までの時間
- 約 150 ミリ秒
-
テーブルまでの時間
- 約5秒
クォータ
以下の表は、Zerobus Ingestのdefaultクォータの一覧です。
項目 | defaultのクォータ | さらに情報が必要ですか？ |
|---|---|---|
ストリームあたりのthroughput（gRPC） | 100 MB/秒（1 KBのメッセージでベンチマーク済み） | 調整可能 |
ターゲットテーブルあたりのthroughput (gRPC) | 10 GB/秒 | 調整可能 |
ストリームあたりの毎秒レコード数 | 100,000（1 KB のメッセージでベンチマーク済み） | 調整可能 |
1秒あたりの REST リクエスト数 | 10,000 | 調整可能 |
ワークスペースごとの並列ストリーム | 無制限 | N/A |
これらはZerobus Ingestがプロビジョニングされるデフォルトのthroughputであり、より高いワークロードに対応するためにスケーリングされます。これらについて提起する場合は、Databricksアカウント担当者にお問い合わせください。最大のthroughputを得るには、クライアントアプリとEndpointを同じ地理的リージョンに配置してください。
ワークロードが必要とする数だけ並列ストリームを開き、必要な数のターゲットテーブルに書き込むことができます。より多くのストリームを開くことがスケールアウトの意図された方法であるため、並列ストリームの数に制限はありません。
The Kafka-compatible APIs are in ベータ版であり、デフォルトのクォータはワークスペースあたり毎秒50,000メッセージです。より高いベータ版クォータをリクエストするには、Databricks担当者にお問い合わせください。
配信保証
Zerobus Ingest は、プロトコルが耐久性確認を提供し、クライアントが確認されていないレコードを再試行する場合に、少なくとも 1 回の配信（at-least-once delivery）を提供します。MQTT の場合は、QoS 1 を使用し、正常な PUBACK を受信しないレコードを再試行してください。MQTT QoS 0 はベストエフォート型であり、少なくとも 1 回の配信（at-least-once delivery）は提供されません。
バッファリングされたデータの保持
Zerobus Ingest サービスがバッファリングされたデータを Delta テーブルにフラッシュできない場合、そのデータはサービス管理の永続ストレージに保持され、ストリームごとに警告イベントが随時出力されます。
データが28日間フラッシュされないままの場合、サービスはバッファリングされたデータを削除し、破棄されたレコード数とバイト数を記録するストリームごとの破棄イベントを発行します。削除後のデータを復元することはできません。
テーブルの動作
Zerobus Ingest が Delta テーブルとどのように連携するか。
パーティション分割されたテーブル
パーティション分割されたテーブルに書き込む際、Zerobus Ingestは5秒間隔で100を超えるパーティションへの書き込みをサポートしていません。最適なthroughputを得るには、5秒間隔ごとのパーティション数を最小限に抑えてください。
Databricks は、パーティション分割の代わりに Zerobus Ingest で リキッドクラスタリング テーブルを使用することをお勧めします。
ワークスペースとターゲットテーブル
取り込みは、以下のワークスペースおよびターゲットテーブルの設定で動作します。
- Zerobus Ingestは、管理されたDeltaテーブルへの書き込みをサポートしています。
- Zerobus Ingest は、ターゲットテーブルの再作成をサポートしていません。
- Zerobus Ingestは、ASCII文字、数字、アンダースコアを含むテーブル名のみをサポートしています。
- ワークスペースとターゲットテーブルの両方が、利用可能なリージョンのいずれかにある必要があります。
リキッドクラスタリングテーブル
Zerobus Ingest をリキッドクラスタリングテーブルで使用する場合は、ターゲットテーブルに対して予測的最適化を有効にしておくことをお勧めします。Zerobus Ingest はテーブルにデータを書き込みますが、最適なデータクラスタリングは予測的最適化サービスによって非同期に適用されます。予測的最適化を無効にすると、取り込まれたデータのクエリーパフォーマンスが最適化されない可能性があります。
スキーマとデータ型
レコードサイズ
各メッセージの最大サイズは 10 MB です。レコードの最大サイズは 10,485,760 バイトです。通信に必要なヘッダーは 19 バイトを占有します。
The MQTT interface is an exception.The initial CONNECT packet has a maximum size of 16 KiB.After the connection is established, the maximum size is 64 KiB for the complete MQTT packet, including the headers and payload.See MQTT limitations.
スキーマ進化や Protobuf スキーマルールを含む、Zerobus Ingest がテーブルスキーマに対してレコードを検証する方法については、スキーマ管理を参照してください。サポートされている Delta および Protobuf データ型については、サポートされているデータ型を参照してください。