Zerobus Ingest のクォータ
このページでは、Lakeflow Connect における Zerobus Ingest の default クォータと、Delta テーブル、スキーマ、データ型との連携方法について説明します。
可用性
Zerobus Ingest は、一部のリージョンでのみ利用可能です。サポートされているリージョンの一覧については、「 取り込みの可用性」を参照してください。
レイテンシー
レイテンシは、耐久性の確認と、ターゲットのDeltaテーブルにレコードをマテリアライズするまでの時間の両方を反映します。実際の時間は、リージョンの整合性やワークロードの特性によって異なります。
-
耐久性までの時間
- 約 150 ミリ秒
-
テーブルまでの時間
- 約5秒
クォータ
以下の表は、Zerobus Ingestのdefaultクォータの一覧です。
項目 | defaultのクォータ | さらに情報が必要ですか？ |
|---|---|---|
ストリームあたりのthroughput（gRPC） | 100 MB/秒（1 KBのメッセージでベンチマーク済み） | 調整可能 |
ターゲットテーブルあたりのthroughput (gRPC) | 10 GB/秒 | 調整可能 |
ストリームあたりの毎秒レコード数 | 100,000（1 KB のメッセージでベンチマーク済み） | 調整可能 |
1秒あたりの REST リクエスト数 | 10,000 | 調整可能 |
ワークスペースごとの並列ストリーム | 無制限 | N/A |
これらはZerobus Ingestがプロビジョニングされるデフォルトのthroughputであり、より高いワークロードに対応するためにスケーリングされます。これらについて提起する場合は、Databricksアカウント担当者にお問い合わせください。最大のthroughputを得るには、クライアントアプリとEndpointを同じ地理的リージョンに配置してください。
ワークロードが必要とする数だけ並列ストリームを開き、必要な数のターゲットテーブルに書き込むことができます。より多くのストリームを開くことがスケールアウトの意図された方法であるため、並列ストリームの数に制限はありません。
The Kafka-compatible APIs are in ベータ版であり、デフォルトのクォータはワークスペースあたり毎秒50,000メッセージです。より高いベータ版クォータをリクエストするには、Databricks担当者にお問い合わせください。
配信保証
Zerobus Ingestは、少なくとも1回の保証を提供します。
バッファリングされたデータの保持
Zerobus Ingest サービスがバッファリングされたデータを Delta テーブルにフラッシュできない場合、そのデータはサービス管理の永続ストレージに保持され、ストリームごとに警告イベントが随時出力されます。
データが28日間フラッシュされないままの場合、サービスはバッファリングされたデータを削除し、破棄されたレコード数とバイト数を記録するストリームごとの破棄イベントを発行します。削除後のデータを復元することはできません。
テーブルの動作
Zerobus Ingest が Delta テーブルとどのように連携するか。
パーティション分割されたテーブル
パーティション分割されたテーブルに書き込む際、Zerobus Ingestは5秒間隔で100を超えるパーティションへの書き込みをサポートしていません。最適なthroughputを得るには、5秒間隔ごとのパーティション数を最小限に抑えてください。
Databricks は、パーティション分割の代わりに Zerobus Ingest で リキッドクラスタリング テーブルを使用することをお勧めします。
ワークスペースとターゲットテーブル
取り込みは、以下のワークスペースおよびターゲットテーブルの設定で動作します。
- Zerobus Ingestは、管理されたDeltaテーブルへの書き込みをサポートしています。
- Zerobus Ingest は、ターゲットテーブルの再作成をサポートしていません。
- Zerobus Ingestは、ASCII文字、数字、アンダースコアを含むテーブル名のみをサポートしています。
- ワークスペースとターゲットテーブルの両方が、利用可能なリージョンのいずれかにある必要があります。
リキッドクラスタリングテーブル (Beta)
Zerobus Ingest をリキッドクラスタリングテーブルで使用する場合は、ターゲットテーブルに対して予測的最適化を有効にしておくことをお勧めします。Zerobus Ingest はテーブルにデータを書き込みますが、最適なデータクラスタリングは予測的最適化サービスによって非同期に適用されます。予測的最適化を無効にすると、取り込まれたデータのクエリーパフォーマンスが最適化されない可能性があります。
スキーマとデータ型
レコードサイズ
各メッセージの最大サイズは 10 MB です。レコードの最大サイズは 10,485,760 バイトです。通信に必要なヘッダーは 19 バイトを占有します。
スキーマ進化や Protobuf スキーマルールを含む、Zerobus Ingest がテーブルスキーマに対してレコードを検証する方法については、スキーマ管理を参照してください。サポートされている Delta および Protobuf データ型については、サポートされているデータ型を参照してください。