Zerobus Ingestコネクタの制限

備考

プレビュー

Zerobus Ingest コネクタはパブリック プレビュー段階です。お試しいただくには、Databricks アカウント担当者にお問い合わせください。

このページでは、 LakeFlow Connectで Zerobus Ingest コネクタを使用する際の制限事項について説明します。

耐久性

単一の可用性ゾーン (single-az) の耐久性のみをサポートします。つまり、ゾーンが利用できない場合、当社のサービスがダウンタイムになる可能性があります。

スループット制限

• 同じAZ
• ストリームあたり 100 MB/秒 (1 KB サイズのメッセージでベンチマーク)
• ストリームあたり1秒あたり15,000行

クライアント アプリとエンドポイントが同じ地理的リージョンにある場合、最大のスループットを実現できます。より高いスループットが必要な場合は、Databricks アカウント担当者にお問い合わせください。

配送保証

コネクタは少なくとも 1 回の保証のみを提供します。

workspace

ワークスペースは次のいずれかのリージョンに存在する必要があります。

• us-east-1
• us-east-2
• us-west-2
• eu-central-1
• ap-southeast-1
• ap-southeast-2
• ap-northeast-1
• ca-central-1
• eu-west-1

ターゲットテーブル

• 管理対象 Delta テーブルへの書き込みのみをサポートしています。管理対象ストレージへの書き込みはサポートされていません。

• ターゲット テーブルの再作成はサポートされていません。

• テーブル名には ASCII 文字、数字、アンダースコアのみサポートされます。

• 次の地域がサポートされています:

  • us-east-1
  • us-east-2
  • us-west-2
  • eu-central-1
  • ap-southeast-1
  • ap-southeast-2
  • ap-northeast-1
  • ca-central-1
  • eu-west-1

スキーマの進化

対象テーブルではスキーマ進化はサポートしておりません。

Protobufスキーマ

• protobuf スキーマ定義は、Delta テーブル スキーマと 1:1 で一致する必要があります。そうでない場合、API はエラーを返します。これには以下が含まれます:

  • 列数
  • 列名
  • 列のオプション性は Delta スキーマと Protobuf スキーマ間で一致する必要があります

• 2000 を超える列を持つプロト スキーマはサポートされていません。

• テーブル名と列名には、ASCII 文字/数字/アンダースコアのみサポートされます。

• 「ストリーム作成」と「レコードの取り込み」に異なる proto スキーマを使用することはサポートされていません。

レコードサイズ

各メッセージのサイズは 4 MB に制限されます。レコードサイズの最大値は 4,194,285 バイトです。通信に必要なヘッダーは 19 バイトを占有します。

タイプサポート

Delta型	Protobuf 型
Integer	整数32
String	String
Float	Float
Long	整数64
Short	整数32
Double	Double
Boolean	bool
バイナリ	バイト
日付*	整数32
タイムスタンプ**	整数64
Array<TYPE>	繰り返しタイプ
マップ<K,V>	map<K,V>
Struct<FIELDS>	メッセージネスト { FIELDS }

*int32（エポックからの日数）に変換する必要があります

** int64（エポック時間、マイクロ秒）に変換する必要があります

***マップ Protobuf 構文糖は、Protobuf コンパイラ バージョン 3 以降でのみ使用できます。