メインコンテンツまでスキップ
に最終更新

Zerobus Ingestコネクタの制限

備考

プレビュー

Zerobus Ingest コネクタはパブリック プレビュー段階です。

このページでは、 Lakeflow Connectで Zerobus Ingest コネクタを使用する際の制限事項について説明します。

耐久性​

単一の可用性ゾーン (single-az) の耐久性のみをサポートします。つまり、ゾーンが利用できない場合、当社のサービスがダウンタイムになる可能性があります。

スループット制限​

  • 同じAZ
  • ストリームあたり 100 MB/秒 (1 KB サイズのメッセージでベンチマーク)
  • ストリームあたり1秒あたり15,000行

クライアント アプリとエンドポイントが同じ地理的リージョンにある場合、最大のスループットを実現できます。より高いスループットが必要な場合は、Databricks アカウント担当者にお問い合わせください。

配送保証​

コネクタは少なくとも 1 回の保証のみを提供します。

workspace​

ワークスペースは次のいずれかのリージョンに存在する必要があります。

  • us-east-1
  • us-east-2
  • us-west-2
  • eu-central-1
  • ap-southeast-1
  • ap-southeast-2
  • ap-northeast-1
  • ca-central-1
  • eu-west-1

ターゲットテーブル​

  • 管理対象 Delta テーブルへの書き込みのみをサポートしています。管理対象ストレージへの書き込みはサポートされていません。

  • ターゲット テーブルの再作成はサポートされていません。

  • テーブル名には ASCII 文字、数字、アンダースコアのみサポートされます。

  • 次の地域がサポートされています:

    • us-east-1
    • us-east-2
    • us-west-2
    • eu-central-1
    • ap-southeast-1
    • ap-southeast-2
    • ap-northeast-1
    • ca-central-1
    • eu-west-1

スキーマの進化​

Zerobus Ingest はターゲット テーブルを自動的に進化させることは ありません 。

Zerobus Ingest は、 null 許容型 Delta 列がターゲット テーブルに追加されたときに継続的な取り込みをサポートします。欠落した列には NULL 値が入力されるため、欠落したフィールドを含むレコードを送信できます。

Protobufスキーマ​

protobuf スキーマ定義は、Delta テーブル スキーマと 1:1 で一致する必要があります (互換性に影響しない スキーマ変更 と見なされる追加の null 許容デルタ列は除きます)。

そうでない場合、API はエラーを返します。これには以下が含まれます:

  • 列数

  • 列名

  • 列のオプション性は Delta スキーマと Protobuf スキーマ間で一致する必要があります

  • 2000 を超える列を持つプロト スキーマはサポートされていません。

  • テーブル名と列名には、ASCII 文字/数字/アンダースコアのみサポートされます。

  • 「ストリーム作成」と「レコードの取り込み」に異なる proto スキーマを使用することはサポートされていません。

レコードサイズ​

各メッセージのサイズは 10 MB に制限されます。レコードサイズの最大値は 10_485_760 バイトです。通信に必要なヘッダーは 19 バイトを占有します。

タイプサポート​

Delta型

Protobuf 型

Integer

Int32

String

String

Float

Float

Long

Int64

Short

Int32

Double

Double

Boolean

bool

Binary

Bytes

Date*

Int32

Timestamp**

Int64

Array<TYPE>

repeated TYPE

Map<K,V>

map<K,V>

Struct<FIELDS>

message Nested { FIELDS }

変異体****

String

*int32（エポックからの日数）に変換する必要があります

** int64（エポック時間、マイクロ秒）に変換する必要があります

***マップ Protobuf 構文糖は、Protobuf コンパイラ バージョン 3 以降でのみ使用できます。

****バリアントは、 STRINGタイプのキーを持つ JSON エンコードされた文字列として取り込まれる必要があります。コネクタは細分化されていないデータを列に書き込みます。サポートされている形式は次のとおりです:

  • オブジェクト: "{\"id\":0,\"example\":\"this is variant example\"}"
  • プリミティブ: "5" 、 "3.14" 、 "\"string\""
  • 配列: "[1,2,3]"