メインコンテンツまでスキップ
に最終更新

Zerobus Ingestコネクタの制限

このページでは、 Lakeflow Connectで Zerobus Ingest コネクタを使用する際の制限事項について説明します。

可用性​

Zerobus Ingest コネクタは次のリージョンで利用できます。

  • us-east-1
  • us-east-2
  • us-west-2
  • ca-central-1
  • ap-southeast-1
  • ap-southeast-2
  • ap-northeast-1
  • ap-northeast-2
  • ap-south-1
  • eu-central-1
  • eu-west-1
  • eu-west-2
  • sa-east-1

利用可能なすべてのリージョンでは、マルチゾーンのサービスが利用可能です。

レイテンシー​

レイテンシは、耐久性の確認と、レコードをターゲット Delta テーブルに具体化する時間の両方を反映します。実際の時間は、リージョンの配置とワークロードの特性によって異なります。

  • 耐久性に要する時間

    • P95 ≤ 500 ms
    • P50 ≤ 200 ms

  • テーブルまでの時間

    • P95 ≤ 30秒
    • P50 ≤ 5秒

スループット制限​

  • ストリームあたり 100 MB/秒 (1KB サイズのメッセージでベンチマーク)
  • ターゲットテーブルあたり10 GB/秒
  • ストリームあたり1秒あたり15,000レコード

最大のスループットを実現するには、クライアント アプリとエンドポイントが同じ地理的リージョンに存在する必要があります。より高いスループットが必要な場合は、Databricks アカウント担当者にお問い合わせください。

配送保証​

Zerobus Ingest コネクタは、少なくとも 1 回の保証のみを提供します。

割り当て​

以下は、Zerobus Ingest コネクタのデフォルトのクォータです。より高いパフォーマンスが必要な場合は、Databricks アカウント担当者にお問い合わせください。

gRPC

  • ストリームあたり1秒あたり100MBのスループット
  • ターゲットテーブルあたり10GB/秒のスループット

REST

  • 1秒あたり10,000リクエスト

パーティションテーブル​

パーティション化されたテーブルに書き込む場合、Zerobus Ingest コネクタは 5 秒間隔内で 1000 を超えるパーティションへの書き込みをサポートしません。

カタログ管理コミット​

Zerobus Ingest はカタログ管理コミットをサポートしていません。カタログ管理コミットが有効になっている Delta テーブルには Zerobus Ingest を使用しないでください。

ワークスペースとターゲットテーブル​

取り込みには、次のワークスペースとターゲット テーブルの条件が必要です。

  • コネクタは、管理された Delta テーブルへの書き込みのみをサポートします。デフォルトのストレージへの書き込みはサポートされていません。
  • コネクタは、Liquid クラスター化テーブルへの書き込みをサポートしていません。
  • コネクタはターゲット テーブルの再作成をサポートしていません。
  • コネクタは、ASCII 文字、数字、アンダースコアを含むテーブル名のみをサポートします。
  • ワークスペースとターゲット テーブルの両方が、使用可能なリージョンのいずれかに存在し、両方とも同じリージョンに存在する必要があります。

スキーマの進化​

Zerobus Ingest はターゲット テーブルを自動的に進化させることは ありません 。

Zerobus Ingest は、null 許容型 Delta 列がターゲット テーブルに追加されたときに継続的な取り込みをサポートします。欠落している列にはNULL値が入力され、欠落しているフィールドを含むレコードを送信できるようになります。

Protobufスキーマ​

protobuf スキーマ定義は、Delta テーブル スキーマと 1:1 で一致する必要があります (互換性に影響しないスキーマ変更と見なされる、追加の null 許容デルタ列は除きます)。スキーマが一致しない場合、API はエラーを返します。これには以下が含まれます:

  • 列数が異なる

  • 異なる列名

  • 異なる列のオプション性（NULL 可能と NULL 不可）

  • コネクタは、2000 を超える列を持つプロト スキーマをサポートしていません。

  • コネクタは、ASCII 文字、数字、アンダースコアを含むテーブル名と列名のみをサポートします。

  • コネクタは、「ストリームの作成」および「レコードの取り込み」操作に異なる proto スキーマの使用をサポートしていません。

レコードサイズ​

各メッセージは 10 MB に制限されます。レコードサイズの最大値は 10,485,760 バイトです。通信に必要なヘッダーは 19 バイトを占有します。

タイプサポート​

次の表は、サポートされている Delta タイプと、それに対応する取り込み用の Protobuf タイプを示しています。

Delta型

Protobuf 型

INTEGER

int32

STRING

string

FLOAT

float

LONG

int64

SHORT

int32

DOUBLE

double

BOOLEAN

bool

BINARY

bytes

DATE

int32 (エポックからの日数) に変換する必要があります。

int32

TIMESTAMP

int64 (マイクロ秒単位のエポック時間) に変換する必要があります。

int64

ARRAY<TYPE>

repeated TYPE

MAP<K,V>

map<K,V>

map Protobuf 構文糖衣は、Protobuf コンパイラ バージョン 3 以降でのみ使用できます。

STRUCT<FIELDS>

message Nested { FIELDS }

VARIANT

バリアントは、タイプSTRINGのキーを持つ JSON エンコードされた文字列として取り込まれる必要があります。コネクタは細分化されていないデータを列に書き込みます。

サポートされている形式は次のとおりです:

  • オブジェクト: "{\"id\":0,\"example\":\"this is variant example\"}"
  • プリミティブ: "5" 、 "3.14" 、 "\"string\""
  • 配列: "[1,2,3]"

string