メインコンテンツまでスキップ
に最終更新

Zerobus Ingest の機能

このページでは、 Lakeflow Connectにおける Zerobus Ingest の概要について説明します。各機能から、その完全なドキュメントにリンクしています。

常時稼働Endpoint​

Zerobus Ingest は、サポートされているリージョンのワークスペースで default でオンになっている Serverless エンドポイントです。起動、プロビジョニング、またはスケールする対象はありません。ターゲットテーブルと、そのテーブルへのアクセス権を持つ Service Principal を用意すれば、データのプッシュを開始できます。ストリームを増やすと、容量は自動的にスケールします。開始するには、「Zerobus Ingest の使用」を参照してください。

Delta テーブル機能​

Zerobus Ingest は標準の Unity Catalog マネージド Delta テーブルに書き込むため、取り込まれたデータは Delta テーブルの機能と連携します。ターゲットテーブルが満たすべき要件については、「テーブルの要件」を参照してください。

  • パーティション分割されたテーブル : サポートされていますが、パーティションのファンアウト制限が適用されます。Databricks では、カーディナリティの高いキーに対してリキッドクラスタリングを推奨しています。パーティション分割されたテーブルを参照してください。
  • リキッドクラスタリングテーブル (ベータ版): 推奨されるLayoutであり、パーティションのファンアウト制限なしでクエリパフォーマンスのためにデータを整理します。テーブルにリキッドクラスタリングを使用するを参照してください。
  • バリアントデータ : 半構造化データをVARIANTカラムに取り込みます。サポートされているデータ型を参照してください。

永続的なfallbackロケーション​

Zerobus Ingest がデータを耐久性のある状態にした後、テーブルへの公開が行われる前にテーブルの破壊的な変更が発生した場合、Zerobus Ingest はデータを破棄するのではなく、テーブルのストレージ・ロケーション内の fallback ディレクトリに Parquet ファイルとして書き込みます。スキーマを修正した後にこのデータを検索して再処理するには、耐久性のある fallback ロケーションからのデータ復旧を参照してください。

使用状況のモニタリング​

システムテーブルを使用して、Zerobus Ingest の使用状況と利用料金を監視します。Zerobus Ingest システムテーブル リファレンスを参照してください。また、利用料金については、コスト配下の課金システムテーブルを参照してください。

このページの見出し