メインコンテンツまでスキップ

Google Drive コネクタ

LakeFlow Connect のマネージド Google ドライブ コネクタを使用すると、Google Drive から Databricks にファイルを取り込むことができます。非構造化ファイルをバイナリデータとして取り込み、構造化形式(CSV、JSON、XML、EXCEL など)をDeltaテーブルに解析し、または、ファイルの内容をロードせずにファイルメタデータをキャプチャします。

SparkリーダーAPIs(read_files、spark.read、Auto Loader)を使用する標準的なGoogle Driveコネクタについては、Google Driveからファイルをインジェストするを参照してください。

開始する前に知っておくこと​

トピック

それが重要な理由

接続権限

接続を作成するには、メタストアに対する CREATE CONNECTION 権限が必要です。既存の接続からパイプラインを作成するには、その接続に対する USE CONNECTION 権限または ALL PRIVILEGES が必要です。

認証方法

接続を作成するためのステップは、選択する認証方法によって異なります。

インターフェース

パイプラインを作成するステップは、インターフェースによって異なります。

データ取り込み頻度

パイプラインのスケジュールは、レイテンシーとコストの要件によって異なります。

一般的なパターン

取り込みのニーズに応じて、パイプラインは履歴追跡、列選択、行フィルタリングなどの設定を使用する場合があります。対応構成はコネクタによって異なります。「機能の利用可能性」を参照してください。

トピック

それが重要な理由

接続権限

接続を作成するには、メタストアに対する CREATE CONNECTION 権限が必要です。既存の接続からパイプラインを作成するには、その接続に対する USE CONNECTION 権限または ALL PRIVILEGES が必要です。

認証方法

接続を作成するためのステップは、選択する認証方法によって異なります。

インターフェース

パイプラインを作成するステップは、インターフェースによって異なります。

データ取り込み頻度

パイプラインのスケジュールは、レイテンシーとコストの要件によって異なります。

一般的なパターン

取り込みのニーズに応じて、パイプラインは履歴追跡、列選択、行フィルタリングなどの設定を使用する場合があります。対応構成はコネクタによって異なります。「機能の利用可能性」を参照してください。

Google Drive から取り込みを開始する​

次の表に、接続権限に基づくエンドツーエンドの Google ドライブ取り込みフローの概要を示します。

必要な権限

ステップ

CREATE CONNECTION メタストア上

  1. Google Drive の認証を設定します。Google Drive 取り込み設定の概要を参照してください。
  2. Google Drive への接続を作成します。Google Drive 接続の作成を参照してください。
  3. Create an ingestion パイプライン from the connection.See Ingest data from Google Drive.

USE CONNECTION または既存の接続で ALL PRIVILEGES

サポートされている任意のインターフェイスを使用して、既存の接続からパイプラインを作成します。「Google Drive からのデータの取り込み」を参照してください。

必要な権限

ステップ

CREATE CONNECTION メタストア上

  1. Google Drive の認証を設定します。Google Drive 取り込み設定の概要を参照してください。
  2. Google Drive への接続を作成します。Google Drive 接続の作成を参照してください。
  3. Create an ingestion パイプライン from the connection.See Ingest data from Google Drive.

USE CONNECTION または既存の接続で ALL PRIVILEGES

サポートされている任意のインターフェイスを使用して、既存の接続からパイプラインを作成します。「Google Drive からのデータの取り込み」を参照してください。

機能の利用可能状況​

機能

可用性

UI ベースのパイプライン オーサリング

緑色のチェックマーク サポートされています

API ベースのパイプライン オーサリング

緑色のチェックマーク サポートされています

宣言型オートメーションバンドル

緑色のチェックマーク サポートされています

増分取り込み

緑色のチェックマーク サポートされています

Unity Catalog ガバナンス

緑色のチェックマーク サポートされています

Databricks Workflowsによるオーケストレーション

緑色のチェックマーク サポートされています

SCDタイプ2

赤色のXアイコン サポートされていません。

スキーマの展開

緑色のチェックマーク サポートされています

schema_evolution_modeで構成可能です。「Google Drive コネクタのリファレンス」を参照してください。

APIベースの行フィルタリング

緑色のチェックマーク サポートされています

機能

可用性

UI ベースのパイプライン オーサリング

緑色のチェックマーク サポートされています

API ベースのパイプライン オーサリング

緑色のチェックマーク サポートされています

宣言型オートメーションバンドル

緑色のチェックマーク サポートされています

増分取り込み

緑色のチェックマーク サポートされています

Unity Catalog ガバナンス

緑色のチェックマーク サポートされています

Databricks Workflowsによるオーケストレーション

緑色のチェックマーク サポートされています

SCDタイプ2

赤色のXアイコン サポートされていません。

スキーマの展開

緑色のチェックマーク サポートされています

schema_evolution_modeで構成可能です。「Google Drive コネクタのリファレンス」を参照してください。

APIベースの行フィルタリング

緑色のチェックマーク サポートされています

認証方法​

認証方法

可用性

OAuth U2M:Databricks管理

緑色のチェックマーク ワークスペースで有効になっている場合にサポートされます

Google Cloud プロジェクトまたはアプリの登録は必要ありません。このオプションが表示されない場合は、 OAuth U2M:カスタム管理 を使用します。「Configure OAuth U2M: Databricks-managed for Google Drive ingestion」を参照してください。

OAuth U2M:カスタム管理

緑色のチェックマーク サポートされています

独自の Google Cloud アプリを使用します。OAuth U2M: Google Drive 取り込み向けカスタム管理の構成を参照してください。

OAuthサービスアカウント

緑色のチェックマーク サポートされています

Google サービス アカウントのキーを使用します。Google ドライブ取り込み用の OAuth サービス アカウントの構成を参照してください。

認証方法

可用性

OAuth U2M:Databricks管理

緑色のチェックマーク ワークスペースで有効になっている場合にサポートされます

Google Cloud プロジェクトまたはアプリの登録は必要ありません。このオプションが表示されない場合は、 OAuth U2M:カスタム管理 を使用します。「Configure OAuth U2M: Databricks-managed for Google Drive ingestion」を参照してください。

OAuth U2M:カスタム管理

緑色のチェックマーク サポートされています

独自の Google Cloud アプリを使用します。OAuth U2M: Google Drive 取り込み向けカスタム管理の構成を参照してください。

OAuthサービスアカウント

緑色のチェックマーク サポートされています

Google サービス アカウントのキーを使用します。Google ドライブ取り込み用の OAuth サービス アカウントの構成を参照してください。