Google Drive コネクタ
LakeFlow Connect のマネージド Google ドライブ コネクタを使用すると、Google Drive から Databricks にファイルを取り込むことができます。非構造化ファイルをバイナリデータとして取り込み、構造化形式(CSV、JSON、XML、EXCEL など)をDeltaテーブルに解析し、または、ファイルの内容をロードせずにファイルメタデータをキャプチャします。
SparkリーダーAPIs(read_files、spark.read、Auto Loader)を使用する標準的なGoogle Driveコネクタについては、Google Driveからファイルをインジェストするを参照してください。
開始する前に知っておくこと
トピック | それが重要な理由 |
|---|---|
接続を作成するには、メタストアに対する | |
接続を作成するためのステップは、選択する認証方法によって異なります。 | |
パイプラインを作成するステップは、インターフェースによって異なります。 | |
パイプラインのスケジュールは、レイテンシーとコストの要件によって異なります。 | |
取り込みのニーズに応じて、パイプラインは履歴追跡、列選択、行フィルタリングなどの設定を使用する場合があります。対応構成はコネクタによって異なります。「機能の利用可能性」を参照してください。 |
Google Drive から取り込みを開始する
次の表に、接続権限に基づくエンドツーエンドの Google ドライブ取り込みフローの概要を示します。
必要な権限 | ステップ |
|---|---|
|
|
| サポートされている任意のインターフェイスを使用して、既存の接続からパイプラインを作成します。「Google Drive からのデータの取り込み」を参照してください。 |
機能の利用可能状況
機能 | 可用性 |
|---|---|
UI ベースのパイプライン オーサリング |
|
API ベースのパイプライン オーサリング |
|
宣言型オートメーションバンドル |
|
増分取り込み |
|
Unity Catalog ガバナンス |
|
Databricks Workflowsによるオーケストレーション |
|
SCDタイプ2 |
|
スキーマの展開 |
|
APIベースの行フィルタリング |
|
認証方法
認証方法 | 可用性 |
|---|---|
OAuth U2M:Databricks管理 |
Google Cloud プロジェクトまたはアプリの登録は必要ありません。このオプションが表示されない場合は、 OAuth U2M:カスタム管理 を使用します。「Configure OAuth U2M: Databricks-managed for Google Drive ingestion」を参照してください。 |
OAuth U2M:カスタム管理 |
独自の Google Cloud アプリを使用します。OAuth U2M: Google Drive 取り込み向けカスタム管理の構成を参照してください。 |
OAuthサービスアカウント |
Google サービス アカウントのキーを使用します。Google ドライブ取り込み用の OAuth サービス アカウントの構成を参照してください。 |