ファイル コネクタ
Databricks Lakeflow Connect には、クラウドオブジェクトストレージやエンタープライズファイルストレージサービスからファイルを取り込むためのコネクタが用意されています。構成ベースのインジェストサービスにはマネージドコネクタを選択し、より広範囲のファイルソースと詳細な制御を行うには SQL および Spark API を選択します。
マネージドファイルコネクタ
管理されたファイルコネクタは、各ソースの認証、段階的な読み取り、自動再試行を処理します：
-
- Google Drive
- Google Driveから管理ファイルソースインジェストを使用して、レイクハウスにファイルを取り込みます。
-
- Microsoft SharePoint
- Microsoft SharePointサイトからマネージドファイルソース取り込みを使用してファイルを取り込みます。
標準ファイルコネクタ
標準のファイル コネクタは Spark API および SQL API を使用するため、ファイルの読み取り方法や処理方法をより詳細に制御できます：
-
- クラウドオブジェクトストレージ
- Auto Loader または
COPY INTOを使用して、S3、ADLS、または GCS からファイルを取り込みます。
-
- SFTP サーバー
- SFTPサーバーからファイルを取り込みます。
-
- Google Drive
- SparkリーダーAPIを使用してGoogle Driveからファイルをインジェストします。
-
- OneDrive
- Spark リーダー API を使用して OneDrive からファイルをインジェストします。
-
- SharePoint
- SparkリーダーAPIを使用して、SharePointからファイルを取り込みます。
コネクタ コンポーネント
ファイルソースコネクタには次のコンポーネントがあります。
コンポーネント | 説明 |
|---|---|
接続 | ファイルストレージサービス用の認証の詳細を格納する、Unity Catalog のセキュリティ保護可能なオブジェクトです。 |
取り込みパイプライン | ソースから送信先テーブルにファイルをコピーするパイプライン。この取り込みパイプラインはサーバレスコンピュートで実行されます。 |
宛先テーブル | 取り込み パイプラインがデータを書き込むテーブル。これらは ストリーミングテーブルであり、増分データ処理の追加サポートを備えた Delta テーブルです。 |