メインコンテンツまでスキップ

OneDriveコネクター

備考

ベータ版

この機能はベータ版です。ワークスペース管理者は、 プレビュー ページで Lakeflow Connect for OneDrive For Business のプレビューにオプトインすることで、この機能へのアクセスを制御できます。Databricksのプレビューを管理するを参照してください。

Lakeflow Connect の管理対象OneDriveコネクタを使用すると、ユーザーのOneDrive for Businessの マイ ファイル ドライブからDatabricksにファイルを取り込めます。非構造化ファイルをバイナリデータまたは管理対象FILE値として取り込み、構造化形式(CSV、JSON、XML、EXCELなど)をDeltaテーブルに解析するか、ファイルコンテンツを読み込まずにファイルメタデータを取得します。

SharePointサイト、チームサイト、または共有ドキュメントライブラリからファイルを取り込むには、管理対象のSharePointコネクタを使用してください。

SQL API および Spark API(read_files、spark.read、Auto Loader)を使用して OneDrive から読み取る方法については、OneDrive からファイルを取り込むを参照してください。

起動前に知っておくべきこと​

トピック

重要な理由

接続権限

メタストアに対する CREATE CONNECTION 特権が必要です。既存の接続からパイプラインを作成するには、USE CONNECTION 特権または ALL PRIVILEGES が接続に必要です。

認証方法

接続を作成するためのステップは、選択した認証方法によって異なります。

インターフェース

パイプラインを作成するステップは、インターフェイスによって異なります。UIベースのパイプライン・オーサリングはサポートされていません。

データ取り込み頻度

パイプラインのスケジュールは、レイテンシとコストの要件によって異なります。

一般的なパターン

取り込みのニーズに応じて、パイプラインでは履歴追跡、列の選択、行のフィルタリングなどの構成を使用する場合があります。サポートされる構成は、コネクタによって異なります。「機能の可用性」を参照してください。

トピック

重要な理由

接続権限

メタストアに対する CREATE CONNECTION 特権が必要です。既存の接続からパイプラインを作成するには、USE CONNECTION 特権または ALL PRIVILEGES が接続に必要です。

認証方法

接続を作成するためのステップは、選択した認証方法によって異なります。

インターフェース

パイプラインを作成するステップは、インターフェイスによって異なります。UIベースのパイプライン・オーサリングはサポートされていません。

データ取り込み頻度

パイプラインのスケジュールは、レイテンシとコストの要件によって異なります。

一般的なパターン

取り込みのニーズに応じて、パイプラインでは履歴追跡、列の選択、行のフィルタリングなどの構成を使用する場合があります。サポートされる構成は、コネクタによって異なります。「機能の可用性」を参照してください。

OneDriveから取り込みを起動​

次の表に、接続権限に基づくOneDrive取り込みフロー全体の概要を示します。

必要な特権

ステップ

CREATE CONNECTION メタストア上

  1. (OAuth U2M:カスタム管理のみ)独自のMicrosoft Entra IDアプリを使用して、OneDrive認証を構成します。「Microsoft OneDriveの取り込み用にOAuth U2M:カスタム管理を構成する」を参照してください。
  2. OneDriveへの接続を作成します。「OneDrive接続を作成」を参照してください。
  3. 接続から取り込みパイプラインを作成します。「OneDriveからデータを取り込む」を参照してください。

USE CONNECTION または既存の接続でALL PRIVILEGES

サポートされているインターフェイスを使用して、既存の接続からパイプラインを作成してください。OneDriveからデータを取り込むを参照してください。

必要な特権

ステップ

CREATE CONNECTION メタストア上

  1. (OAuth U2M:カスタム管理のみ)独自のMicrosoft Entra IDアプリを使用して、OneDrive認証を構成します。「Microsoft OneDriveの取り込み用にOAuth U2M:カスタム管理を構成する」を参照してください。
  2. OneDriveへの接続を作成します。「OneDrive接続を作成」を参照してください。
  3. 接続から取り込みパイプラインを作成します。「OneDriveからデータを取り込む」を参照してください。

USE CONNECTION または既存の接続でALL PRIVILEGES

サポートされているインターフェイスを使用して、既存の接続からパイプラインを作成してください。OneDriveからデータを取り込むを参照してください。

機能の利用可能状況​

機能

可用性

UIベースのパイプライン・オーサリング

赤色のXアイコン サポートされていません

API ベースのパイプライン オーサリング

緑色のチェックアイコン サポートされています

宣言型オートメーションバンドル

赤色のXアイコン サポートされていません

増分取り込み

緑色のチェックアイコン サポートされています

Unity Catalogのガバナンス

緑色のチェックアイコン サポートされています

Databricks Workflowsを使用したオーケストレーション

緑色のチェックアイコン サポートされています

SCDタイプ2

赤色のXアイコン サポートされていません

スキーマの展開

緑色のチェックアイコン サポートされています

schema_evolution_modeで構成できます。「Microsoft OneDrive コネクタのリファレンス」を参照してください。

APIベースの行フィルタリング

緑色のチェックアイコン サポートされています

機能

可用性

UIベースのパイプライン・オーサリング

赤色のXアイコン サポートされていません

API ベースのパイプライン オーサリング

緑色のチェックアイコン サポートされています

宣言型オートメーションバンドル

赤色のXアイコン サポートされていません

増分取り込み

緑色のチェックアイコン サポートされています

Unity Catalogのガバナンス

緑色のチェックアイコン サポートされています

Databricks Workflowsを使用したオーケストレーション

緑色のチェックアイコン サポートされています

SCDタイプ2

赤色のXアイコン サポートされていません

スキーマの展開

緑色のチェックアイコン サポートされています

schema_evolution_modeで構成できます。「Microsoft OneDrive コネクタのリファレンス」を参照してください。

APIベースの行フィルタリング

緑色のチェックアイコン サポートされています

サポートされているファイル形式​

このコネクタは、非構造化ファイルと構造化ファイルの両方の取り込みをサポートします:

  • 非構造化:管理対象ファイルの参照(FILE、Beta)およびBINARYFILE。
  • 構造化および半構造化:CSV、JSON、XML、EXCEL、PARQUET、AVRO、ORC。

宛先テーブルのスキーマについては、取り込まれたデータ形式を参照してください。コネクター固有の制限事項については、Microsoft OneDriveコネクターの制限事項を参照してください。

認証方法​

認証方法

可用性

OAuth U2M:Databricks管理

緑色のチェックアイコン ワークスペースで有効化した場合にサポートされます

Microsoft Entra IDのアプリ登録は必要ありません。このオプションが一覧にない場合は、 OAuth U2M:カスタム管理 を使用してください。「Microsoft OneDriveの取り込み向けOAuth U2M:Databricks管理の構成」を参照してください。

OAuth U2M:カスタム管理

緑色のチェックアイコン サポートされています

独自のMicrosoft Entra IDアプリを使用します。Microsoft OneDriveの取り込み用に「OAuth U2M:カスタム管理」を構成します。

OAuth M2M

赤色のXアイコン サポートされていません

OAuth(手動更新トークン)

赤色のXアイコン サポートされていません

認証方法

可用性

OAuth U2M:Databricks管理

緑色のチェックアイコン ワークスペースで有効化した場合にサポートされます

Microsoft Entra IDのアプリ登録は必要ありません。このオプションが一覧にない場合は、 OAuth U2M:カスタム管理 を使用してください。「Microsoft OneDriveの取り込み向けOAuth U2M:Databricks管理の構成」を参照してください。

OAuth U2M:カスタム管理

緑色のチェックアイコン サポートされています

独自のMicrosoft Entra IDアプリを使用します。Microsoft OneDriveの取り込み用に「OAuth U2M:カスタム管理」を構成します。

OAuth M2M

赤色のXアイコン サポートされていません

OAuth(手動更新トークン)

赤色のXアイコン サポートされていません

どちらのU2M方式でも、接続はサインインしているMicrosoftアカウントとして認証されるため、パイプラインで取り込めるのはそのアカウントがアクセスできるファイルのみです。