OneDriveコネクター
ベータ版
この機能はベータ版です。ワークスペース管理者は、 プレビュー ページで Lakeflow Connect for OneDrive For Business のプレビューにオプトインすることで、この機能へのアクセスを制御できます。Databricksのプレビューを管理するを参照してください。
Lakeflow Connect の管理対象OneDriveコネクタを使用すると、ユーザーのOneDrive for Businessの マイ ファイル ドライブからDatabricksにファイルを取り込めます。非構造化ファイルをバイナリデータまたは管理対象FILE値として取り込み、構造化形式(CSV、JSON、XML、EXCELなど)をDeltaテーブルに解析するか、ファイルコンテンツを読み込まずにファイルメタデータを取得します。
SharePointサイト、チームサイト、または共有ドキュメントライブラリからファイルを取り込むには、管理対象のSharePointコネクタを使用してください。
SQL API および Spark API(read_files、spark.read、Auto Loader)を使用して OneDrive から読み取る方法については、OneDrive からファイルを取り込むを参照してください。
起動前に知っておくべきこと
トピック | 重要な理由 |
|---|---|
メタストアに対する | |
接続を作成するためのステップは、選択した認証方法によって異なります。 | |
パイプラインを作成するステップは、インターフェイスによって異なります。UIベースのパイプライン・オーサリングはサポートされていません。 | |
パイプラインのスケジュールは、レイテンシとコストの要件によって異なります。 | |
取り込みのニーズに応じて、パイプラインでは履歴追跡、列の選択、行のフィルタリングなどの構成を使用する場合があります。サポートされる構成は、コネクタによって異なります。「機能の可用性」を参照してください。 |
OneDriveから取り込みを起動
次の表に、接続権限に基づくOneDrive取り込みフロー全体の概要を示します。
必要な特権 | ステップ |
|---|---|
|
|
| サポートされているインターフェイスを使用して、既存の接続からパイプラインを作成してください。OneDriveからデータを取り込むを参照してください。 |
機能の利用可能状況
機能 | 可用性 |
|---|---|
UIベースのパイプライン・オーサリング |
|
API ベースのパイプライン オーサリング |
|
宣言型オートメーションバンドル |
|
増分取り込み |
|
Unity Catalogのガバナンス |
|
Databricks Workflowsを使用したオーケストレーション |
|
SCDタイプ2 |
|
スキーマの展開 |
|
APIベースの行フィルタリング |
|
サポートされているファイル形式
このコネクタは、非構造化ファイルと構造化ファイルの両方の取り込みをサポートします:
- 非構造化:管理対象ファイルの参照(
FILE、Beta)およびBINARYFILE。 - 構造化および半構造化:
CSV、JSON、XML、EXCEL、PARQUET、AVRO、ORC。
宛先テーブルのスキーマについては、取り込まれたデータ形式を参照してください。コネクター固有の制限事項については、Microsoft OneDriveコネクターの制限事項を参照してください。
認証方法
認証方法 | 可用性 |
|---|---|
OAuth U2M:Databricks管理 |
Microsoft Entra IDのアプリ登録は必要ありません。このオプションが一覧にない場合は、 OAuth U2M:カスタム管理 を使用してください。「Microsoft OneDriveの取り込み向けOAuth U2M:Databricks管理の構成」を参照してください。 |
OAuth U2M:カスタム管理 |
独自のMicrosoft Entra IDアプリを使用します。Microsoft OneDriveの取り込み用に「OAuth U2M:カスタム管理」を構成します。 |
OAuth M2M |
|
OAuth(手動更新トークン) |
|
どちらのU2M方式でも、接続はサインインしているMicrosoftアカウントとして認証されるため、パイプラインで取り込めるのはそのアカウントがアクセスできるファイルのみです。