Microsoft OneDriveコネクターのリファレンス

備考

ベータ版

この機能はベータ版です。ワークスペース管理者は、 プレビュー ページから、 Lakeflow Connect for OneDrive For Business のプレビューにオプトインすることで、この機能へのアクセスを制御できます。Databricksのプレビューを管理するを参照してください。

このページには、Databricks Lakeflow ConnectのMicrosoft OneDriveコネクタに関するリファレンス資料が含まれています。

onedrive_optionsパラメーター

パイプライン定義の各テーブルのconnector_options.onedrive_optionsブロック内で、これらのオプションを設定します。

パラメーター	Type	必須	説明
url	String	はい	取り込み元となるOneDrive for Businessの My files ドライブ、フォルダー、ファイル、または共有リンクのURL。URLでは個人用の<tenant>-my.sharepoint.comホストを使用する必要があります。URL形式の詳細については、OneDriveからファイルを読み取るを参照してください。
entity_type	String	No	取り込むエンティティのタイプ。サポートされる値は、FILE（ファイルコンテンツとメタデータを取り込む）およびFILE_METADATA（ファイルコンテンツをdownloadせず、メタデータのみを取り込む）です。defaultはFILEです。FILE_METADATAはBINARYFILE形式でのみ使用します。
file_ingestion_options	オブジェクト	はい	ファイル形式と取り込み動作を制御します。file_ingestion_options パラメーターをご覧ください。

パラメーター	Type	必須	説明
url	String	はい	取り込み元となるOneDrive for Businessの My files ドライブ、フォルダー、ファイル、または共有リンクのURL。URLでは個人用の<tenant>-my.sharepoint.comホストを使用する必要があります。URL形式の詳細については、OneDriveからファイルを読み取るを参照してください。
entity_type	String	No	取り込むエンティティのタイプ。サポートされる値は、FILE（ファイルコンテンツとメタデータを取り込む）およびFILE_METADATA（ファイルコンテンツをdownloadせず、メタデータのみを取り込む）です。defaultはFILEです。FILE_METADATAはBINARYFILE形式でのみ使用します。
file_ingestion_options	オブジェクト	はい	ファイル形式と取り込み動作を制御します。file_ingestion_options パラメーターをご覧ください。

file_ingestion_optionsパラメーター

これらのオプションをonedrive_options.file_ingestion_options内で設定します。

パラメーター	Type	必須	説明
format	String	はい	取り込むファイル形式。サポートされている値：BINARYFILE、CSV、JSON、XML、EXCEL、PARQUET、AVRO、ORC、FILE（ベータ）。非構造化データの取り込みには、BINARYFILEまたはFILEを使用します（PDF、Officeファイル、画像）。ファイルの内容を行として解析するには、構造化形式を使用します。構造化形式は、entity_typeがFILEの場合にのみ適用されます。entity_typeがFILE_METADATAの場合は、BINARYFILEを使用します。
file_filters	オブジェクトの配列	No	取り込むファイルを制限するフィルター。各フィルター オブジェクトには、次のキーのいずれか 1 つを含めることができます： path_filter （string）：ファイル名またはパスに照合されるglobパターン。Spark パス glob フィルターに基づきます。 modified_before （文字列）：YYYY-MM-DDTHH:mm:ss形式のTimestamp。この時刻より前に変更されたファイルのみが取り込まれます。 modified_after （文字列）：YYYY-MM-DDTHH:mm:ss形式のTimestamp。この時刻より後に変更されたファイルのみが取り込まれます。
infer_column_types	Boolean	No	構造化データおよび半構造化データの正確なデータ型を推測するかどうか。defaultはtrueです。
schema_evolution_mode	String	No	受信ファイルの新しい列の処理方法を制御します。モードは、Auto Loaderのスキーマ進化モードに対応しています。サポートされている値：ADD_NEW_COLUMNS_WITH_TYPE_WIDENING（default）、ADD_NEW_COLUMNS、RESCUE、FAIL_ON_NEW_COLUMNS、NONE。スキーマ進化は、CSV、JSON、XML、PARQUET、AVROにのみ適用されます。その他の形式の場合は、NONEを設定してください。「Auto Loaderのスキーマ進化の仕組み」を参照してください。
schema_hints	String	No	推測された列タイプを上書きします。column_name TYPEペアのカンマで区切られたリストとして指定してください。例：order_id INT, amount DOUBLE。スキーマヒントを使用してスキーマ推論をオーバーライドするをご覧ください。
ignore_corrupt_files	Boolean	No	取り込み中に破損したファイルをスキップするかどうか。
corrupt_record_column	String	No	破損レコード列をサポートする形式で、不正な形式のレコードを格納する列。
rescued_data_column	String	No	推測または指定されたスキーマと一致しないデータを格納する列。
single_variant_column	String	No	このオプションをサポートする形式で、入力レコード全体を単一のVARIANT値として格納する列。
reader_case_sensitive	Boolean	No	データをレスキューする際に、列の照合で大文字と小文字を区別するかどうか。
format_options	オブジェクト	No	形式固有の解析オプション。キーは標準のAuto Loader形式オプション名です。「形式オプション」を参照してください。

パラメーター	Type	必須	説明
format	String	はい	取り込むファイル形式。サポートされている値：BINARYFILE、CSV、JSON、XML、EXCEL、PARQUET、AVRO、ORC、FILE（ベータ）。非構造化データの取り込みには、BINARYFILEまたはFILEを使用します（PDF、Officeファイル、画像）。ファイルの内容を行として解析するには、構造化形式を使用します。構造化形式は、entity_typeがFILEの場合にのみ適用されます。entity_typeがFILE_METADATAの場合は、BINARYFILEを使用します。
file_filters	オブジェクトの配列	No	取り込むファイルを制限するフィルター。各フィルター オブジェクトには、次のキーのいずれか 1 つを含めることができます： path_filter （string）：ファイル名またはパスに照合されるglobパターン。Spark パス glob フィルターに基づきます。 modified_before （文字列）：YYYY-MM-DDTHH:mm:ss形式のTimestamp。この時刻より前に変更されたファイルのみが取り込まれます。 modified_after （文字列）：YYYY-MM-DDTHH:mm:ss形式のTimestamp。この時刻より後に変更されたファイルのみが取り込まれます。
infer_column_types	Boolean	No	構造化データおよび半構造化データの正確なデータ型を推測するかどうか。defaultはtrueです。
schema_evolution_mode	String	No	受信ファイルの新しい列の処理方法を制御します。モードは、Auto Loaderのスキーマ進化モードに対応しています。サポートされている値：ADD_NEW_COLUMNS_WITH_TYPE_WIDENING（default）、ADD_NEW_COLUMNS、RESCUE、FAIL_ON_NEW_COLUMNS、NONE。スキーマ進化は、CSV、JSON、XML、PARQUET、AVROにのみ適用されます。その他の形式の場合は、NONEを設定してください。「Auto Loaderのスキーマ進化の仕組み」を参照してください。
schema_hints	String	No	推測された列タイプを上書きします。column_name TYPEペアのカンマで区切られたリストとして指定してください。例：order_id INT, amount DOUBLE。スキーマヒントを使用してスキーマ推論をオーバーライドするをご覧ください。
ignore_corrupt_files	Boolean	No	取り込み中に破損したファイルをスキップするかどうか。
corrupt_record_column	String	No	破損レコード列をサポートする形式で、不正な形式のレコードを格納する列。
rescued_data_column	String	No	推測または指定されたスキーマと一致しないデータを格納する列。
single_variant_column	String	No	このオプションをサポートする形式で、入力レコード全体を単一のVARIANT値として格納する列。
reader_case_sensitive	Boolean	No	データをレスキューする際に、列の照合で大文字と小文字を区別するかどうか。
format_options	オブジェクト	No	形式固有の解析オプション。キーは標準のAuto Loader形式オプション名です。「形式オプション」を参照してください。

table_configurationパラメーター

パイプライン定義内の各テーブルの table_configuration ブロック内に、これらのオプションを設定します。table_configuration は connector_options の兄弟であり、その中にネストされていません。

パラメーター	Type	必須	説明
storage_mode	String	No	宛先テーブルのストレージモード。サポートされている値： SCD_TYPE_1 （BINARYFILEとFILEでのdefaultかつ唯一サポートされるモード）：ファイルが変更されたときは現在の行を置き換え、ファイルが削除されたときは現在の行を削除します。 APPEND_ONLY （構造化形式でのdefaultかつ唯一サポートされているモード）：新規または更新されたファイルの新しい行を追加します。 これらはdefaultであり、サポートされている唯一の値であるため、storage_modeを明示的に設定する必要はありません。scd_typeを設定するとエラーが発生します。代わりにstorage_modeを使用してください。

パラメーター	Type	必須	説明
storage_mode	String	No	宛先テーブルのストレージモード。サポートされている値： SCD_TYPE_1 （BINARYFILEとFILEでのdefaultかつ唯一サポートされるモード）：ファイルが変更されたときは現在の行を置き換え、ファイルが削除されたときは現在の行を削除します。 APPEND_ONLY （構造化形式でのdefaultかつ唯一サポートされているモード）：新規または更新されたファイルの新しい行を追加します。 これらはdefaultであり、サポートされている唯一の値であるため、storage_modeを明示的に設定する必要はありません。scd_typeを設定するとエラーが発生します。代わりにstorage_modeを使用してください。

形式オプション

format_optionsブロックは、選択した形式の標準Auto Loader形式オプションキーを受け付けます。各値を文字列として表現します。例えば：

JSON

"file_ingestion_options": {
  "format": "CSV",
  "format_options": {
    "header": "true",
    "sep": ","
  }
}

形式固有のオプション名と動作については、Sparkデータソースのオプションを参照してください。

取り込まれたデータ形式

宛先テーブルのスキーマは、設定するentity_typeおよびformatによって異なります。

FILEエンティティタイプ（BINARYFILE形式）

entity_typeがFILEで、formatがBINARYFILEの場合、取り込まれた各ファイルは、次の列を持つ1行になります：

フィールド	Type	説明
path	string	ファイルのパス。
modificationTime	timestamp	ファイルが最後に変更された時刻。
length	bigint	ファイルのサイズ（バイト単位）。
content	binary	ファイルの内容。
_file_id	string	ファイルの一意のOneDrive識別子。
_onedrive_metadata	struct	ファイルの OneDrive 固有のメタデータが含まれます。_onedrive_metadata フィールドを参照してください。
_file_metadata	struct	データ取り込み中にDatabricksによって追加される標準ファイルメタデータ。「_file_metadataフィールド」を参照してください。

フィールド	Type	説明
path	string	ファイルのパス。
modificationTime	timestamp	ファイルが最後に変更された時刻。
length	bigint	ファイルのサイズ（バイト単位）。
content	binary	ファイルの内容。
_file_id	string	ファイルの一意のOneDrive識別子。
_onedrive_metadata	struct	ファイルの OneDrive 固有のメタデータが含まれます。_onedrive_metadata フィールドを参照してください。
_file_metadata	struct	データ取り込み中にDatabricksによって追加される標準ファイルメタデータ。「_file_metadataフィールド」を参照してください。

FILE形式のFILEエンティティタイプ

entity_typeがFILEで、formatがFILEの場合、取り込まれた各ファイルは、次の列を持つ1行になります：

フィールド	Type	説明
path	string	ファイルのパス。
size	bigint	ファイルのサイズ（バイト単位）。
modification_time	timestamp	ファイルが最後に変更された時刻。
file	FILE	構成されたUnity Catalogボリューム内にあるソースファイルのコピーへの管理対象参照。
_file_id	string	ファイルの一意のOneDrive識別子。
_onedrive_metadata	struct	ファイルの OneDrive 固有のメタデータが含まれます。_onedrive_metadata フィールドを参照してください。
_file_metadata	struct	データ取り込み中にDatabricksによって追加される標準ファイルメタデータ。「_file_metadataフィールド」を参照してください。

フィールド	Type	説明
path	string	ファイルのパス。
size	bigint	ファイルのサイズ（バイト単位）。
modification_time	timestamp	ファイルが最後に変更された時刻。
file	FILE	構成されたUnity Catalogボリューム内にあるソースファイルのコピーへの管理対象参照。
_file_id	string	ファイルの一意のOneDrive識別子。
_onedrive_metadata	struct	ファイルの OneDrive 固有のメタデータが含まれます。_onedrive_metadata フィールドを参照してください。
_file_metadata	struct	データ取り込み中にDatabricksによって追加される標準ファイルメタデータ。「_file_metadataフィールド」を参照してください。

FILEエンティティタイプ（構造化形式）

entity_typeがFILEで、formatが構造化形式（CSV、JSON、XML、EXCEL、PARQUET、AVRO、またはORC）の場合、宛先テーブルのスキーマは、_onedrive_metadata列と_file_metadata列を加えたソースファイルのスキーマと一致します。列は、schema_evolution_modeおよびschema_hintsの設定に基づいて、ファイルの内容から推測されます。

FILE_METADATA エンティティタイプ

entity_typeがFILE_METADATAの場合、ファイルの内容はdownloadされません。宛先テーブルには、上記で説明した_onedrive_metadataおよび_file_metadata構造体のメタデータ列と、_file_idのみが含まれます。

_onedrive_metadataフィールド

_onedrive_metadata structには次のフィールドが含まれます。Microsoftグラフが値を返さない場合、フィールドはnullになることがあります。

フィールド	Type	説明
id	string	ファイルの一意のOneDrive識別子。
site_id	string	OneDriveドライブを所有する個人用SharePointサイトの識別子。
drive_id	string	OneDrive ドライブ識別子。
drive_type	string	OneDriveのドライブの種類。
parent_id	string	親フォルダーの識別子。
parent_name	string	親フォルダの名前。
parent_path	string	親フォルダのパス。
web_url	string	OneDriveのファイルへのLink。
mime_type	string	ファイルのMIMEタイプ。
created_by_email	string	ファイルを作成したユーザーのEメールアドレス。
created_by_name	string	ファイルを作成したユーザーの名前。
created_timestamp	timestamp	OneDriveでファイルが作成された時刻。
last_modified_by_email	string	ファイルを最後に変更したユーザーのEメールアドレス。
last_modified_by_name	string	ファイルを最後に変更したユーザーの名前。
etag	string	ファイルのエンティティタグ。
ctag	string	ファイルのコンテンツタグ。
description	string	ファイルの説明。
additional_metadata	variant	別のフィールドでは表されない、Microsoftグラフから返される追加のメタデータ。

フィールド	Type	説明
id	string	ファイルの一意のOneDrive識別子。
site_id	string	OneDriveドライブを所有する個人用SharePointサイトの識別子。
drive_id	string	OneDrive ドライブ識別子。
drive_type	string	OneDriveのドライブの種類。
parent_id	string	親フォルダーの識別子。
parent_name	string	親フォルダの名前。
parent_path	string	親フォルダのパス。
web_url	string	OneDriveのファイルへのLink。
mime_type	string	ファイルのMIMEタイプ。
created_by_email	string	ファイルを作成したユーザーのEメールアドレス。
created_by_name	string	ファイルを作成したユーザーの名前。
created_timestamp	timestamp	OneDriveでファイルが作成された時刻。
last_modified_by_email	string	ファイルを最後に変更したユーザーのEメールアドレス。
last_modified_by_name	string	ファイルを最後に変更したユーザーの名前。
etag	string	ファイルのエンティティタグ。
ctag	string	ファイルのコンテンツタグ。
description	string	ファイルの説明。
additional_metadata	variant	別のフィールドでは表されない、Microsoftグラフから返される追加のメタデータ。

_file_metadataフィールド

_file_metadata構造体には、取り込み中にDatabricksによって追加された標準ファイルメタデータが含まれます：

フィールド	Type	説明
file_path	string	ファイルのソースパス。
file_name	string	ファイル名
file_size	bigint	ファイルのサイズ（バイト単位）。
file_block_start	bigint	ファイルブロックの起動バイトオフセット。
file_block_length	bigint	ファイルブロックの長さ（バイト単位）です。
file_modification_time	timestamp	ファイルが最後に変更された時刻。

フィールド	Type	説明
file_path	string	ファイルのソースパス。
file_name	string	ファイル名
file_size	bigint	ファイルのサイズ（バイト単位）。
file_block_start	bigint	ファイルブロックの起動バイトオフセット。
file_block_length	bigint	ファイルブロックの長さ（バイト単位）です。
file_modification_time	timestamp	ファイルが最後に変更された時刻。