Microsoft OneDriveコネクタの制限事項

備考

ベータ版

この機能はベータ版です。ワークスペース管理者は、 プレビュー ページで Lakeflow Connect for OneDrive For Business プレビューにオプトインすることで、この機能へのアクセスを制御できます。Databricksのプレビューを管理するを参照してください。

このページでは、Databricks Lakeflow Connectを使用してMicrosoft OneDriveからデータを取り込む際の制限事項と考慮事項について説明します。

コネクタ固有の制限事項

• バイナリ ファイルを使用した非構造化データの取り込みでは、各ファイルのコンテンツが単一のレコードとしてメモリに読み込まれるため、100 MBを超えるファイルでは更新に失敗する可能性があります（たとえば、メモリ不足エラーが発生したり、Deltaのバイナリ列の2 GB制限を超えたりします）。これを防ぐには、table_configurationのlength列でrow_filterを使用して、大きなファイルを除外します。たとえば、"row_filter": "length <= 104857600"は100 MBを超えるファイルをスキップします。大きな非構造化ファイルの場合、管理対象のFILE値を取り込むことを推奨します。構造化ファイル形式にはファイルサイズの上限はありません。
• 非構造化（BINARYFILEおよびFILE）の取り込みでは、SCD_TYPE_1ストレージモードのみがサポートされています。構造化された取り込み（CSV、JSON、XML、EXCEL、その他の形式）では、APPEND_ONLYストレージモードのみがサポートされています。SCDタイプ2はサポートされていません。
• スキーマ進化は、CSV、JSON、XML、PARQUET、AVROでのみサポートされています。EXCEL、ORC、BINARYFILE、FILEについては、schema_evolution_modeをNONEに設定します。

サポートされている形式と構成パラメーターについては、OneDrive コネクタ リファレンスを参照してください。