非構造化データを扱う
ドキュメント、画像、音声、動画などの非構造化ファイルを、Unity Catalog 内の構造化データと併せて保存、管理、処理します。
ファイルの保存と参照
Unity Catalog で非構造化ファイルを保存および参照するには、以下の方法を使用します：
- Unity Catalog ボリューム は、非表形式ファイルのストレージを管理します。ボリューム内のファイルは、パスを使用してupload、整理、アクセスできます。Unity Catalog ボリュームとはを参照してください。
FILEタイプ は、テーブル内のファーストクラス値としてファイルとそのメタデータを参照し、それらを参照する行へのアクセスによって制御されます。FILE タイプと非構造化データおよびFILEタイプを参照してください。- バイナリファイル データソースは、ファイルの生のバイトを
BINARYカラムに格納します。バイナリファイルの読み取りを参照してください。 - image データソースは、画像ファイルを DataFrame に読み込みます。画像ファイルの読み取りを参照してください。
ファイルを処理
ファイルを Unity Catalog に保存した後、以下の方法で処理します。
ai_parse_document関数およびその他のAI関数を使用して、ドキュメントから構造化コンテンツを抽出します。- UDF を使用して独自のコードでファイルを処理します。UDF を使用したファイルの処理を参照してください。
- ファイルを
FILE参照としてテーブルに取り込みます。FILE タイプとしてファイルを取り込むを参照してください。 - ファイルをエンドツーエンドで処理するパイプラインを構築します。「チュートリアル: FILE タイプを使用してファイル処理パイプラインを構築する」を参照してください。