非構造化データを扱う
ドキュメント、画像、音声、動画などの非構造化ファイルを、Unity Catalog 内の構造化データと併せて保存、管理、処理します。
使い始める
エンドツーエンドの例を試して、各要素がどのように組み合わされるかを確認してください。
-
- FILE 関数のクイックスタート
FILE列を持つテーブルを作成し、FILE関数を使用してファイルを操作します。
-
- 非構造化データチュートリアル
- Unity Catalogボリュームを使用して、非構造化ファイルの保存、クエリー、処理、共有を行います。
ファイルの保存と参照
パスでアクセスするか、テーブル内の値としてアクセスするかに基づいて、ファイルの保存方法と参照方法を選択します。
-
- Unity Catalogのボリューム
- 表形式以外のファイルのストレージを制御します。ボリューム内のファイルをパスでupload、整理、およびアクセスします。
-
- ファイルタイプ
- ファイルとそのメタデータをテーブル内のファーストクラス値として参照し、それらを参照する行へのアクセスによって管理します。タイプ定義については、FILEタイプのリファレンスを参照してください。
-
- バイナリデータソース
- ファイルの生のバイト数を
BINARYカラムに保存します。
-
- 画像データソース
- 画像ファイルを DataFrame に読み込みます。
ファイルを処理
ファイルを Unity Catalog に保存した後、コンテンツの抽出、カスタムコードの実行、パイプラインの構築を行います。
-
- UDF を使用してファイルを処理する
- UDFで独自のコードを使用して、ファイルのメタデータとバイトを読み取り、新しいファイルを生成します。
-
- ファイルを FILE 参照として取り込みます
- ファイルを
FILE参照としてテーブルにロードします。
-
- ファイルパイプラインを構築する
- パイプライン内でファイルをエンドツーエンドで処理します。
-
- ボリューム内のファイルを検索
- ユーザーやエージェントが検索できるように、ボリューム内のファイルをインデックス化します。
ファイルの管理
Unity Catalog を使用して、ファイルへのアクセス権を持つユーザーを制御し、そのライフサイクルを管理します。
-
- ボリュームのアクセス制御
- パスごとにファイルの読み取りおよび書き込みができるユーザーを制御するために、ボリュームに対する権限を付与します。
-
- ファイル管理ライフサイクル
- テーブルが参照するファイルのストレージとライフサイクルを Databricks に管理させます。
-
- FILE列の行フィルター
- ファイルを参照する行に行フィルターを適用して、ファイルへのアクセスを制限します。