Unity Catalogボリュームのコンテンツ検索
コンテンツ検索は、Unity Catalog ボリューム内のドキュメントを準備し、インデックスを作成します。その後、検索やエージェントの質問がインデックスに対して実行されるため、ユーザーやエージェントは最も関連性の高い情報をより迅速かつ正確に取得できます。インデックスは各ファイル内のコンテンツをカバーしているため、エージェントは少数のファイル全体を取得する代わりに、多数のファイルにまたがる特定の箇所を利用できます。
コンテンツ検索は、Genie Agentにアタッチされたボリュームで特に役立ちます。Genie Agentを使用したボリューム内のファイルの分析を参照してください。
ベータ版
この機能はベータ版です。これを使用するには、ワークスペース管理者が プレビュー ページから Analyze Files in Volumes with Genie Agents を有効にする必要があります。Databricksのプレビューを管理するを参照してください。
要件
Unity Catalogボリュームのコンテンツ検索を有効にする前に、以下の要件を満たしていることを確認してください。
- Lakebase、
ai_parse_document、および基盤モデルAPIは、お住まいのリージョンで利用可能です。 - ワークスペース管理者が、 プレビュー ページから Genie Agentによるボリューム内のファイルの分析 を有効にしました。Databricksのプレビューを管理するを参照してください。
- ボリュームに対する
CAN MANAGE権限があります。ボリュームに対してクエリーを実行するユーザーには、READ VOLUME権限が必要です。Unity Catalog ボリュームの権限を参照してください。
利用可能なリージョン
コンテンツ検索は、このセクションに記載されているリージョンで利用できます。リストに記載されていないリージョンでは利用できません。一部のリージョンでは、アカウント管理者がGeo間処理を有効にした場合にのみ実行されます。これにより、DatabricksはワークスペースのGeo外でファイルを処理できるようになります。「Geo間処理を有効にする」を参照してください。
Geo間処理を必要としないリージョン
コンテンツ検索は、以下のリージョンについて、ワークスペースのリージョン内で実行されます。
- アジア太平洋(シドニー)
- 南米(サンパウロ)
- 米国東部(バージニア北部)
- 米国東部(オハイオ)
- 米国西部(オレゴン)
地域横断処理(cross-Geo processing)が必要なリージョン
以下のリージョンでは、コンテンツ検索を有効にする前に、アカウント管理者がGeo間処理を有効にする必要があります:
- アジア太平洋(ジャカルタ)
- アジア太平洋(ムンバイ)
- アジア太平洋(ソウル)
- アジア太平洋(シンガポール)
- アジア太平洋(東京)
- 中央カナダ
- EU(フランクフルト)
- EU(アイルランド)
- EU(ロンドン)
- EU(パリ)
コンテンツ検索を有効にする
コンテンツ検索の有効化と無効化は、カタログエクスプローラーのボリュームページから行います。
コンテンツ検索を有効にするには:
- Databricks ワークスペースで、
カタログ をクリックします。
- インデックス化するファイルが含まれているボリュームを検索または参照して、選択します。
- 概要 tabの右側のサイドバーで、 コンテンツ検索 セクションを探します。
- [ 有効にする ]をクリックします。
コンテンツ検索を有効にすると、Databricksは初期同期を実行して、ボリューム内のサポートされているファイルを解析およびインデックスします。 概要 tabの コンテンツ検索 セクションには、取り込みステータス、最新の同期の結果、およびボリュームがインデックスされた時点が表示されます。
コンテンツ検索は、新しく追加されたファイルや既存のファイルの編集など、ボリュームへの変更を自動的に解析およびインデックス化しません。変更を反映させるためにコンテンツ検索を更新するには、 コンテンツ検索 セクションで 今すぐ同期 をクリックします。同期をTriggerするには、ボリュームに対する CAN MANAGE 権限が必要です。
コンテンツ検索を無効にするには、 コンテンツ検索 セクションで 無効化 をクリックします。コンテンツ検索を無効にすると、生成されたインデックスと処理済みのコンテンツが削除されます。再度有効にすると、Databricksはボリュームを最初から再インデックス化し、取り込みコストが再度発生します。
Databricksでは、Genie Agentにアタッチするボリュームに対してコンテンツ検索を有効にすることを推奨しています。Genie Agentを使用したボリューム内のファイルの分析を参照してください。
コンテンツ検索の課金方法
コンテンツ検索には2つのコスト要素があります。
- インジェクション : コンテンツ検索を有効にするか同期を実行すると、Databricksはインデックスを構築する前に、
ai_parse_documentAI関数を使用してボリューム内のファイルを解析します。Databricksは、この処理をAI Functionsの価格に基づいて請求します。 - クエリーサービング : Lakebaseは、結果として得られたインデックスを保存し、提供します。Databricksは、Lakebaseがプロビジョニングするコンピュートユニット(CU)に基づいてコンピュートとストレージを請求します。クエリーサービングは、インデックスサイズとクエリーの同時実行数に基づいて2~12 CUの間でスケーリングされます。トラフィックがない状態が3日間続くと、Endpointはゼロにスケールダウンし、クエリーサービングのコンピュートコストの発生が停止します。現在の料金については、Lakebaseの価格ページを参照してください。
Genie Agentがインデックス化されたボリュームをクエリーする場合、そのクエリーによってGenie Agentのコストが発生することもあります。この機能の請求方法を参照してください。
制限事項
ベータ期間中、コンテンツ検索には次の制限が適用されます:
- Unity Catalog管理ボリュームのみがコンテンツ検索をサポートしています。外部ボリューム、My Filesボリューム、およびワークスペースバインディングを持つカタログ内のボリュームはサポートされていません。「My Filesへのファイルの保存」を参照してください。
- ボリューム全体のコンテンツ検索を有効にします。ボリューム内のフォルダーやファイルのサブセットをインデックス化することはできません。
- 各ワークスペースでコンテンツ検索を有効にできるボリュームは最大100個までです。
- インデックス化された各ボリュームには、最大 10,000 個のファイルを含めることができます。
- コンテンツ検索は、50 MBを超えるファイルをスキップします。
- コンテンツ検索は、PDF、JPG、JPEG、PNG、TIFF、TIF、DOC、DOCX、PPT、またはPPTXファイルをサポートしています。他のすべてのファイルタイプはスキップされます。
- コンテンツ検索は、AWS GovCloud、Azure Governmentリージョン、またはFedRAMPコンプライアンスに準拠したワークスペースでは利用できません。
その他のリソース
関連情報については、次のリソースを参照してください: