メインコンテンツまでスキップ

ドキュメントの解析

ドキュメント解析は、PDF、画像、Word文書(DOC/DOCX)、PowerPointファイル(PPT/PPTX)など、幅広い種類のドキュメントから構造化データを抽出および視覚化するために、最先端の研究技術を使用しています。テーブル、チャート、テキストと画像の混在コンテンツなど、複雑なレイアウトを処理するように設計されています。

ドキュメントの解析は、エージェント・ブリックスUI、SQL、REST API、および非同期API(ベータ版)で利用できます。

UI でドキュメント解析エージェントを作成する​

要件​

ドキュメントの解析を使用してドキュメントを解析し、その構造を視覚化します。

  1. ワークスペースの左側のナビゲーションペインにあるエージェントアイコン。 エージェント に移動します。
  2. 「 エージェントの作成 」>「 ドキュメントの解析 」をクリックします。
  3. ソースドキュメントを選択します。ファイルをアップロードするか、既存のUnity Catalogカタログからファイルを選択できます。サポートされている形式には、PDF、画像、DOC/DOCX、PPT/PPTXが含まれます。
  4. ドキュメントを解析 をクリックします。

ドキュメントの解析には数分かかる場合があります。完了すると、「ドキュメントの解析」により、ソースドキュメントが左側に、解析されたドキュメントが右側に表示されます。解析されたドキュメントを フォーマット済み テキストまたは Raw JSON として表示することを選択できます。

ソースと解析済みドキュメントを並べて表示するドキュメント解析UI

クエリ結果の処理​

ai_parse_documentクエリを表示してより多くのドキュメントで実行するには、 エージェントを使用 をクリックし、SQLエディターまたはノートブックからクエリを実行するかを選択します。ドキュメントが存在するボリュームまたはテーブルを指すようにクエリを編集できます。

取得(RAG)のために解析済み出力を準備するには、ai_prep_search(ベータ版)をダウンストリームで使用します。

SQL でドキュメントを解析する​

SQL で ai_parse_document を呼び出して、ドキュメントを大規模に解析します:

SQL
SELECT
ai_parse_document(
content,
map('version', '2.0')
) AS parsed
FROM READ_FILES('/Volumes/my_catalog/my_schema/my_documents', format => 'binaryFile');

ai_parse_document SQL リファレンスを参照してください。

REST APIを使用してドキュメントを解析する​

REST API を使用して、アプリケーション、サービス、自動化ワークフローからドキュメントを解析します。詳細については、REST API ドキュメントをご参照ください。

ai_parse_document REST API リクエストは、1 ドキュメントあたり 100 ページまでに制限されています。

ai_parse_document REST APIリクエストのdefaultレート制限は、ワークスペースあたり1分間に250リクエストです。より高い上限を申請するには、Databricksアカウントチームにお問い合わせください。

ai_parse_document Unity Catalog ボリュームから入力を読み取ります。次の例では、Files API を使用してローカルの PDF をボリュームにuploadし、それを解析します。

まず、ドキュメントをボリュームにuploadします。

Bash
curl -X PUT "$DATABRICKS_HOST/api/2.0/fs/files/Volumes/my_catalog/my_schema/my_volume/invoice.pdf?overwrite=true" \
-H "Authorization: Bearer $DATABRICKS_TOKEN" \
-H "Content-Type: application/octet-stream" \
--data-binary @invoice.pdf

次に、uploadされたドキュメントのボリュームパスを content として渡して解析します。

Bash
curl -X POST "$DATABRICKS_HOST/api/2.0/ai-functions/ai-parse-document" \
-H "Authorization: Bearer $DATABRICKS_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"content": "/Volumes/my_catalog/my_schema/my_volume/invoice.pdf"
}'

非同期API(ベータ)でドキュメントを解析する​

バッチ処理には、DatabricksはLakeflow JobsのAI Functionタスクを推奨しています。ジョブ内でドキュメントを解析するには、次の処理を行うai_parse_documentタスクを使用します:

  • バックグラウンドで処理をランして結果を Unity Catalog テーブルに書き込むため、バッチの送信、ステータスの確認、出力ファイルのdownloadを行う必要はありません。
  • 前回のラン以降に新規作成または変更されたドキュメントのみを処理します。
  • 各ランの進行状況と、成功および失敗した入力の数を表示します。

既存のアプリケーションや外部オーケストレーターに処理を統合し、送信と結果を自分で管理する場合は、代わりに AI Functions 非同期 API (ベータ版) を使用します。

備考

ベータ版

この機能はベータ版です。使用するには、ワークスペース管理者は プレビュー ページから AI Functions Asynchronous API を有効にする必要があります。Databricksのプレビューを管理を参照してください。

リクエストフィールドとレスポンスフィールド、およびバッチのキャンセルと一覧表示のリクエストについては、「非同期 API リファレンス」を参照してください。

入力ディレクトリまたはファイル​

ai_parse_documentバッチの入力は、以下のいずれかです。

  • Unity Catalogボリューム内のディレクトリ。バッチはディレクトリとそのサブディレクトリ内のすべてのファイルを解析するため、そこに解析するドキュメントのみを配置してください。APIはファイルごとに1つのリクエストを行い、ファイルのパスをそのcustom_idとして指定します。
  • 解析するドキュメントをリストするボリューム内のJSONL入力ファイル。入力ファイルを使用してディレクトリ内の一部のドキュメントのみを解析するか、各ドキュメントに独自の custom_id を付与します。

入力ファイルの各行は 1 つのリクエストであり、以下のフィールドのみを持つ JSON オブジェクトです。

フィールド

説明

custom_id

リクエストを識別する文字列。出力ファイルの各行にはリクエストのcustom_idがあるため、結果を照合できる値を使用してください。

body

解析するドキュメント。形式は{"path": "/Volumes/..."}で、pathはドキュメントのボリュームパスです。

フィールド

説明

custom_id

リクエストを識別する文字列。出力ファイルの各行にはリクエストのcustom_idがあるため、結果を照合できる値を使用してください。

body

解析するドキュメント。形式は{"path": "/Volumes/..."}で、pathはドキュメントのボリュームパスです。

次の入力ファイルには2つのリクエストがあります:

JSON
{"custom_id": "invoice-001", "body": {"path": "/Volumes/my_catalog/my_schema/my_volume/invoices/invoice-001.pdf"}}
{"custom_id": "invoice-002", "body": {"path": "/Volumes/my_catalog/my_schema/my_volume/invoices/invoice-002.pdf"}}

ai_parse_document ドキュメント以外にパラメーターは必要ありません。versionやpageRangeなどの関数オプションを設定するには、バッチの作成時にparamsのoptionsにそれらを配置します。例えば、"params": {"options": {"version": "2.0"}}のようにします。各オプション名はcamelCaseで記述してください。例えば、image_output_pathではなくimageOutputPathとします。これらのオプションはバッチ内のすべてのドキュメントに適用されます。各オプションの機能については、「 AIドキュメントの解析 REST API リファレンス」を参照してください。

バッチを作成する際、APIは最初に入力とparamsをチェックします。入力またはparamsが以下のルールのいずれかに違反している場合、リクエストはHTTP 400で失敗し、バッチは作成されません。

  • ディレクトリには 1 ~ 50,000 個のファイルが含まれます。

    • より多くのドキュメントを処理するには、それらを複数のディレクトリまたは入力ファイルに分割し、それぞれに対してバッチを作成します。
  • 入力ファイルはUTF-8エンコードされており、各行は custom_id フィールドと body フィールドを正確に持つ1つのJSONオブジェクトです。ファイルに空白行はありません。

  • 各custom_idは空でない文字列で、どの2つの行も同じcustom_idを持ちません。

  • 各 body には、 path というキーが 1 つだけあります。

    • pathの値が文字列ではない場合、バッチは引き続き作成され、その要求はエラータイプinvalid_requestで失敗します。
  • 入力ファイルは1から50,000行までで、最大200 MiBです。

  • params ai_parse_documentが受け入れないパラメーターはありません。

入力ファイルの行に問題がある場合、エラーメッセージには行番号とルールが表示されます(例:Batch input line 3 custom_id must be unique)。path が指定する入力またはボリュームを読み取れない場合、または output_ref に書き込めない場合、要求は HTTP 403 で失敗します。

バッチを作成するときに、APIがディレクトリをリストするか、入力ファイルをコピーします。その後ディレクトリに追加するファイルはバッチの一部になりません。

バッチのラン​

非同期APIでドキュメントを解析するには:

  1. ドキュメントを Unity Catalog ボリュームのディレクトリに upload します。それらのいくつかのみを解析するには、それらをリストした入力ファイルを作成し、ボリュームに;upload します。

  2. ai_parse_document をランするバッチを作成します。input_ref をディレクトリまたは入力ファイルに設定し、output_ref をボリュームディレクトリまたは出力ファイルの新しいファイルパスに設定します。以下の例では、ディレクトリを解析しています。

    Bash
    curl -X POST "$DATABRICKS_HOST/api/2.0/ai-functions/batches" \
    -H "Authorization: Bearer $DATABRICKS_TOKEN" \
    -H "Content-Type: application/json" \
    -d '{
    "endpoint": "ai_parse_document",
    "input_ref": "/Volumes/my_catalog/my_schema/my_volume/invoices/",
    "output_ref": "/Volumes/my_catalog/my_schema/my_volume/output/"
    }'

    レスポンスにはバッチnameが含まれます。以降のステップでは、<batch-name>の代わりにこれを使用します。defaultでは、1つのワークスペースで全ユーザー合わせて一度に最大20個の未完了バッチを保持できます。上限に達している場合、リクエストはHTTP 409で失敗します。別のバッチが完了するかキャンセルされた後、バッチを再度作成してください。

  3. バッチのステータスを確認します。statusがCOMPLETED、CANCELLED、またはFAILEDの場合、バッチは終了します。

    Bash
    curl -X GET "$DATABRICKS_HOST/api/2.0/ai-functions/batches/<batch-name>" \
    -H "Authorization: Bearer $DATABRICKS_TOKEN"

    出力ファイルの準備が完了すると、レスポンスの output_ref にそのパスが含まれます。

  4. Files APIを使用して出力ファイルをdownloadします:

    Bash
    curl -X GET "$DATABRICKS_HOST/api/2.0/fs/files/Volumes/my_catalog/my_schema/my_volume/output/<batch-name>_output.jsonl" \
    -H "Authorization: Bearer $DATABRICKS_TOKEN" \
    -o output.jsonl

出力ファイル​

非同期APIは、ai_parse_document バッチの出力ファイルを output_ref の場所に書き込みます。

  • output_ref が / で終わっている場合、または既存のディレクトリを指定している場合、APIは出力ファイルをそのディレクトリの <batch-name>_output.jsonl に書き込みます。複数のバッチで1つの出力ディレクトリを共有できます。
  • それ以外の場合、output_refが出力ファイルのパスになります。バッチを作成するとき、そのファイルは存在していてはなりません。

出力ファイルには、ドキュメントごとに1行が含まれます。各行にはリクエストの custom_id と、次のフィールドのいずれかが含まれます。

  • response:リクエストの結果。これは、 AIドキュメントの解析 REST APIレスポンスと同じフィールドを持ちます。
  • error: 要求が失敗した場合の、エラーのtypeとmessage。バッチがリクエストのラン前にキャンセルされた場合、タイプはcancelledになります。

入力ファイルの場合、行は入力ファイルと同じ順序です。ディレクトリの場合、各行のcustom_idはドキュメントのパスであり、行は任意の順序にできます:

Text
{"custom_id": "/Volumes/my_catalog/my_schema/my_volume/invoices/invoice-001.pdf", "response": {...}}
{"custom_id": "/Volumes/my_catalog/my_schema/my_volume/invoices/invoice-002.pdf", "error": {"type": "request_failed", "message": "..."}}

制限事項​

ai_parse_documentの制限事項を参照してください。