メインコンテンツまでスキップ

情報抽出

注記

このページでは、情報抽出の新しいバージョンについて説明します。以前のバージョンの詳細については、「情報抽出の使用(レガシー)」を参照してください。

情報抽出は、定義されたスキーマを使用して、非構造化ドキュメントとテキストを重要な構造化された知見に変換します。これにより、非構造化テキスト、PDF、画像、またはテーブルに埋め込まれた情報を、分析、レポート作成、またはダウンストリームのエージェントやアプリケーションに直接使用できます。

情報抽出の例は次のとおりです:

  • 契約から契約当事者と条件を抽出します。
  • 請求書から明細項目と支払い条件を抽出します。
  • 医療記録およびメモから主要な詳細を抽出します。

情報抽出は、各エージェントを動かす一時的なデータ変換、モデルチェックポイント、および内部メタデータを保存するために、デフォルトストレージを使用します。エージェントを削除すると、Databricks はエージェントに関連付けられているすべてのデータをデフォルトのストレージから削除します。

情報の抽出は、 Agent Bricks UI、 SQL、 REST API、および Asynchronous API (ベータ) を介して利用できます。

UIで情報抽出エージェントを作成する​

要件​

ワークスペースの左側のナビゲーションペインで、エージェントアイコン エージェント に移動します。 Create Agent > 情報抽出 をクリックします。

ステップ1: 情報を抽出するデータを選択します。​

  1. **データから開始**ページで、情報を抽出したいファイルまたはデータを選択します。次のいずれかを実行できます。

    • 1つ以上のファイルをアップロードエリアにドラッグアンドドロップするか、クリックしてアップロードするファイルを参照します。
    • サポートされているファイルタイプを持つUnity Catalogボリュームを選択するには、**[ボリュームの選択]**をクリックしてください。
    • テーブルを選択 をクリックして、テキストデータを含む Unity Catalog のテーブルを選択してください。
  2. テーブルを選択した場合、抽出するデータを含む列を選択してください。続行するには、文字列またはVARIANTなどのサポートされている型の列を選択する必要があります。テーブルにサポートされている列がない場合、別のテーブルを選択してください。

  3. **エージェントの作成**をクリックします。このボタンは、有効なデータソースと、テーブルの場合はサポートされている列が選択された後にのみ有効になります。

ステップ2:抽出スキーマを構成して絞り込みます。​

情報抽出でデータが処理された後、ドキュメントから抽出するデータを構成し、調整します。

抽出スキーマ構成パネル、解析されたドキュメント、および抽出されたJSON出力を備えたAI Extractビルドビュー。

  1. 構成で、抽出スキーマを定義します。これを行うにはいくつかの方法があります:

    • 抽出したい情報を説明する自然言語を入力し、 スキーマの生成 をクリックしてください。情報抽出は、フィールド名と定義を含むJSONスキーマを自動的に生成します。必要に応じてこれらの説明を編集してください。

    • または、 Or, Define manually をクリックして、スキーマを手動で定義してください:

      1. [フィールドを追加] をクリックします。
      2. フィールド名、タイプ、説明を入力してください。
      3. 確認 をクリックします。
      4. 抽出したい各フィールドについて繰り返します。
      5. [抽出を保存して実行] をクリックします。
    • JSON をクリックして、JSONスキーマを直接編集することもできます。完了したら、 変更を適用 をクリックしてください。

    スキーマを更新して [抽出を保存して実行] をクリックするたびに、情報抽出は抽出エージェントを更新し、抽出を実行して、各入力の結果を表示します。

    追加のオプションを構成するには、スライダーアイコン。 「保存して抽出を実行」 の横にあるオプションのトグル をクリックし、以下のオプションから1つ以上を有効にします:

    • 高精度モード : 微妙なニュアンスのあるフィールドや長文ドキュメントの精度を向上させます。
    • 引用 : 抽出された値の参照ソースを表示します。
    • 信頼スコア : 抽出された値の信頼レベルを表示します。
  2. 左側で、解析されたドキュメントとエージェントの抽出を確認します。抽出結果を2つの方法で反復します。まず、 保存して抽出を実行 を押すと説明が自動調整される、1つまたは複数の入力について自然言語のフィードバックを提供します。次に、 保存して抽出を実行 を押すと適用されるスキーマの説明を手動で修正します。

  3. バージョンを使用して、以前の設定と比較または復元します。 [バージョン] をクリックし、次に [比較] をクリックして、以前のバージョンのスキーマ定義と現在のバージョンを比較します。以前のバージョンを復元するには、 [復元] をクリックします。

ステップ3。抽出品質を評価して改善します。​

エージェントのパフォーマンスを測定し、体系的に改善するためには、ラベル付けされたデータセットに対してエージェントを評価してください。評価では、既知の正解(グラウンドトゥルース)に対して各抽出がスコアリングされるため、バージョン全体のフィールドレベルの精度を追跡し、修正が必要なフィールドを特定できます。

評価データセットを追加​

評価を実行する前に、Unity Catalogに評価データセットが必要です。データセットは、2つの列を持つUnity Catalogテーブルである必要があります。

  • 抽出元のテキストまたはドキュメントを含む「**入力列**」。これはSTRINGテキスト、またはai_parse_documentのVARIANT出力である場合があります。
  • 期待される抽出結果をJSON文字列として含む「**正解データ列**」。各値は、エージェントの抽出スキーマに準拠し、ai_extractの高度なスキーマと一致する必要があります。

評価を実行します。​

抽出エージェントの評価を実行するには:

  1. ワークベンチで評価ドロップダウンを開き、 [評価を実行] をクリックします。これにより、 [評価ランの作成] ダイアログが開きます。
  2. **評価データセットテーブル**で、ラベル付きの例を保持するUnity Catalogテーブルを選択します。
  3. **列マッピング**で、エージェントの入力を含む**入力列**と、期待される応答を含む**正解の列**を選択します。
  4. 「**評価を実行**」をクリックします。情報抽出は現在の構成を新しいバージョンとして保存し、各行をその真値に対してスコアリングします。

評価結果を確認します。​

ランの進行に伴い、ドキュメントが**ドキュメント**tabにストリームされ、不一致のフィールドはドキュメントごとに表示されます。ランが完了すると、情報抽出に**概要**tabが表示され、以下が含まれます。

  • **全体的なフィールド精度**と**完全に正しいドキュメント**を含むスコアカード。以前の評価ランが存在する場合、スコアカードにはそのランからの変更が表示されます。
  • **フィールドごとのスコア**テーブル。任意のフィールドをクリックすると、そのドリルダウンが開き、正確性、精度、再現率、F1が表示されます。**失敗したドキュメントを表示**をクリックして、そのフィールドの抽出に失敗した各ドキュメントとその抽出された出力結果を確認してください。

全体的なフィールドの精度、完全に正しいドキュメント、Genie Codeの推奨事項、およびフィールドごとのスコア表を示す評価概要tab。

[Documents] tabに切り替えて、個々のドキュメントを調べます。各行には、一致したフィールドの比率と一致しなかったフィールドが表示されます。特定の一致しないフィールドを含むドキュメントをフィルターするには、 [フィールド] ドロップダウンを使用します。ドキュメントをクリックして、エージェントの応答を正解データと並べて比較します。

Genie Code の修正を適用​

ランが完了すると、情報 Extraction が結果を分析し、影響を受けるドキュメント数でランク付けされた Genie Code の推奨事項 に問題を提示します。それぞれの検出結果は、潜在的な品質の問題を説明しています。 **Fix with Genie** をクリックすると、スキーマと命令の変更を提案し、影響を受けるドキュメントに対して検証し、完全な評価を再実行するインタラクティブな Genie Code チャットが開きます。

影響を受けるドキュメントに対して検証されている提案されたスキーマと指示の変更を示すGenie Codeパネル。

ステップ 4. 抽出エージェントを使用します。​

エージェントの性能に満足したら、エージェントを使用して情報を抽出してください。

右上の Use Agent をクリックします。次のいずれかを選択できます。

  • エージェントを使用してすべてのデータから情報を抽出するには、**SQL で実行**してください。これにより、定義されたスキーマに従い、ボリュームまたはテーブルから情報を抽出する ai_extract を使用した SQL クエリが開きます。SQLクエリでai_extractを使用する方法の情報の詳細については、ai_extract関数を参照してください。
  • スケジュールされた間隔で実行される LakeFlow Pipelinesを作成 して、新しいデータでエージェントを呼び出します。これにより、抽出されたデータでストリーミングテーブルを更新する LakeFlow Pipelines が作成されます。パイプラインのスケジュールを構成して、新しいデータが到着したときにランできます。Lakeflowパイプラインの情報の詳細については、Spark宣言型パイプラインを参照してください。

SQLでの情報の抽出​

SQLで ai_extract を呼び出して、大規模にフィールドを抽出します:

SQL
SELECT ai_extract(
'Invoice #12345 from Acme Corp for $1,250.00 dated 2024-01-15',
'{
"invoice_id": {"type": "string", "description": "Unique invoice identifier"},
"vendor_name": {"type": "string", "description": "Legal business name"},
"total_amount": {"type": "number", "description": "Total invoice amount"},
"invoice_date": {"type": "string", "description": "Date in YYYY-MM-DD format"}
}',
options => map('version', '2.1')
);

ai_extract SQLリファレンスを参照してください。

REST API を使用して情報を抽出する​

REST API を使用して、アプリケーション、サービス、および自動化ワークフローから構造化フィールドを抽出します。詳細については、「REST API docs」を参照してください。

ai_extract default REST API リクエストのレート制限は、1 ワークスペースあたり 1 分間に 120 リクエストです。より高い制限をリクエストするには、Databricks アカウント チームにお問い合わせください。

次の例では、請求書のテキストから構造化フィールドを抽出します。

Bash
curl -X POST "$DATABRICKS_HOST/api/2.0/ai-functions/ai-extract" \
-H "Authorization: Bearer $DATABRICKS_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"content": "Invoice #12345 from Acme Corp for $1,250.00 dated 2024-01-15",
"schema": {
"vendor_name": {
"type": "string"
},
"total_amount": {
"type": "number"
}
}
}'

非同期API(ベータ版)を使用した情報の抽出​

バッチ処理には、Databricks は Lakeflow Jobs の AI 関数タスク を推奨します。ジョブ内のフィールドを抽出するには、ai_extract タスク を使用します。このタスクは次の処理を実行します。

  • 処理をバックグラウンドでランして結果を Unity Catalog テーブルに書き込むため、バッチの送信、状態の確認、出力ファイルのdownloadは不要です。
  • 前のラン以降に新規作成または変更された行のみを処理します。
  • 各ランの進行状況、および成功した入力と失敗した入力の数を表示します。

処理を既存のアプリケーションや外部オーケストレーターに統合し、送信と結果を自分で管理したい場合は、代わりにAI Functions非同期API (ベータ) を使用してください。

備考

ベータ版

この機能はベータ版です。使用するには、ワークスペース管理者は プレビュー ページから AI Functions Asynchronous API を有効にする必要があります。Databricksのプレビューを管理を参照してください。

リクエストフィールドとレスポンスフィールド、およびバッチのキャンセルとリストの取得のリクエストについては、非同期APIリファレンスを参照してください。

入力ファイル​

ai_extract バッチの入力ファイルは、 Unity Catalog ボリューム内の JSONL ファイルであり、各行に 1 つのリクエストがあります。各行は、正確に次のフィールドを持つ JSON オブジェクトです。

フィールド

説明

custom_id

リクエストを識別する文字列。出力ファイルの各行には、そのリクエストのcustom_idが含まれているため、ソース行のキーなど、結果を照合できる値を使用します。

body

フィールドを抽出するテキスト。形式は{"text": "..."}です。

フィールド

説明

custom_id

リクエストを識別する文字列。出力ファイルの各行には、そのリクエストのcustom_idが含まれているため、ソース行のキーなど、結果を照合できる値を使用します。

body

フィールドを抽出するテキスト。形式は{"text": "..."}です。

以下の入力ファイルには2つの要求があります:

JSON
{"custom_id": "invoice-001", "body": {"text": "Invoice #12345 from Acme Corp for $1,250.00 dated 2024-01-15"}}
{"custom_id": "invoice-002", "body": {"text": "Invoice #12346 from Globex for $980.00 dated 2024-02-03"}}

入力ファイルには、各レコードのテキストとIDのみが含まれています。バッチを作成するときにparamsでai_extractの他のパラメーターを設定し、それらが各リクエストに適用されます。

  • schema (必須): 抽出するフィールド。フィールド名のリスト、または各フィールドをその type および description にマップするオブジェクトとして指定します。
  • options: instructions や mode などの関数オプション。

各パラメーターの役割については、「AI 抽出 REST API リファレンス」を参照してください。params.optionsでは、各オプション名をcamelCaseで記述します。例えば、enable_citationsではなくenableCitationsです。

バッチを作成すると、APIは入力ファイル全体とparamsを最初にチェックします。入力ファイルまたはparamsが次のルールのいずれかに違反している場合、リクエストはHTTP 400で失敗し、バッチは作成されません。

  • ファイルは UTF-8 でエンコードされており、各行は custom_id フィールドと body フィールドを正確に持つ1つの JSON オブジェクトです。ファイルに空白行はありません。

  • 各custom_idは空でない文字列であり、同じcustom_idを持つ2つの行はありません。

  • 各 body には、 text というキーが 1 つだけあります。

    • textの値が文字列ではない場合でもバッチは作成されますが、そのリクエストはエラータイプinvalid_requestで失敗します。
  • ファイルは1〜50,000行で、最大200 MiBです。

    • より多くのレコードを処理するには、それらを複数の入力ファイルに分割し、ファイルごとにバッチを作成します。
  • params にはschemaがあり、ai_extractが取らないパラメーターはありません。

入力ファイルの行に問題がある場合、エラーメッセージには行番号とルールが表示されます(例:Batch input line 3 custom_id must be unique)。入力ファイルを読み取ることができない場合、またはoutput_refに書き込むことができない場合、リクエストはHTTP 403で失敗します。

バッチの作成時にAPIが入力ファイルをコピーするため、その後ファイルに加えた変更はバッチに影響しません。

バッチのラン​

Asynchronous APIを使用してフィールドを抽出するには:

  1. 入力ファイルを作成し、Files APIなどを使用してUnity Catalogボリュームにuploadします。

  2. 入力ファイルに対してai_extractをランするバッチを作成します。input_refを入力ファイルのパスに設定し、paramsをすべてのリクエストのパラメーターに設定し、output_refをボリュームディレクトリまたは出力ファイルの新しいファイルパスに設定します:

    Bash
    curl -X POST "$DATABRICKS_HOST/api/2.0/ai-functions/batches" \
    -H "Authorization: Bearer $DATABRICKS_TOKEN" \
    -H "Content-Type: application/json" \
    -d '{
    "endpoint": "ai_extract",
    "input_ref": "/Volumes/my_catalog/my_schema/my_volume/requests.jsonl",
    "params": {
    "schema": {
    "vendor_name": {
    "type": "string"
    },
    "total_amount": {
    "type": "number"
    }
    }
    },
    "output_ref": "/Volumes/my_catalog/my_schema/my_volume/output/"
    }'

    レスポンスにはバッチ name が含まれます。次のステップで <batch-name> の代わりにこれを使用してください。defaultでは、ワークスペースはすべてのユーザーにわたって一度に最大20の未完了バッチを持つことができます。制限に達した場合、リクエストはHTTP 409で失敗します。別のバッチが完了またはキャンセルされた後、再度バッチを作成してください。

  3. バッチのステータスを確認します。バッチは、statusがCOMPLETED、CANCELLED、またはFAILEDの場合に完了します:

    Bash
    curl -X GET "$DATABRICKS_HOST/api/2.0/ai-functions/batches/<batch-name>" \
    -H "Authorization: Bearer $DATABRICKS_TOKEN"

    出力ファイルの準備が完了すると、レスポンスの output_ref にファイルのパスが格納されます。

  4. Files APIを使用して出力ファイルをdownloadします:

    Bash
    curl -X GET "$DATABRICKS_HOST/api/2.0/fs/files/Volumes/my_catalog/my_schema/my_volume/output/<batch-name>_output.jsonl" \
    -H "Authorization: Bearer $DATABRICKS_TOKEN" \
    -o output.jsonl

出力ファイル​

非同期APIは、ai_extractバッチの出力ファイルをoutput_refの場所に書き込みます。

  • output_ref が / で終わるか、既存のディレクトリを指している場合、APIは出力ファイルをそのディレクトリ内の <batch-name>_output.jsonl に書き込みます。複数のバッチで1つの出力ディレクトリを共有できます。
  • そうでない場合、output_ref は出力ファイルのパスです。バッチを作成するときにファイルが存在してはなりません。

出力ファイルには、入力ファイルの各行に対して 1 行が含まれています。行は入力ファイルと同じ順序です。各行にはそのリクエストのcustom_idと、次のフィールドのいずれかがあります:

  • response: 要求の結果。これには、 AI抽出 REST APIの応答と同じフィールドが含まれます。
  • error:リクエストが失敗した場合のエラーのtypeとmessage。リクエストがランされる前にバッチがキャンセルされた場合、タイプはcancelledになります。

次の例は、成功した要求の行と失敗した要求の行を示しています。

Text
{"custom_id": "invoice-001", "response": {...}}
{"custom_id": "invoice-002", "error": {"type": "request_failed", "message": "..."}}

制限事項​