Extraction d'informations
Cette page présente la nouvelle version de l'extraction d’informations. Pour plus d'informations sur la version précédente, consultez Utiliser l’extraction d’informations (hérité)
L'extraction d'informations transforme les documents et textes non structurés en insights structurés clés à l'aide d'un schéma défini. Cela vous permet d'utiliser les informations intégrées dans des textes non structurés, des PDF, des images ou des tableaux directement pour l'analyse, le reporting ou les agents et applications en aval.
Exemples d'extraction d'informations :
- Extraction des parties contractantes et des termes des contrats.
- Extraction des postes et conditions de paiement des factures.
- Extraction des détails clés des dossiers médicaux et des notes.
L'extraction d'informations utilise le default storage pour stocker les transformations de données temporaires, les points de contrôle de modèle et les métadonnées internes qui alimentent chaque agent. Lorsque vous supprimez un agent, Databricks supprime toutes les données associées à l'agent du stockage default.
L’extraction d’informations est disponible via l’ interface utilisateur d’Agent Bricks, en SQL, avec l’ API REST et avec l’ API asynchrone (bêta).
Créer un agent d’extraction d’informations dans l’interface utilisateur
Exigences
Accédez à **Agents** dans le volet de navigation de gauche de votre workspace. Cliquez sur Créer un agent > Extraction d'informations .
Étape 1. Sélectionnez les données dont vous souhaitez extraire les informations.
-
Sur la page Start avec vos données , sélectionnez les fichiers ou les données dont vous souhaitez extraire des informations. Vous pouvez effectuer l'une des actions suivantes :
- Faites glisser et déposez un ou plusieurs fichiers dans la zone d'upload, ou cliquez pour parcourir les fichiers à upload.
- Cliquez sur Sélectionner un volume pour sélectionner un volume Unity Catalog avec les types de fichiers pris en charge.
- Cliquez sur Sélectionner la table pour sélectionner une table Unity Catalog qui contient des données textuelles.
-
Si vous sélectionnez une table, sélectionnez la colonne qui contient les données à extraire. Vous devez sélectionner une colonne avec un type pris en charge, tel que STRING ou VARIANT, avant de pouvoir continuer. Si la table n'a pas de colonnes prises en charge, sélectionnez une autre table.
-
Cliquez sur Créer l’agent . Ce bouton n'est activé qu'après que vous avez sélectionné une source de données valide et, pour une table, une colonne prise en charge.
Étape 2. Configurez et affinez votre schéma d'extraction
Une fois que l'Extraction d'information a traité vos données, configurez et affinez les données que vous souhaitez extraire de vos documents.

-
Sous Configuration, définissez votre schéma d'extraction. Il existe plusieurs façons de procéder :
-
Saisissez un langage naturel qui décrit les informations que vous souhaitez extraire et cliquez sur **Générer le schéma**. L'extraction d'informations génère automatiquement un schéma JSON avec des noms et des définitions de champs pour vous. Modifiez ces descriptions selon les besoins.
-
Sinon, cliquez sur Or, Define manually pour définir manuellement votre schéma :
- Cliquez sur **Ajouter un champ**.
- Saisissez le nom, le type et la description de votre champ.
- Cliquez sur Confirmer .
- Répétez pour chaque champ que vous souhaitez extraire.
- Cliquez sur Enregistrer et exécuter l’extraction .
-
Vous pouvez également cliquer sur JSON pour modifier directement le schéma JSON. Cliquez sur **Appliquer les modifications** une fois terminé.
Chaque fois que vous mettez à jour votre schéma et cliquez sur Enregistrer et exécuter l'extraction , l'extraction d'informations met à jour l'agent d'extraction, exécute l'extraction et affiche les résultats pour chaque entrée.
Pour configurer des options supplémentaires, cliquez sur le bouton bascule des options
à côté de Enregistrer et exécuter l’extraction , puis activez une ou plusieurs des options suivantes :
- Mode Précision : améliore la précision pour les champs nuancés et les longs documents.
- Citations : affiche les références aux sources pour les valeurs extraites.
- Scores de confiance : affiche les niveaux de confiance pour les valeurs extraites.
-
-
À gauche, examinez le document analysé et l'extraction de l'agent. Itérez les résultats d'extraction de deux manières. Premièrement, fournissez des commentaires en langage naturel sur une ou plusieurs entrées, ce qui ajuste automatiquement vos descriptions lorsque vous appuyez sur Enregistrer et exécuter l’extraction . Deuxièmement, révisez manuellement les descriptions de schémas, qui prennent effet lorsque vous appuyez sur Enregistrer et exécuter l’extraction .
-
Utilisez les versions pour comparer ou revenir à une configuration précédente. Cliquez sur Versions , puis sur Comparer pour comparer la définition du schéma d'une version précédente avec la version actuelle. Cliquez sur Restaurer pour restaurer une version précédente.
Étape 3. Évaluer et améliorer la qualité d'extraction
Pour mesurer les performances de votre agent et l'améliorer systématiquement, évaluez l'agent à l'aide d'un dataset étiqueté. Une évaluation note chaque extraction par rapport à une réponse correcte connue (vérité terrain), afin que vous puissiez suivre la précision au niveau des champs à travers les versions et cibler les champs qui nécessitent un travail.
Ajouter un dataset d'évaluation
Avant d'exécuter une évaluation, vous devez disposer d'un dataset d'évaluation dans Unity Catalog. Le dataset doit être une table Unity Catalog avec deux colonnes :
- Une colonne d'entrée avec le texte ou le document à extraire. Il peut s'agir de texte
STRINGou de la sortieVARIANTdeai_parse_document. - Une **colonne de vérité terrain** avec le résultat d'extraction attendu sous forme de chaîne JSON. Chaque valeur doit être conforme au schéma d'extraction de votre agent, correspondant au
ai_extractschéma avancé.
Exécuter une évaluation
Pour exécuter une évaluation pour votre agent d’extraction :
- Dans l'environnement de travail, ouvrez le menu déroulant d'évaluation et cliquez sur Run evaluation . Cela ouvre la boîte de dialogue Create evaluation run .
- Dans Tableau de jeux de données d’évaluation , sélectionnez la table Unity Catalog qui contient vos exemples étiquetés.
- Sous **Mappage des colonnes**, sélectionnez la **colonne d'entrée** qui contient l'entrée de l'agent et la **colonne de vérité terrain** qui contient la réponse attendue.
- Cliquez sur Exécuter l'évaluation . L'extraction d'informations enregistre la configuration actuelle comme une nouvelle version et évalue chaque ligne par rapport à sa vérité terrain.
Examinez les résultats de l'évaluation
À mesure que l'exécution progresse, les documents stream dans la Documents tab et tous les champs non concordants sont affichés par document. Lorsque l'exécution est terminée, l'extraction d'informations affiche la tab Vue d'ensemble, qui comprend :
- Un tableau de bord avec la **précision globale du champ** et les **documents entièrement corrects**. Si une exécution d'évaluation précédente existe, le tableau de bord affiche le changement par rapport à cette exécution.
- Une table de Scores par champ . Cliquez sur n'importe quel champ pour ouvrir son exploration, qui affiche l'exactitude, la précision, le rappel et le F1. Cliquez sur Afficher les documents ayant échoué pour voir chaque document qui n'a pas pu extraire ce champ, ainsi que leur sortie extraite.

Passez à l'onglet **tab** pour inspecter les documents individuels. Chaque ligne indique le rapport des champs correspondants et les champs non correspondants. Utilisez le menu déroulant **Champs** pour filtrer les documents qui comportaient un champ mal assorti spécifique. Cliquez sur un document pour comparer côte à côte la réponse de l'agent et la vérité terrain.
Appliquez les correctifs Genie Code
Une fois l'exécution terminée, l'Extraction d'informations analyse les résultats et met en évidence les problèmes dans les recommandations Genie Code , classés par nombre de documents affectés. Chaque constatation décrit un problème de qualité potentiel. Cliquez sur **Corriger avec Genie** pour ouvrir un chat interactif Genie Code qui propose des modifications de schéma et d'instructions, les valide par rapport aux documents affectés et offre de relancer une évaluation complète.

Étape 4. Utilisez votre agent d'extraction
Une fois satisfait des performances de l'agent, utilisez l'agent pour extraire des informations.
Cliquez sur Utiliser l'Agent en haut à droite. Vous pouvez sélectionner l'une des options suivantes :
- Exécuter dans SQL pour utiliser l'agent afin d'extraire des informations de toutes vos données. Cela ouvre une query SQL qui utilise
ai_extractpour extraire des informations de votre volume ou de votre table en utilisant le schéma défini. Pour plus d'informations sur l'utilisation deai_extractdans les queries SQL, consultez la fonctionai_extract. - Créez un LakeFlow Pipelines qui s’exécute à intervalles planifiés pour appeler votre agent sur de nouvelles données. Cela crée un pipeline Lakeflow qui met à jour une table de streaming avec vos données extraites. Vous pouvez configurer le calendrier du pipeline pour qu'il s'exécute à l'arrivée de nouvelles données. Pour plus d'informations sur les LakeFlow Pipelines, consultez Spark Declarative Pipelines sur Lakeflow.
Extraire des informations en SQL
Appelez ai_extract en SQL pour extraire des champs à grande échelle :
SELECT ai_extract(
'Invoice #12345 from Acme Corp for $1,250.00 dated 2024-01-15',
'{
"invoice_id": {"type": "string", "description": "Unique invoice identifier"},
"vendor_name": {"type": "string", "description": "Legal business name"},
"total_amount": {"type": "number", "description": "Total invoice amount"},
"invoice_date": {"type": "string", "description": "Date in YYYY-MM-DD format"}
}',
options => map('version', '2.1')
);
Consultez la référence SQL ai_extract.
Extraire des informations avec l’API REST
Utilisez l'API REST pour extraire des champs structurés à partir d'applications, de services et de workflows d'automatisation. Consultez la documentation de l'API REST à titre de référence.
La limite de taux par default pour les requêtes de l’API REST ai_extract est de 120 requêtes par minute et par workspace. Contactez l’équipe de votre compte Databricks pour demander une limite plus élevée.
L’exemple suivant extrait des champs structurés d’un texte de facture :
curl -X POST "$DATABRICKS_HOST/api/2.0/ai-functions/ai-extract" \
-H "Authorization: Bearer $DATABRICKS_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"content": "Invoice #12345 from Acme Corp for $1,250.00 dated 2024-01-15",
"schema": {
"vendor_name": {
"type": "string"
},
"total_amount": {
"type": "number"
}
}
}'
Extraire des informations avec l’API asynchrone (bêta)
Pour le traitement par batch, Databricks recommande les tâches de fonction IA dans les Lakeflow Jobs. Pour extraire des champs dans un job, utilisez une tâche ai_extract, qui effectue les opérations suivantes :
- Exécute le traitement en arrière-plan et écrit les résultats dans une table Unity Catalog, de sorte que vous n’avez pas à soumettre de batchs, à vérifier leur statut ou à download les fichiers de sortie.
- Traite uniquement les lignes nouvelles ou modifiées depuis la précédente exécution.
- Affiche la progression de chaque exécution, ainsi que le nombre d'entrées réussies et échouées.
Utilisez plutôt l’API asynchrone AI Functions (bêta) lorsque vous souhaitez intégrer le traitement dans une application existante ou un orchestrateur externe, et gérer vous-même les soumissions et les résultats.
Bêta
Cette fonctionnalité est en bêta. Pour l’utiliser, un administrateur de workspace doit activer AI Functions Asynchronous API depuis la page Previews . Consultez Gérer les aperçus Databricks.
Pour les champs de demande et de réponse, ainsi que pour les demandes d’annulation et de listing des batchs, reportez-vous à la référence de l’API asynchrone.
Fichier d’entrée
Le fichier d'entrée d'un batch ai_extract est un fichier JSONL dans un volume Unity Catalog, avec une requête sur chaque ligne. Chaque ligne est un objet JSON avec exactement les champs suivants :
Champ | Description |
|---|---|
| Chaîne identifiant la requête. Chaque ligne du fichier de sortie a le |
| Le texte à partir duquel extraire les champs, sous la forme |
Le fichier d’entrée suivant contient deux demandes :
{"custom_id": "invoice-001", "body": {"text": "Invoice #12345 from Acme Corp for $1,250.00 dated 2024-01-15"}}
{"custom_id": "invoice-002", "body": {"text": "Invoice #12346 from Globex for $980.00 dated 2024-02-03"}}
Le fichier d’entrée ne contient que le texte et l’ID de chaque enregistrement. Vous définissez les autres paramètres de ai_extract dans params lorsque vous créez le batch, et ils s’appliquent à chaque requête :
schema(requis) : Les champs à extraire, en tant que liste de noms de champs ou en tant qu’objet qui mappe chaque champ à sontypeetdescription.options: les options de fonction, telles queinstructionsetmode.
Pour savoir ce que fait chaque parameter, consultez la référence de l’API REST AI Extract. Dans params.options, écrivez chaque nom d’option en camelCase, par exemple enableCitations plutôt que enable_citations.
Quand vous créez un batch, l’API vérifie l’ensemble du fichier d’entrée et params en premier. Si le fichier d’entrée ou params ne respecte pas l’une des règles suivantes, la requête échoue avec une erreur HTTP 400 et aucun batch n’est créé :
-
Le fichier est encodé en UTF-8 et chaque ligne est un objet JSON avec exactement les champs
custom_idetbody. Le fichier n’a pas de lignes vides. -
Chaque
custom_idest une chaîne non vide, et deux lignes ne peuvent pas avoir le mêmecustom_id. -
Chaque
bodya exactement une clé,text.- Si une valeur
textn'est pas une chaîne, le batch est tout de même créé et cette requête échoue avec le type d'erreurinvalid_request.
- Si une valeur
-
Le fichier comporte de 1 à 50 000 lignes et fait au maximum 200 Mio.
- Pour traiter plus d’enregistrements, divisez-les en plusieurs fichiers d’entrée et créez un batch pour chaque fichier.
-
paramsdispose d'unschemaet d'aucun parameter queai_extractne prend pas.
Pour un problème sur une ligne du fichier d’entrée, le message d’erreur donne le numéro de ligne et la règle, par exemple Batch input line 3 custom_id must be unique. Si vous ne pouvez pas lire le fichier d’entrée ou écrire sur output_ref, la demande échoue avec HTTP 403.
L’API copie le fichier d’entrée lorsqu’elle crée le batch, de sorte que les modifications que vous apportez au fichier par la suite n’affectent pas le batch.
Exécuter un batch
Pour extraire des champs avec l'API asynchrone :
-
Créez le fichier d’entrée et faites-en l’upload dans un volume Unity Catalog, par exemple avec l’ API Files.
-
Créer un batch qui exécute
ai_extractsur le fichier d’entrée. Définissezinput_refsur le chemin du fichier d’entrée,paramssur les paramètres de chaque demande etoutput_refsur un répertoire de volume ou un nouveau chemin de fichier pour le fichier de sortie:Bashcurl -X POST "$DATABRICKS_HOST/api/2.0/ai-functions/batches" \-H "Authorization: Bearer $DATABRICKS_TOKEN" \-H "Content-Type: application/json" \-d '{"endpoint": "ai_extract","input_ref": "/Volumes/my_catalog/my_schema/my_volume/requests.jsonl","params": {"schema": {"vendor_name": {"type": "string"},"total_amount": {"type": "number"}}},"output_ref": "/Volumes/my_catalog/my_schema/my_volume/output/"}'La réponse contient le batch
name. Utilisez-le à la place de<batch-name>dans les étapes suivantes. Par default, un workspace peut avoir jusqu’à 20 batchs inachevés à la fois, tous utilisateurs confondus. Si la limite est atteinte, la requête échoue avec HTTP 409. Créez à nouveau le batch une fois qu’un autre batch est terminé ou annulé. -
Vérifiez le statut du batch. Le batch est terminé lorsque
statusestCOMPLETED,CANCELLEDouFAILED:Bashcurl -X GET "$DATABRICKS_HOST/api/2.0/ai-functions/batches/<batch-name>" \-H "Authorization: Bearer $DATABRICKS_TOKEN"Lorsque le fichier de sortie est prêt,
output_refdans la réponse contient son chemin. -
Download le fichier de sortie avec l’ API Files:
Bashcurl -X GET "$DATABRICKS_HOST/api/2.0/fs/files/Volumes/my_catalog/my_schema/my_volume/output/<batch-name>_output.jsonl" \-H "Authorization: Bearer $DATABRICKS_TOKEN" \-o output.jsonl
Fichier de sortie
L’API asynchrone écrit le fichier de sortie d’un batch ai_extract à l’emplacement dans output_ref:
- Si
output_refse termine par/ou nomme un répertoire existant, l’API écrit le fichier de sortie dans<batch-name>_output.jsonldans ce répertoire. Plusieurs batchs peuvent partager un seul répertoire de sortie. - Dans le cas contraire,
output_refest le chemin d’accès au fichier de sortie. Le fichier ne doit pas exister lorsque vous créez le batch.
Le fichier de sortie contient une ligne pour chaque ligne du fichier d'entrée. Les lignes sont dans le même ordre que le fichier d'entrée. Chaque ligne possède le custom_id de sa requête et l'un des champs suivants :
response: Le résultat de la demande. Il possède les mêmes champs que la réponse de l’API REST IA Extract.error: Letypeet lemessagede l’erreur, si la demande a échoué. Si le batch a été annulé avant l’exécution de la demande, le type estcancelled.
L’exemple suivant montre une ligne pour une requête ayant abouti et une ligne pour une requête ayant échoué :
{"custom_id": "invoice-001", "response": {...}}
{"custom_id": "invoice-002", "error": {"type": "request_failed", "message": "..."}}
Limitations
- Voir les limitations