Aller au contenu principal
Dernière mise à jour le

Utilisez Genie Code pour le traitement intelligent de documents

Genie Code crée des pipelines de traitement de documents de bout en bout en orchestrant l’analyse, la classification, l’extraction et la validation. Pointez-le vers des PDF non structurés, des contrats ou des factures, et il évalue la qualité par rapport à des données étiquetées tout en effectuant des itérations pour l’améliorer, afin que vous puissiez déterminer si un pipeline est prêt pour la production.

Conditions requises​

Pour utiliser Genie Code pour le traitement de documents :

Créez un pipeline de traitement de documents avec Genie Code​

  1. Ouvrez Genie Code sur la page des Jobs & Pipelines ou dans l’éditeur SQL.
  2. Définissez votre objectif et désignez vos sources. Référencez vos volumes, tables et fichiers.
  3. Laissez faire. Lorsque Genie Code dispose d’éléments suffisants, il crée le LakeFlow Job en suivant les meilleures pratiques.
  4. Examinez et exécutez. Examinez le SQL et les tâches générés, modifiez ce que vous voulez, puis exécutez le job lorsque vous êtes prêt.
  5. Start small, puis montez en charge. Exécutez sur un échantillon, examinez le résultat, évaluez la qualité et procédez à des itérations avant de traiter l’ensemble du dataset.

En quoi Genie Code peut-il vous aider ?​

Créer un job de traitement de documents de bout en bout​

Décrivez le résultat, et Genie Code crée un LakeFlow job complet en n’utilisant que les étapes requises par votre objectif :

  • Découvrez les fichiers sources dans un volume et suivez leur identité ainsi que leurs modifications.
  • Analysez les documents pour en faire un contenu structuré avec ai_parse_document (texte, tables, graphiques et layout de page).
  • Classez chaque document selon vos propres étiquettes avec ai_classify (par exemple, des contrats d'affiliation, de marketing ou de conseil).
  • Extrayez des champs structurés à l’aide d’un schéma avec ai_extract, notamment des citations et des scores de confiance.
  • Publiez des données de sortie propres et structurées dans une table Unity Catalog.

Chaque fonction d'IA constitue sa propre tâche, ce qui permet au job de rester modulaire et de pouvoir être réexécuté, complété ou modifié ultérieurement.

Améliorez la qualité d’extraction à l’aide de l’évaluation et de la méthode d’ascension (hill climbing)​

Genie Code considère la qualité comme quelque chose que l'on mesure, et non que l'on devine. À partir d'une table étiquetée de sorties attendues, elle exécute une évaluation au niveau des champs, puis boucle la boucle :

  • Mesure. Notez le champ d’extraction actuel champ par champ afin de voir exactement quels champs sont faibles.
  • Améliorez. Genie Code propose un correctif, le plus souvent une description de champ plus précise, affiché sous la forme d'un diff révisable que vous approuvez avant qu'il ne soit appliqué.
  • Réévaluez. Chaque modification acceptée réexécute l'ensemble d'évaluation et affiche les résultats avant et après, de sorte que les améliorations et les régressions sont toutes deux visibles.

La boucle se répète jusqu’à ce que la qualité atteigne le seuil requis, ce qui vous permet de juger de l’état de préparation à partir des scores et de la confiance, et non à partir de résultats simplement plausibles.

Valider les résultats et acheminer les exceptions​

Genie Code intègre des critères de qualité (quality gates) dans le pipeline. Il associe des vérifications déterministes (schémas, champs requis, totaux), la confiance du modèle et des règles métier pour déterminer ce qui est validé, tout en maintenant les lignes en échec visibles.

Déboguez vos documents visuellement​

Genie Code ouvre l’ interface utilisateur de l’analyse des documents pour afficher les pages rendues à côté du contenu analysé et des champs extraits. Utilisez cet outil pour localiser un résultat erroné : si du texte est manquant ou altéré dans le résultat analysé, le problème provient de l'analyse ou du fichier source. Si le texte a été analysé mais qu'un champ est incorrect, le problème vient de l'extraction. Quoi qu'il en soit, confirmez sur des documents réels avant de procéder à la mise à l'échelle.

Inspecter et dépanner les pipelines existants​

Genie Code fonctionne sur les pipelines que vous possédez déjà, et pas seulement sur les nouveaux. Il peut expliquer un job, en examiner la conception et le coût sans rien modifier, trouver la cause profonde d’une étape défaillante ou lente, et apporter la correction minimale tout en préservant les parties fonctionnelles.

Exemples d’invites​

Créez un pipeline de bout en bout​

  • « Les contrats atterrissent dans @my_catalog.raw.contracts. Créez un job quotidien qui classe chacun d’eux dans les catégories affilié, marketing, conseil, hébergement et séquestre ; extrait les champs importants pour chaque type de contrat ; et écrit des tables gold. »
  • "J’ai un volume de factures numérisées à l’adresse @my_catalog.raw.invoices. Créez un Job qui les analyse, extrait le fournisseur, le numéro de facture, les postes et le total, et écrit les résultats dans une table."

Améliorez la qualité grâce à l'évaluation et au hill climbing​

  • « Comment savoir si c’est assez bien pour s’exécuter sur des millions de lignes ? Évaluez l’extraction par rapport à ma table étiquetée @my_catalog.default.eval_table et indiquez-moi quels champs sont les plus faibles. »
  • « La précision sur le champ invoice_total pourrait être supérieure. Améliorez de manière itérative le schéma et les instructions, réexécutez l’évaluation et affichez-moi les résultats avant et après. »
  • « Définissez des threshold de confiance par champ à partir des résultats d’évaluation et acheminez les lignes à faible niveau de confiance vers la révision. »

Valider les résultats et acheminer les exceptions​

  • « Ajoutez une validation qui vérifie les champs requis et s’assure que la somme des éléments de ligne correspond au total de la facture, puis conservez les lignes qui échouent. »
  • « Mettre en quarantaine dans une table séparée pour examen humain les documents qui ne respectent pas une règle métier (par exemple, un impôt payé supérieur au salaire). »

Déboguez vos documents visuellement​

  • « Show me the parsed results for these PDFs next to the original pages so I can check the parsed results. »
  • « The effective date is wrong on some consulting contracts. Open the parsed view so I can tell whether it's a parsing or an extraction problem. »

Inspecter et dépanner les pipelines existants​

  • « Expliquez ce que fait chaque tâche de ce job de traitement de documents et où les résultats sont écrits. »
  • « Cette tâche d'analyse a start à échouer. Trouvez la cause à partir du résultat de l'exécution récente et recommandez la correction la plus simple. »
  • « Veuillez examiner la conception de ce pipeline de traitement de documents par rapport aux meilleures pratiques et me dire s’il est prêt à être exécuté sur l’ensemble du dataset. »

Ressources​

Sur cette page