Pular para o conteúdo principal
Última atualização em

Use o Genie Code para o processamento inteligente de documentos

O Genie Code cria pipelines de processamento de documentos de ponta a ponta, orquestrando análise, classificação, extração e validação. Aponte para PDFs desestruturados, contratos ou faturas, e ele avalia a qualidade em relação aos dados de rótulo e faz iterações para melhorá-la, para que você possa julgar quando um pipeline está pronto para produção.

Requisitos​

Para usar o Genie Code para processamento de documentos:

Criar um pipeline de processamento de documentos com o Genie Code​

  1. Abra o Genie Code na página Jobs & Pipelines ou no editor SQL.
  2. State your goal and point at your sources. Reference your volumes, tables, and files.
  3. Deixe-o construir. Depois que o Genie Code tiver informações suficientes para trabalhar, ele construirá o LakeFlow Job usando as melhores práticas.
  4. Revise e execute. Examine o SQL e as tarefas geradas, edite o que desejar e execute o job quando estiver pronto.
  5. Comece pequeno e, em seguida, faça scale. Execute em uma amostra, revise a saída, avalie a qualidade e faça iterações antes de processar o dataset completo.

What can Genie Code help with?​

Criar um job de processamento de documentos de ponta a ponta​

Descreva o resultado, e o Genie Code criará um LakeFlow Job completo, usando apenas os estágios necessários para o seu objetivo:

  • Descobrir arquivos de origem em um volume e acompanhar a identidade e as alterações deles.
  • Analise documentos em conteúdo estruturado com o ai_parse_document (texto, tabelas, figuras e disposição de página).
  • Classifique cada documento em seus próprios rótulos com ai_classify (por exemplo, contratos de afiliados, de marketing ou de consultoria).
  • Extrair campos estruturados em um esquema com ai_extract, incluindo citações e pontuações de confiança.
  • Publique a saída limpa e estruturada em uma tabela do Unity Catalog.

Cada função de AI é uma tarefa própria, de modo que o job permanece modular e você pode executá-lo novamente, fazer o preenchimento retroativo ou editá-lo mais tarde.

Melhore a qualidade da extração com avaliação e escalada (hill climbing)​

O Genie Code trata a qualidade como algo a ser medido, e não adivinhado. Dada uma tabela rotulada de resultados esperados, ele executa uma avaliação em nível de campo e, em seguida, fecha o ciclo:

  • Medida. Pontue o campo de extração atual campo a campo para ver exatamente quais campos estão fracos.
  • Melhore. O Genie Code propõe uma correção, na maioria das vezes uma descrição de campo mais precisa, mostrada como um diff revisável que você aprova antes de ser aplicada.
  • Reavalie. Cada alteração aceita executa novamente o conjunto de avaliação e exibe os resultados anteriores e posteriores, tornando visíveis tanto as melhorias quanto as regressões.

O loop se repete até que a qualidade atinja o padrão desejado, para que você avalie a prontidão com base em pontuações e confiança, e não em uma saída que pareça plausível.

Validar resultados e exceções de rota​

O Genie Code cria portas de qualidade (quality gates) no pipeline. Ele combina verificações determinísticas (esquemas, campos obrigatórios, totais), confiança do modelo e regras de negócios para decidir o que passa e mantém as linhas com falha visíveis.

Depure seus documentos visualmente​

O Genie Code abre a interface de análise de documentos para mostrar as páginas renderizadas ao lado do conteúdo analisado e dos campos extraídos. Use-o para localizar um resultado incorreto: se o texto estiver faltando ou corrompido na saída analisada, o problema estará na análise ou no arquivo de origem. Se o texto foi analisado, mas um campo está incorreto, o problema é a extração. De qualquer forma, confirme em documentos reais antes de dimensionar.

Inspecionar e solucionar problemas de pipelines existentes​

O Genie Code funciona nos pipelines que você já possui, e não apenas em novos. Ele pode explicar um job, revisar seu design e custo sem alterar nada, encontrar a causa raiz de um estágio com falha ou lento e fazer a correção mínima sem mexer nas partes que estão funcionando.

Exemplos de prompts​

Crie um pipeline de ponta a ponta​

  • "Contratos entram em @my_catalog.raw.contracts. Crie um Job diário que classifique cada contrato em afiliado, marketing, consultoria, hospedagem e garantia (escrow); extraia os campos que importam para cada tipo de contrato; e grave tabelas ouro."
  • "Tenho um volume de faturas escaneadas em @my_catalog.raw.invoices. Crie um job que as analise, extraia o fornecedor, o número da fatura, os itens de linha e o total, e grave os resultados em uma tabela."

Improve quality with evaluation and hill climbing​

  • "Como sei que isso é bom o suficiente para rodar em milhões de linhas? Avalie a extração em relação à minha tabela rotulada @my_catalog.default.eval_table e diga-me quais campos são mais fracos."
  • "Accuracy on the invoice_total field could be higher. Iteratively improve the schema and instructions, re-run the evaluation, and show me the before and after."
  • "Defina limites de confiança por campo a partir dos resultados da avaliação e encaminhe linhas de baixa confiança para revisão."

Validar resultados e exceções de rota​

  • "Adicionar validação que verifica os campos obrigatórios e se os itens de linha somam o total da fatura, e mantém as linhas que falharem."
  • "Coloque em quarentena em uma tabela separada para revisão humana os documentos que falharem em uma regra de negócios (por exemplo, imposto pago maior que o salário)."

Depure seus documentos visualmente​

  • "Mostre-me os resultados analisados desses PDFs ao lado das páginas originais para que eu possa verificar os resultados analisados."
  • "A data de vigência está incorreta em alguns contratos de consultoria. Abra a view analisada para que eu possa identificar se é um problema de análise ou de extração."

Inspecionar e solucionar problemas de pipelines existentes​

  • "Explique o que cada tarefa neste job de processamento de documentos faz e onde os resultados são gravados."
  • "Esta tarefa de análise começou a falhar. Encontre a causa na saída da execução recente e recomende a menor correção."
  • "Review this document processing pipeline design against best practices and tell me whether it's ready to run on the full dataset."

Outros recursos​

Nesta página