Pular para o conteúdo principal

Extração de Informações

nota

Esta página aborda a nova versão da Extração de Informações. Para obter informação sobre a versão anterior, consulte Use a Extração de Informações (legado)

A Extração de Informação transforma documentos e textos não estruturados em informações-key e percepções estruturadas, usando um esquema definido. Isso permite o uso de informações incorporadas em textos não estruturados, PDFs, imagens ou tabelas, diretamente para análise, relatórios ou agentes e aplicativos subsequentes.

Exemplos de Extração de Informações incluem:

  • Extraindo partes legais e termos de contratos.
  • Extraindo itens de linha e termos de pagamento de faturas.
  • Extraindo detalhes chave de prontuários e anotações médicas.

Extração de Informação usa armazenamento default para armazenar transformações de dados temporários, pontos de verificação de modelo e metadados internos que alimentam cada agente. Quando um agente é excluído, o Databricks remove todos os dados associados ao agente do armazenamento default.

A extração de informações está disponível através da IU do Agent Bricks, em SQL, com a API REST e com a API Assíncrona (Beta).

Criar um agente de extração de informações na IU​

Requisitos​

Vá para Ícone de Agentes. Agentes no painel de navegação esquerdo do seu workspace. Clique em Criar agente > Extração de informações .

O passo 1. Selecione os dados para extrair informações​

  1. Na página Comece com seus dados , selecione os arquivos ou dados dos quais você deseja extrair informações. Você pode fazer qualquer um dos seguintes:

    • Arraste e solte um ou mais arquivos na área de upload ou clique para procurar arquivos para fazer upload.
    • Clique em Selecionar volume para selecionar um volume do Unity Catalog com tipos de arquivo compatíveis.
    • Clique em Selecionar tabela para selecionar uma tabela do Unity Catalog que contém dados de texto.
  2. Se você selecionar uma tabela, selecione a coluna que contém os dados a serem extraídos. É necessário selecionar uma coluna com um tipo compatível, como STRING ou VARIANT, antes de prosseguir. Se a tabela não tiver colunas suportadas, selecione uma tabela diferente.

  3. Clique em Criar Agente . Este botão é ativado somente depois de selecionar uma fonte de dados válida e, para uma tabela, uma coluna suportada.

O passo 2. Configure e refine seu esquema de extração​

Depois que a Extração de Informação processar seus dados, configure e refine quais dados deseja extrair de seus documentos.

A view de construção do AI Extract com o painel de configuração do esquema de extração, o documento analisado e a saída JSON extraída.

  1. Em Configuração, defina seu esquema de extração. Existem várias maneiras de fazer isso:

    • Insira linguagem natural que descreva as informações que você deseja extrair e clique em Gerar Esquema . A Extração de Informações gera automaticamente um esquema JSON com nomes de campos e definições para você. Edite essas descrições conforme necessário.

    • Alternativamente, clique em Ou, defina manualmente para definir o seu esquema manualmente:

      1. Clique em Adicionar campo .
      2. Insira o nome, o tipo e a descrição do campo.
      3. Clique em Confirmar .
      4. Repita para cada campo que deseja extrair.
      5. Clique em Salvar e executar extração .
    • Você também pode clicar em JSON para editar o esquema JSON diretamente. Clique em Aplicar alterações quando concluir.

    Cada vez que você atualiza seu esquema e clica em Salvar e execução de extração , a Extração de informação atualiza o agente de extração, executa a extração e mostra os resultados para cada entrada.

    Para configurar opções adicionais, clique na alternância de opções Ícone de controles deslizantes. ao lado de Salvar e execução da extração e, em seguida, habilite uma ou mais das seguintes opções:

    • Modo de precisão : melhora a precisão para campos complexos e documentos longos.
    • Citações : exibe referências de origem para valores extraídos.
    • Pontuações de confiança : mostra os níveis de confiança para os valores extraídos.
  2. À esquerda, examine o documento analisado e a extração do agente. Itere os resultados da extração de duas maneiras. Primeiro, forneça feedback em linguagem natural sobre uma ou mais entradas, o que ajusta automaticamente suas descrições ao pressionar Salvar e execução de extração . Segundo, revise manualmente as descrições do esquema, que entram em vigor ao pressionar Salvar e execução de extração .

  3. Utilize as versões para comparar ou reverter para uma configuração anterior. Clique em Versões e, em seguida, clique em Comparar para comparar a definição de esquema de uma versão anterior com a versão atual. Clique em Restaurar para restaurar uma versão anterior.

O passo 3. Avaliar e melhorar a qualidade da extração​

Para medir o desempenho do seu agente e aprimorá-lo sistematicamente, avalie o agente em relação a um dataset rotulado. Uma avaliação pontua cada extração em relação a uma resposta correta conhecida (ground truth), para que seja possível rastrear a precisão no nível do campo em diferentes versões e direcionar os campos que precisam de atenção.

Adicionar um dataset de avaliação​

Antes de executar uma avaliação, é necessário ter um dataset de avaliação no Unity Catalog. O dataset deve ser uma tabela do Unity Catalog com duas colunas:

  • Uma coluna de entrada com o texto ou documento para extrair. Isso pode ser STRING texto ou a saída VARIANT de ai_parse_document.
  • Uma **coluna da verdade fundamental** com o resultado de extração esperado como uma string JSON. Cada valor deve estar em conformidade com o esquema de extração do seu agente, correspondendo ao ai_extract esquema avançado.

Executar uma avaliação​

Para executar uma avaliação para seu agente de extração:

  1. No workbench, abra o dropdown de avaliação e clique em Execução da avaliação . Isso abre a caixa de diálogo Criar execução de avaliação .
  2. Na **tabela de dataset de avaliação**, selecione a tabela do Unity Catalog que contém seus exemplos rotulados.
  3. Em Mapeamento de colunas , selecione a coluna de Entrada que contém a entrada do agente e a coluna de verdade comprovada que contém a resposta esperada.
  4. Clique em **Executar avaliação**. A Extração de Informações salva a configuração atual como uma nova versão e pontua cada linha em relação à sua verdade fundamental.

Revisar os resultados da avaliação​

Conforme a execução avança, os documentos são transmitidos para a tab **Documentos** e quaisquer campos incompatíveis são exibidos por documento. Quando a execução termina, a Extração de Informações exibe a tab **Visão Geral**, que inclui:

  • Um scorecard com Precisão geral do campo e Documentos totalmente corretos . Se existir uma execução de avaliação anterior, o scorecard mostrará a alteração dessa execução.
  • Uma tabela de **Pontuações por campo**. Clique em qualquer campo para abrir sua análise detalhada, que mostra precisão, exatidão, revocação e F1. Clique em **Mostrar documentos com falha** para ver cada documento que falhou ao extrair esse campo e sua saída extraída.

A tab Visão Geral da Avaliação exibe a precisão geral do campo, documentos totalmente corretos, recomendações do Genie Code e a tabela de pontuações por campo.

Mude para a **tab Documentos** para inspecionar documentos individuais. Cada linha exibe a proporção de campos correspondentes e os campos incompatíveis. Use o **dropdown Campos** para filtrar documentos que continham um campo incompatível específico. Clique em um documento para comparar a resposta do agente com a verdade fundamental lado a lado.

Aplicar correções do Genie Code​

Após a conclusão de uma execução, a Extração de Informação analisa os resultados e exibe problemas nas recomendações do Genie Code , classificadas pelo número de documentos afetados. Cada descoberta descreve um possível problema de qualidade. Clique em Corrigir com Genie para abrir um chat interativo do Genie Code que propõe alterações de esquema e instrução, as valida em relação aos documentos afetados e oferece para executar uma avaliação completa novamente.

Painel do Genie Code exibindo alterações propostas de esquema e instruções sendo validadas em relação aos documentos afetados.

O passo 4. Use seu agente de extração.​

Depois de estar satisfeito com o desempenho do agente, use-o para extrair informações.

Clique em Usar Agente no canto superior direito. Você pode selecionar uma das opções a seguir:

  • Execução em SQL para usar o agente para extrair informação de todos os seus dados. Isso abre uma consulta SQL que usa ai_extract para extrair informações do seu volume ou tabela usando o esquema definido. Para obter mais informações sobre como usar ai_extract em consultas SQL, consulte a função ai_extract.
  • Crie um pipeline do Lakeflow que realize a execução em intervalos programados para invocar seu agente com novos dados. Isso cria um pipeline do Lakeflow que atualiza uma tabela de transmissão com sua extração de dados. Você pode configurar para programar o pipeline para a execução quando novos dados chegarem. Para obter mais informações sobre LakeFlow Pipelines, consulte Spark Declarative Pipelines on Lakeflow.

Extrair informações em SQL​

Chame ai_extract em SQL para extrair campos em escala:

SQL
SELECT ai_extract(
'Invoice #12345 from Acme Corp for $1,250.00 dated 2024-01-15',
'{
"invoice_id": {"type": "string", "description": "Unique invoice identifier"},
"vendor_name": {"type": "string", "description": "Legal business name"},
"total_amount": {"type": "number", "description": "Total invoice amount"},
"invoice_date": {"type": "string", "description": "Date in YYYY-MM-DD format"}
}',
options => map('version', '2.1')
);

Consulte a referência de SQL ai_extract.

Extrair informação com a API REST​

Use a API REST para extrair campos estruturados de aplicativos, serviços e fluxos de trabalho de automação. Consulte a documentação da API REST para obter referência.

O limite de taxa default para as solicitações da API REST de ai_extract é de 120 solicitações por minuto por workspace. Entre em contato com sua equipe de account Databricks para solicitar um limite maior.

O exemplo a seguir extrai campos estruturados do texto da fatura:

Bash
curl -X POST "$DATABRICKS_HOST/api/2.0/ai-functions/ai-extract" \
-H "Authorization: Bearer $DATABRICKS_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"content": "Invoice #12345 from Acme Corp for $1,250.00 dated 2024-01-15",
"schema": {
"vendor_name": {
"type": "string"
},
"total_amount": {
"type": "number"
}
}
}'

Extrair informações com a API assíncrona (Beta)​

Para processamento em lotes, o Databricks recomenda tarefas de Função de AI no Lakeflow Jobs. Para extrair campos em um job, use uma tarefa ai_extract, que faz o seguinte:

  • Realiza a execução do processamento em segundo plano e grava os resultados em uma tabela do Unity Catalog, para que você não precise enviar lotes, verificar seus status ou fazer download de arquivos de saída.
  • Processa apenas as linhas que são novas ou alteradas desde a execução anterior.
  • Mostra o progresso de cada execução e quantos inputs foram bem-sucedidos e falharam.

Use a API assíncrona do AI Functions (Beta) em vez disso quando quiser integrar o processamento em um aplicativo existente ou em um orquestrador externo e gerenciar os envios e resultados por conta própria.

info

Beta

Este recurso está em Beta. Para usá-lo, um administrador do Workspace deve ativar a API assíncrona de AI Functions na página Prévias . Consulte Gerenciar prévias do Databricks.

Para os campos de solicitação e resposta e para as solicitações para cancelar e listar lotes, consulte a referência da API assíncrona.

Arquivo de entrada​

O arquivo de entrada de um lote ai_extract é um arquivo JSONL em um volume do Unity Catalog, com uma solicitação em cada linha. Cada linha é um objeto JSON com exatamente os seguintes campos:

campo

Descrição

custom_id

Uma string que identifica a solicitação. Cada linha do arquivo de saída tem a custom_id de sua solicitação, portanto, use um valor que você possa combinar com os resultados, como a key da linha de origem.

body

O texto do qual extrair campos, no formato {"text": "..."}.

campo

Descrição

custom_id

Uma string que identifica a solicitação. Cada linha do arquivo de saída tem a custom_id de sua solicitação, portanto, use um valor que você possa combinar com os resultados, como a key da linha de origem.

body

O texto do qual extrair campos, no formato {"text": "..."}.

O arquivo de entrada a seguir contém duas solicitações:

JSON
{"custom_id": "invoice-001", "body": {"text": "Invoice #12345 from Acme Corp for $1,250.00 dated 2024-01-15"}}
{"custom_id": "invoice-002", "body": {"text": "Invoice #12346 from Globex for $980.00 dated 2024-02-03"}}

O arquivo de entrada contém apenas o texto e o ID de cada registro. Você define os outros parâmetros de ai_extract em params quando cria o lote, e eles se aplicam a todas as solicitações:

  • schema (obrigatório): Os campos a serem extraídos, como uma lista de nomes de campo ou como um objeto que mapeia cada campo para seu type e description.
  • options: As opções da função, como instructions e mode.

Para saber o que cada parâmetro faz, consulte a referência da API REST AI Extract. Em params.options, escreva cada nome de opção em camelCase, por exemplo enableCitations em vez de enable_citations.

Quando você cria um lote, a API verifica o arquivo de entrada inteiro e params primeiro. Se o arquivo de entrada ou params violar uma das seguintes regras, a solicitação falha com HTTP 400 e nenhum lote é criado:

  • O arquivo está codificado em UTF-8 e cada linha é um objeto JSON com exatamente os campos custom_id e body. O arquivo não possui linhas em branco.

  • Cada custom_id é uma string não vazia e não existem duas linhas com a mesma custom_id.

  • Cada body tem exatamente uma key, text.

    • Se um valor text não for uma string, o lote ainda será criado e essa solicitação falhará com o tipo de erro invalid_request.
  • O arquivo tem de 1 a 50.000 linhas e tem no máximo 200 MiB.

    • Para processar mais registros, divida-os em vários arquivos de entrada e crie um lote para cada arquivo.
  • params tem schema e nenhum parâmetro que ai_extract não leve.

Para um problema em uma linha do arquivo de entrada, a mensagem de erro fornece o número da linha e a regra, por exemplo Batch input line 3 custom_id must be unique. Se você não conseguir ler o arquivo de entrada ou gravar em output_ref, a solicitação falhará com HTTP 403.

A API copia o arquivo de entrada quando cria o lote, portanto, as alterações feitas posteriormente no arquivo não afetam o lote.

Execução de um lote​

Para extrair campos com a API assíncrona:

  1. Crie o arquivo de entrada e faça upload dele para um volume do Unity Catalog, por exemplo, com a API de arquivos.

  2. Crie um lote que faça a execução de ai_extract no arquivo de entrada. Defina input_ref como o caminho do arquivo de entrada, params como os parâmetros de cada solicitação e output_ref como um diretório de volume ou um novo caminho de arquivo para o arquivo de saída:

    Bash
    curl -X POST "$DATABRICKS_HOST/api/2.0/ai-functions/batches" \
    -H "Authorization: Bearer $DATABRICKS_TOKEN" \
    -H "Content-Type: application/json" \
    -d '{
    "endpoint": "ai_extract",
    "input_ref": "/Volumes/my_catalog/my_schema/my_volume/requests.jsonl",
    "params": {
    "schema": {
    "vendor_name": {
    "type": "string"
    },
    "total_amount": {
    "type": "number"
    }
    }
    },
    "output_ref": "/Volumes/my_catalog/my_schema/my_volume/output/"
    }'

    A resposta contém o lote name. Use-o em vez de <batch-name> nos próximos passos. Por default, um workspace pode ter até 20 lotes inacabados por vez, em todos os usuários. Se estiver no limite, o pedido falhará com HTTP 409. Crie o lote novamente após outro lote terminar ou ser cancelado.

  3. Verifique o status do lote. O lote termina quando status é COMPLETED, CANCELLED ou FAILED:

    Bash
    curl -X GET "$DATABRICKS_HOST/api/2.0/ai-functions/batches/<batch-name>" \
    -H "Authorization: Bearer $DATABRICKS_TOKEN"

    Quando o arquivo de saída estiver pronto, output_ref na resposta conterá o caminho dele.

  4. Faça o download do arquivo de saída com a API de arquivos:

    Bash
    curl -X GET "$DATABRICKS_HOST/api/2.0/fs/files/Volumes/my_catalog/my_schema/my_volume/output/<batch-name>_output.jsonl" \
    -H "Authorization: Bearer $DATABRICKS_TOKEN" \
    -o output.jsonl

Arquivo de saída​

A API assíncrona grava o arquivo de saída de um lote ai_extract no local em output_ref:

  • Se output_ref terminar com / ou nomear um diretório existente, a API gravará o arquivo de saída em <batch-name>_output.jsonl nesse diretório. Vários lotes podem compartilhar um único diretório de saída.
  • Caso contrário, output_ref é o caminho do arquivo de saída. O arquivo não deve existir ao criar o lote.

O arquivo de saída tem uma linha para cada linha do arquivo de entrada. As linhas estão na mesma ordem do arquivo de entrada. Cada linha tem o custom_id da sua solicitação e um dos seguintes campos:

  • response: O resultado da solicitação. Ele tem os mesmos campos que a resposta da API REST AI Extract.
  • error: O type e message do erro, se a solicitação falhou. Se o lote foi cancelado antes que a solicitação fosse posta em execução, o tipo será cancelled.

O exemplo a seguir mostra uma linha para uma solicitação que foi bem-sucedida e uma linha para uma solicitação que falhou:

Text
{"custom_id": "invoice-001", "response": {...}}
{"custom_id": "invoice-002", "error": {"type": "request_failed", "message": "..."}}

Limitações​