Pular para o conteúdo principal

Análise de Documentos

A Análise de Documentos usa técnicas de pesquisa de última geração para extrair e visualizar dados estruturados de uma ampla gama de tipos de documentos, incluindo, mas não se limitando a PDFs, imagens, documentos do Word (DOC/DOCX) e arquivos do PowerPoint (PPT/PPTX). Ele é projetado para lidar com disposições complexas, como tabelas, gráficos e conteúdo misto de texto e imagem.

A análise de documentos está disponível por meio da UI do Agent Bricks, no SQL, com a API REST e com a API Assíncrona (Beta).

Criar um agente de análise de documentos na IU​

Requisitos​

Use a Análise de Documentos para analisar seus documentos e visualizar sua estrutura.

  1. Vá para Ícone de Agentes. **Agentes** no painel de navegação esquerdo do seu workspace.
  2. Clique em Criar Agente > Análise de Documentos .
  3. Selecione seu documento de origem. É possível optar por fazer o upload de um arquivo ou selecionar um de um catálogo existente do Unity Catalog. Formatos compatíveis incluem: PDF, imagens, DOC/DOCX e PPT/PPTX.
  4. Clique em **Analisar documento**.

A análise do seu documento pode levar alguns minutos. Quando concluído, a Análise de Documentos mostra o documento de origem à esquerda e o documento analisado à direita. É possível escolher visualizar o documento analisado como texto Formatado ou JSON Bruto .

Interface do usuário de análise de documentos mostrando documento de origem e analisado lado a lado

Processar e consultar resultados​

Para visualizar a consulta ai_parse_document e executá-la em mais documentos, clique em Usar Agente e escolha entre executar a consulta do Editor SQL ou do Notebook. Você pode editar a consulta para apontar para o volume ou tabela em que seus documentos estão.

Para preparar a saída analisada para recuperação (RAG), use ai_prep_search (Beta) downstream.

Analisar documentos em SQL​

Chame ai_parse_document em SQL para analisar documentos em escala:

SQL
SELECT
ai_parse_document(
content,
map('version', '2.0')
) AS parsed
FROM READ_FILES('/Volumes/my_catalog/my_schema/my_documents', format => 'binaryFile');

Consulte a referência de SQL ai_parse_document.

Analisar documentos com a API REST​

Use a API REST para analisar documentos de aplicativos, serviços e fluxos de trabalho de automação. Consulte a documentação da API REST para obter referência.

ai_parse_document REST API requests are limited to 100 pages per document.

O limite de taxa default para solicitações à API REST de ai_parse_document é de 250 solicitações por minuto por workspace. Entre em contato com sua equipe de account da Databricks para solicitar um limite maior.

ai_parse_document lê sua entrada de um volume do Unity Catalog. O exemplo a seguir faz o upload de um PDF local para um volume com a Files API e, em seguida, o analisa.

Primeiro, faça upload do documento para um volume:

Bash
curl -X PUT "$DATABRICKS_HOST/api/2.0/fs/files/Volumes/my_catalog/my_schema/my_volume/invoice.pdf?overwrite=true" \
-H "Authorization: Bearer $DATABRICKS_TOKEN" \
-H "Content-Type: application/octet-stream" \
--data-binary @invoice.pdf

Em seguida, analise o documento upload passando o caminho do volume como content:

Bash
curl -X POST "$DATABRICKS_HOST/api/2.0/ai-functions/ai-parse-document" \
-H "Authorization: Bearer $DATABRICKS_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"content": "/Volumes/my_catalog/my_schema/my_volume/invoice.pdf"
}'

Analise documentos com a Asynchronous API (Beta)​

Use a API Assíncrona de AI Functions (Beta) para analisar muitos documentos em um lote. Para os campos de solicitação e resposta e para as solicitações de cancelamento e listagem de lotes, consulte a referência da API Assíncrona. Um administrador de workspace deve habilitar a visualização da API Assíncrona de AI Functions na página de visualizações.

nota

Para analisar documentos em um volume ou tabela do Unity Catalog em um job, você pode usar uma tarefa ai_parse_document (Beta) em vez disso. A tarefa grava os resultados em uma tabela do Unity Catalog para você, e cada execução processa apenas os documentos novos ou alterados.

Para analisar um diretório de documentos com a API Assíncrona:

  1. Faça upload dos documentos para um diretório em um volume do Unity Catalog. O lote analisa todos os arquivos no diretório e em seus subdiretórios; portanto, coloque apenas os documentos para analisar lá.

  2. Crie lotes que façam a execução de ai_parse_document no diretório. Defina input_ref como o diretório e output_ref como o diretório de volume para os resultados:

    Bash
    curl -X POST "$DATABRICKS_HOST/api/2.0/ai-functions/batches" \
    -H "Authorization: Bearer $DATABRICKS_TOKEN" \
    -H "Content-Type: application/json" \
    -d '{
    "endpoint": "ai_parse_document",
    "input_ref": "/Volumes/my_catalog/my_schema/my_volume/invoices/",
    "output_ref": "/Volumes/my_catalog/my_schema/my_volume/output/"
    }'

    A resposta contém o lote name. Use-o em vez de <batch-name> nos os passos seguintes.

  3. Verifique o status do lote. O lote é finalizado quando status é COMPLETED, CANCELLED ou FAILED:

    Bash
    curl -X GET "$DATABRICKS_HOST/api/2.0/ai-functions/batches/<batch-name>" \
    -H "Authorization: Bearer $DATABRICKS_TOKEN"

    Quando o arquivo de saída estiver pronto, output_ref na resposta conterá seu caminho.

  4. Faça o download do arquivo de saída com a API de arquivos:

    Bash
    curl -X GET "$DATABRICKS_HOST/api/2.0/fs/files/Volumes/my_catalog/my_schema/my_volume/output/<batch-name>_output.jsonl" \
    -H "Authorization: Bearer $DATABRICKS_TOKEN" \
    -o output.jsonl

O arquivo de saída tem uma linha para cada documento. Cada linha tem o custom_id do seu pedido e um dos campos seguintes:

  • response: O resultado da solicitação. Tem os mesmos campos que a resposta da API REST do AI Parse Document.
  • error: O type e message do erro, se a solicitação falhar.

Para um diretório, o custom_id de cada linha é o caminho do documento, e as linhas podem estar em qualquer ordem:

Text
{"custom_id": "/Volumes/my_catalog/my_schema/my_volume/invoices/invoice-001.pdf", "response": {...}}
{"custom_id": "/Volumes/my_catalog/my_schema/my_volume/invoices/invoice-002.pdf", "error": {"type": "request_failed", "message": "..."}}

Para analisar apenas alguns dos documentos, ou para dar a cada documento seu próprio custom_id, use um arquivo de entrada JSONL em vez de um diretório. Cada linha nomeia um documento em body.path:

JSON
{"custom_id": "invoice-001", "body": {"path": "/Volumes/my_catalog/my_schema/my_volume/invoices/invoice-001.pdf"}}
{"custom_id": "invoice-002", "body": {"path": "/Volumes/my_catalog/my_schema/my_volume/invoices/invoice-002.pdf"}}

Faça upload do arquivo de entrada para um volume e defina input_ref como seu caminho. As linhas de saída ficam na mesma ordem do arquivo de entrada.

Limitações​

Consulte limitações deai_parse_document.