Agentes de rastreamento implantados no Databricks

Implante aplicativos de AI na Databricks para que os rastreamentos de produção sejam capturados automaticamente. A Databricks recomenda a implantação com Agentes Personalizados em Databricks Apps; você também pode implantar no Model Serving. Independentemente do método de implantação que você escolher, Databricks Logs rastreamentos em seu experimento do MLflow para visualização em tempo real.

Para aplicativos implantados fora Databricks, consulte Agentes de rastreamento implantados fora do Databricks.

Armazenar rastreamentos no Unity Catalog

Cada rastreamento é registrado em um experimento do MLflow, que é sempre o ponto de entrada para visualizar rastreamentos na IU do MLflow. O que difere é o local de armazenamento que suporta o experimento. Você tem duas opções:

• Armazenamento do Unity Catalog (recomendado para produção): Vincule o experimento a um local de rastreamento do Unity Catalog para que os rastreamentos cheguem às tabelas Delta do Unity Catalog. Isso requer alguma configuração antes de você implantar. Em troca, você obtém retenção de longo prazo de grandes volumes de rastreamento sem limite por experimento. Os rastreamentos são governados pelas permissões de catálogo, esquema e tabela do Unity Catalog, e você pode query-los diretamente com SQL por meio de um Databricks SQL warehouse.
• Armazenamento baseado em experimento (default): Se não configurar um local de rastreamento, os rastreamentos serão armazenados como artefatos de experimento. Isso é conveniente para desenvolvimento, mas tem um limite de rastreamento por experimento e não é otimizado para consultar grandes volumes de rastreamentos de produção.

Consulte Armazene rastreamentos OpenTelemetry no Unity Catalog para a configuração completa, pré-requisitos e permissões.

Implantar com agentes personalizados no Databricks Apps (recomendado)

A Databricks recomenda a implantação de aplicativos de AI com Agentes Personalizados no Databricks Apps. O MLflow Tracing funciona automaticamente, sem a necessidade de instrumentação adicional.

Por default, os rastreamentos são armazenados como artefatos no experimento MLflow do aplicativo. Para produção, aponte o aplicativo para um experimento apoiado por um local de rastreamento do Unity Catalog, conforme descrito em Armazenar rastreamentos no Unity Catalog. Defina o experimento de uma das seguintes maneiras:

Declare an experiment resource

1. Adicione o experimento com suporte do Unity Catalog como um recurso do Databricks Apps e defina a MLFLOW_EXPERIMENT_ID variável de ambiente para referenciá-lo.
2. Declare o recurso na configuração do seu aplicativo ou adicione-o na IU de Recursos do aplicativo no Workspace.
3. Conceda a identidade do aplicativo CAN_EDIT no experimento.

Set the experiment in agent code

1. Chame mlflow.set_experiment() no seu código de agente:

   Python

   import os
   import mlflow
   
   mlflow.set_experiment(experiment_id=os.environ["MLFLOW_EXPERIMENT_ID"])

2. Se você implantar de uma pasta do Git do Databricks, aponte para um experimento não associado ao Git. O rastreamento em tempo real não funciona de outra forma.

Para obter o guia completo de autoria e implantação, consulte Crie um agente e implante-o nos Databricks Apps.

Implantar no Model Serving (alternativa)

Você também pode implantar seu agente em um endpoint de Model Serving. O MLflow Tracing funciona automaticamente e os rastreamentos são armazenados no experimento MLflow do agente. Crie o experimento com um local de rastreamento do Unity Catalog antes de implantar.

Implantar com Agentes Personalizados no Model Serving usando agents.deploy(...). Isso provisiona um endpoint otimizado para agentes que configura a autenticação, o aplicativo de revisão e o rastreamento em tempo real para o senhor, incluindo as variáveis de ambiente ENABLE_MLFLOW_TRACING e MLFLOW_EXPERIMENT_ID. Consulte Criar um agente e implantá-lo no Model Serving para obter as instruções completas.

Se o senhor implantar um modelo em um endpoint de serviço manualmente em vez de usar agents.deploy(...), deverá configurar credenciais adicionais para que o endpoint grave rastreamentos no Unity Catalog. Consulte Armazenar rastreamentos OpenTelemetry no Unity Catalog para a configuração necessária.

nota

Se você estiver implantando um agente de um Notebook armazenado em uma pasta Git do Databricks, o rastreamento em tempo real do MLflow 3 não funciona por default. Para habilitar o rastreamento em tempo real, defina o experimento para um experimento não associado ao Git usando mlflow.set_experiment() antes de executar agents.deploy().

Implante um Agente Personalizado no Model Serving com MLflow Tracing

Abrir notebook em uma nova abaOpen in Databricks

Recursos adicionais

• Visualizar rastreamentos na interface do usuário Databricks MLflow - visualizar rastreamentos na interface do usuário MLflow .
• Armazene rastreamentos OpenTelemetry no Unity Catalog - Armazene rastreamentos de produção em tabelas Delta governadas para retenção e análise de longo prazo.
• Monitoramento de produção - Executar avaliadores em rastreamentos de produção para monitorar a qualidade do aplicativo.
• Adicione contexto aos rastreamentos - Anexe metadados para acompanhamento de solicitações, sessões de usuário e dados de ambiente.