Referência da API do MLflow

Esta página fornece um índice de APIs importantes do MLflow usadas em agentes, com links diretos para a documentação oficial do MLflow.

Os recursos MLflow marcados como "Databricks only" estão disponíveis apenas no Databricks-gerenciar MLflow.

Links rápidos

• Todas as APIs Python do MLflow

• APIs principais do MLflow

• Módulo MLflow GenAI

  • MLflow Tracing APIs
  • Conjunto de dataset referência para avaliação
  • Referência para monitoramento da produção

• APIs de cliente do MLflow

• Entidades do MLflow

info

Beta e recurso experimental

Algumas das APIs mencionadas nesta página estão atualmente nos estágios Beta ou Experimental. Essas APIs estão sujeitas a alterações ou remoção em versões futuras. As APIs experimentais estão disponíveis para todos os clientes, e as APIs beta estão disponíveis para a maioria dos clientes automaticamente. Se o senhor não tiver acesso a uma API Beta e precisar solicitar acesso, entre em contato com o representante de suporte da Databricks.

Gestão de experimentos

Gerencie experimentos e execuções do MLflow para o acompanhamento do desenvolvimento de agentes:

SDK

• mlflow.search_runs() - Pesquise e filtre a execução por critérios
• mlflow.set_experiment() - Defina o experimento MLflow ativo
• mlflow.start_run() - iniciar uma nova execução MLflow para acompanhamento

Entidades

• mlflow.entities.Experiment - Metadados e configuração do experimento
• mlflow.entities.Run - metadados de execução, métricas e parâmetros

Rastreamento

Instrumente e capture rastros de execução de agentes:

SDK

• mlflow.delete_trace_tag() - Remover uma tag de um rastreamento
• mlflow.get_current_active_span() - Obter o intervalo atualmente ativo
• mlflow.get_last_active_trace() - Recuperar o rastreamento concluído mais recentemente
• mlflow.get_last_active_trace_id() - Obter ID do último rastreamento ativo
• mlflow.get_trace() - Recuperar um rastreamento por ID
• mlflow.search_traces() - Pesquisar e filtrar rastros
• mlflow.set_trace_tag() - Adicionar uma tag a um rastreamento
• mlflow.start_span() - Iniciar manualmente um novo período
• mlflow.trace - Decorador para rastrear automaticamente a execução da função
• mlflow.traceName - Gerenciador de contexto para definir o nome do rastreamento
• mlflow.traceOutputs - Gerenciador de contexto para definir saídas de rastreamento
• mlflow.tracing - Módulo de rastreamento com funções de configuração
• mlflow.tracing.disable - Desabilitar o rastreamento globalmente
• mlflow.tracing.disable_notebook_display() - Desabilitar exibição de rastreamento no Notebook
• mlflow.tracing.enable - Habilitar rastreamento globalmente
• mlflow.tracing.enable_notebook_display() - Habilitar exibição de rastreamento no Notebook
• mlflow.update_current_trace() - Atualizar metadados para o rastreamento atual

Entidades

• mlflow.entities.Trace - Rastreamento completo com todos os intervalos e metadados
• mlflow.entities.TraceData - Dados de execução de rastreamento
• mlflow.entities.TraceInfo - Metadados de rastreamento e informações resumidas
• mlflow.entities.Span - Intervalo individual dentro de um traço
• mlflow.entities.SpanEvent - Evento ocorrendo dentro de um intervalo
• mlflow.entities.SpanType - Enumeração de classificação de tipo de intervalo
• mlflow.entities.Document - Entidade de documento para aplicações RAG

Integrações de rastreamento

Instrumentação automática para frameworks e bibliotecas GenAI que fornecem uma função autolog() dedicada. Para obter a lista completa de integrações compatíveis — incluindo aquelas rastreadas por meio de um cliente compatível com OpenAI — consulte Integrações do MLflow Tracing.

• mlflow.ag2.autolog — integração com AG2
• mlflow.agno.autolog - Integração com o Agno
• mlflow.anthropic.autolog - Integração Claude Anthropic
• mlflow.autogen.autolog - Integração do Microsoft AutoGen
• mlflow.bedrock.autolog - Integração com o AWS Bedrock
• mlflow.crewai.autolog - Integração CrewAI
• mlflow.dspy.autolog - Integração DSPy
• mlflow.gemini.autolog - Integração com o Google Gemini
• mlflow.groq.autolog - Integração Groq
• mlflow.haystack.autolog - Integração com Haystack
• mlflow.langchain.autolog - Integração LangChain
• mlflow.litellm.autolog - Integração LiteLLM
• mlflow.llama_index.autolog - Integração LlamaIndex
• mlflow.mistral.autolog - Integração AI Mistral
• mlflow.openai.autolog - Integração OpenAI
• mlflow.pydantic_ai.autolog — Integração com o PydanticAI
• mlflow.smolagents.autolog — Integração com Smolagents
• mlflow.strands.autolog – Integração com Strands Agents

Avaliação e monitoramento

SDK de avaliação principal

APIs principais para avaliação offline e monitoramento de produção:

• mlflow.genai.evaluate() - Avaliação para orquestrar avaliação offline com pontuadores e conjunto de dados
• mlflow.genai.to_predict_fn() - Converter a saída do modelo para o formato de função de previsão padronizado
• mlflow.genai.Scorer - Classe de pontuação personalizada para implementação orientada a objetos com gerenciamento de estado
• mlflow.genai.scorer() - Decorador de pontuação para lógica de criação e avaliação de pontuação

marcadores integrados

Avaliadores de avaliação de qualidade prontos para uso imediato. Consulte Juízes de LLM integrados para saber o que cada um avalia.

Avaliadores de turno único:

• mlflow.genai.scorers.Safety - Avaliação de segurança de conteúdo
• mlflow.genai.scorers.Correctness - Avaliação da precisão da resposta
• mlflow.genai.scorers.RelevanceToQuery - Pontuação de relevância da consulta
• mlflow.genai.scorers.Guidelines - complianceas diretrizes personalizadas
• mlflow.genai.scorers.ExpectationsGuidelines - Avaliação de diretrizes com expectativas
• mlflow.genai.scorers.RetrievalGroundedness - Avaliação de aterramento do RAG
• mlflow.genai.scorers.RetrievalRelevance - Relevância do contexto recuperado
• mlflow.genai.scorers.RetrievalSufficiency - Avaliação da suficiência do contexto

Avaliadores de chamada de ferramenta:

• mlflow.genai.scorers.ToolCallCorrectness - Chamadas de ferramenta e argumentos corretos para a solicitação
• mlflow.genai.scorers.ToolCallEfficiency - Uso de ferramentas eficiente e não redundante

Avaliadores de conversas multi-turn:

• mlflow.genai.scorers.ConversationCompleteness - Todas as perguntas do usuário respondidas ao longo da conversa
• mlflow.genai.scorers.UserFrustration — Detecção e resolução de frustração do usuário
• mlflow.genai.scorers.KnowledgeRetention - Retenção de informação de turnos anteriores
• mlflow.genai.scorers.ConversationalGuidelines - Compliance de diretrizes ao longo da conversa
• mlflow.genai.scorers.ConversationalRoleAdherence - Adherence to the assigned role
• mlflow.genai.scorers.ConversationalSafety - Respostas seguras ao longo da conversa
• mlflow.genai.scorers.ConversationalToolCallEfficiency - Uso eficiente de ferramentas ao longo da conversa

Helpers:

• mlflow.genai.scorers.get_all_scorers() - Recuperar todos os marcadores integrados

SDK do ciclo de vida do avaliador de monitoramento de produção

info

Beta

Este recurso está em versão Beta. Os administradores do espaço de trabalho podem controlar o acesso a este recurso na página de Pré-visualizações . Veja as prévias do Gerenciador Databricks.

Gerenciamento do ciclo de vida do Scorer para acompanhamento contínuo da qualidade na produção:

Métodos de instância do Scorer

• Scorer.register() - registrar avaliador personalizado com servidor
• Scorer.start() - Comece a avaliação on-line com amostragem
• Scorer.update() - Modificar a configuração de amostragem
• Scorer.stop() - Pare a avaliação on-line

Funções de registro do marcador

• mlflow.genai.scorers.get_scorer() - Recupere o marcador registrado pelo nome
• mlflow.genai.scorers.list_scorers() - Listar todos os marcadores registrados
• mlflow.genai.scorers.delete_scorer() - Excluir marcadores registrados pelo nome

Propriedades do marcador

• Scorer.sample_rate - Taxa de amostragem atual (0,0-1,0)
• Scorer.filter_string - Filtro de rastreamento atual

Classes de configuração

• mlflow.genai.ScorerSamplingConfig - Classe de dados de configuração de amostragem

Entidades de avaliação

Estruturas de dados para armazenar resultados de avaliação e feedback:

• mlflow.entities.Assessment - Contêiner de resultado de avaliação
• mlflow.entities.AssessmentError - Detalhes do erro de avaliação
• mlflow.entities.AssessmentSource - Fonte da avaliação
• mlflow.entities.AssessmentSourceType - Enumeração do tipo de fonte de avaliação
• mlflow.entities.Expectation - Resultado esperado da verdade básica
• mlflow.entities.Feedback - Saída do marcador com valor e justificativa

Conjunto de dados de avaliação

Criar e gerenciar conjunto de dados de teste versionado para avaliação sistemática:

SDK

• mlflow.genai.create_dataset() - Crie um novo datasetde avaliação
• mlflow.genai.delete_dataset() - Excluir um datasetde avaliação
• mlflow.genai.get_dataset() - Recuperar um datasetde avaliação existente

Entidades

• mlflow.genai.datasets.EvaluationDataset - Contêiner de dados de teste versionado
  • merge_records() - Combine registros de várias fontes
  • set_profile() - Configurar as definições do perfil dataset
  • to_df() - Converter dataset para Pandas DataFrame
  • to_evaluation_dataset() - Converter para formato dataset de avaliação

Aplicativo de rótulo e revisão humana (somente Databricks )

Fluxo de trabalho de coleta e revisão de feedback humano para avaliação sistemática da qualidade:

SDKde sessão

• mlflow.genai.create_labeling_session() - Crie uma nova sessão de rótulo
• mlflow.genai.delete_labeling_session() - Excluir uma sessão de rótulo
• mlflow.genai.get_labeling_session() - Recuperar sessão do rótulo por ID
• mlflow.genai.get_labeling_sessions() - Listar todas as sessões de rótulo
• mlflow.genai.get_review_app() - Recuperar instância do aplicativo de revisão

Tipos de esquema de rótulo

• mlflow.genai.label_schemas.InputCategorical - Tipo de campo de entrada categórico
• mlflow.genai.label_schemas.InputCategoricalList - Entrada categórica de seleção múltipla
• mlflow.genai.label_schemas.InputNumeric - Tipo de campo de entrada numérico
• mlflow.genai.label_schemas.InputText - Tipo de campo de entrada de texto
• mlflow.genai.label_schemas.InputTextList - Tipo de campo de entrada multitexto
• mlflow.genai.label_schemas.LabelSchema - Definição do esquema de rótulo
• mlflow.genai.label_schemas.LabelSchemaType - Enumeração de tipo de esquema
  • mlflow.genai.label_schemas.LabelSchemaType.EXPECTATION - Tipo de esquema de expectativa
  • mlflow.genai.label_schemas.LabelSchemaType.FEEDBACK - Tipo de esquema de feedback

SDKde esquema

• mlflow.genai.label_schemas.create_label_schema() - Criar um novo esquema de rótulo
• mlflow.genai.label_schemas.delete_label_schema() - Excluir um esquema de rótulo existente
• mlflow.genai.label_schemas.get_label_schema() - Recuperar esquema de rótulo por nome

Entidades

• mlflow.genai.Agent - Configuração do agente para teste de aplicativo de revisão

• mlflow.genai.LabelingSession - Gerenciador de fluxo de trabalho do rótulo humano

  • add_dataset() - Adicionar dataset de avaliação à sessão de rótulo
  • add_traces() - Adicionar rastros para revisão humana
  • set_assigned_users() - Atribuir revisores à sessão
  • sync() - Sincronizar estado da sessão

• mlflow.genai.ReviewApp - Aplicação de revisão interativa

  • add_agent() - Adicionar agente para teste
  • remove_agent() - Remover agente do aplicativo de avaliação

Gestão rápida

Controle de versão e gerenciamento de ciclo de vida para prompts usados em agentes:

SDK

• mlflow.genai.load_prompt() - Carregar um prompt versionado do registro
• mlflow.genai.optimize_prompts() - Melhore automaticamente os prompts usando algoritmos de otimização
• mlflow.genai.register_prompt() - Registre um novo prompt no registro
• mlflow.genai.search_prompts() - Pesquisar prompts por nome ou tags
• mlflow.genai.delete_prompt_alias() - Remover um alias de uma versão de prompt
• mlflow.genai.set_prompt_alias() - Atribuir um alias a uma versão do prompt

Entidades

• mlflow.entities.Prompt - Prompt de metadados e informações de versão

Otimização rápida

info

Beta

Este recurso está em versão Beta. Os administradores do espaço de trabalho podem controlar o acesso a este recurso na página de Pré-visualizações . Veja as prévias do Gerenciador Databricks.

Melhoria automatizada de prompts usando algoritmos de otimização data-driven :

SDK

• mlflow.genai.optimize_prompts() - processo de otimização de prompt de execução

Otimizadores

• mlflow.genai.optimize.GepaPromptOptimizer - Otimizador iterativo que refina prompts usando reflexão orientada por LLM
• mlflow.genai.optimize.MetaPromptOptimizer - Otimizador de passagem única que aplica metaprompting
• mlflow.genai.optimize.BasePromptOptimizer - Classe base para implementar um otimizador personalizado

Entidades

• mlflow.genai.optimize.PromptOptimizationResult - Resultados e métricas de otimização
• mlflow.genai.optimize.PromptOptimizerOutput - Saída retornada pelo método optimize() de um otimizador personalizado

Versão do aplicativo

Rastreie e gerencie versões de agentes em produção:

SDK

• mlflow.set_active_model() - Definir o modelo ativo para acompanhamento de versão
• mlflow.clear_active_model() - Limpar o contexto do modelo ativo
• mlflow.get_active_model_id() - Obtenha o ID do modelo ativo atual
• mlflow.create_external_model() - registrar uma implantação de modelo externo
• mlflow.delete_logged_model_tag() - Remover uma tag dos modelos registrados
• mlflow.finalize_logged_model() - Finalizar um modelo registrado
• mlflow.get_logged_model() - Recuperar modelos registrados por ID
• mlflow.initialize_logged_model() - Inicializar um novo modelo registrado
• mlflow.last_logged_model() - Obtenha os modelos mais recentes registrados
• mlflow.search_logged_models() - Pesquisar modelos registrados
• mlflow.set_logged_model_tags() - Adicionar tags aos modelos registrados
• mlflow.log_model_params() - Parâmetros de log para um modelo

Entidades

• mlflow.entities.LoggedModel - modelos de metadados e informações registradas
• mlflow.entities.LoggedModelStatus - modelos de status registrados enum
• mlflow.ActiveModel - Gerenciador de contexto de modelo ativo