Referência da API do MLflow

Esta página fornece um índice das APIs importantes do MLflow usadas em aplicações GenAI, com links diretos para a documentação oficial do MLflow.

Os recursos MLflow marcados como "Databricks only" estão disponíveis apenas no Databricks-gerenciar MLflow.

Links rápidos

• Todas as APIs Python do MLflow

• APIs principais do MLflow

• Módulo MLflow GenAI

  • MLflow Tracing APIs
  • Conjunto de dataset referência para avaliação
  • Referência para monitoramento da produção

• APIs de cliente do MLflow

• Entidades do MLflow

info

Beta e recurso experimental

Algumas das APIs mencionadas nesta página estão atualmente nos estágios Beta ou Experimental. Essas APIs estão sujeitas a alterações ou remoção em versões futuras. As APIs experimentais estão disponíveis para todos os clientes, e as APIs beta estão disponíveis para a maioria dos clientes automaticamente. Se o senhor não tiver acesso a uma API Beta e precisar solicitar acesso, entre em contato com o representante de suporte da Databricks.

Gestão de experimentos

Gerenciamento de experimentos e execução de MLflow para acompanhamento do desenvolvimento de aplicações GenAI:

SDK

• mlflow.search_runs() - Pesquise e filtre a execução por critérios
• mlflow.set_experiment() - Defina o experimento MLflow ativo
• mlflow.start_run() - iniciar uma nova execução MLflow para acompanhamento

Entidades

• mlflow.entities.Experiment - Metadados e configuração do experimento
• mlflow.entities.Run - metadados de execução, métricas e parâmetros

Rastreamento

Instrumentar e capturar rastros de execução de aplicativos GenAI:

SDK

• mlflow.delete_trace_tag() - Remover uma tag de um rastreamento
• mlflow.get_current_active_span() - Obter o intervalo atualmente ativo
• mlflow.get_last_active_trace() - Recuperar o rastreamento concluído mais recentemente
• mlflow.get_last_active_trace_id() - Obter ID do último rastreamento ativo
• mlflow.get_trace() - Recuperar um rastreamento por ID
• mlflow.search_traces() - Pesquisar e filtrar rastros
• mlflow.set_trace_tag() - Adicionar uma tag a um rastreamento
• mlflow.start_span() - Iniciar manualmente um novo período
• mlflow.trace - Decorador para rastrear automaticamente a execução da função
• mlflow.traceName - Gerenciador de contexto para definir o nome do rastreamento
• mlflow.traceOutputs - Gerenciador de contexto para definir saídas de rastreamento
• mlflow.tracing - Módulo de rastreamento com funções de configuração
• mlflow.tracing.disable - Desabilitar o rastreamento globalmente
• mlflow.tracing.disable_notebook_display() - Desabilitar exibição de rastreamento no Notebook
• mlflow.tracing.enable - Habilitar rastreamento globalmente
• mlflow.tracing.enable_notebook_display() - Habilitar exibição de rastreamento no Notebook
• mlflow.update_current_trace() - Atualizar metadados para o rastreamento atual

Entidades

• mlflow.entities.Trace - Rastreamento completo com todos os intervalos e metadados
• mlflow.entities.TraceData - Dados de execução de rastreamento
• mlflow.entities.TraceInfo - Metadados de rastreamento e informações resumidas
• mlflow.entities.Span - Intervalo individual dentro de um traço
• mlflow.entities.SpanEvent - Evento ocorrendo dentro de um intervalo
• mlflow.entities.SpanType - Enumeração de classificação de tipo de intervalo
• mlflow.entities.Document - Entidade de documento para aplicações RAG

Integrações de rastreamento

Autoinstrumentação para bibliotecas e frameworks GenAI populares:

• mlflow.anthropic.autolog - Integração Claude Anthropic
• mlflow.autogen.autolog - Integração do Microsoft AutoGen
• mlflow.bedrock.autolog - Integração com o AWS Bedrock
• mlflow.crewai.autolog - Integração CrewAI
• mlflow.dspy.autolog - Integração DSPy
• mlflow.gemini.autolog - Integração com o Google Gemini
• mlflow.groq.autolog - Integração Groq
• mlflow.langchain.autolog - Integração LangChain
• mlflow.litellm.autolog - Integração LiteLLM
• mlflow.llama_index.autolog - Integração LlamaIndex
• mlflow.mistral.autolog - Integração AI Mistral
• mlflow.openai.autolog - Integração OpenAI

Avaliação e monitoramento

SDK de avaliação principal

APIs principais para avaliação offline e monitoramento de produção:

• mlflow.genai.evaluate() - Avaliação para orquestrar avaliação offline com pontuadores e conjunto de dados
• mlflow.genai.to_predict_fn() - Converter a saída do modelo para o formato de função de previsão padronizado
• mlflow.genai.Scorer - Classe de pontuação personalizada para implementação orientada a objetos com gerenciamento de estado
• mlflow.genai.scorer() - Decorador de pontuação para lógica de criação e avaliação de pontuação

marcadores integrados

Pontuadores de avaliação de qualidade prontos para uso imediato:

• mlflow.genai.scorers.Safety - Avaliação de segurança de conteúdo
• mlflow.genai.scorers.Correctness - Avaliação da precisão da resposta
• mlflow.genai.scorers.RelevanceToQuery - Pontuação de relevância da consulta
• mlflow.genai.scorers.Guidelines - complianceas diretrizes personalizadas
• mlflow.genai.scorers.ExpectationsGuidelines - Avaliação de diretrizes com expectativas
• mlflow.genai.scorers.RetrievalGroundedness - Avaliação de aterramento do RAG
• mlflow.genai.scorers.RetrievalRelevance - Relevância do contexto recuperado
• mlflow.genai.scorers.RetrievalSufficiency - Avaliação da suficiência do contexto

Auxiliares de pontuação integrados:

• mlflow.genai.scorers.get_all_scorers() - Recuperar todos os marcadores integrados

Funções do juiz

Funções de avaliação baseadas em LLM para uso direto ou encapsulamento de pontuação:

• mlflow.genai.judges.is_safe() - Avaliação de segurança
• mlflow.genai.judges.is_correct() - Avaliação de correção
• mlflow.genai.judges.is_grounded() - Verificação de aterramento
• mlflow.genai.judges.is_context_relevant() - Relevância do contexto
• mlflow.genai.judges.is_context_sufficient() - Suficiência de contexto
• mlflow.genai.judges.meets_guidelines() - Avaliação de diretrizes personalizadas
• mlflow.genai.make_judge() - Criar juízes personalizados

Julgue entidades de saída

• mlflow.genai.judges.CategoricalRating - Enum para respostas categóricas de juízes
  • mlflow.genai.judges.CategoricalRating.YES - Avaliação positiva
  • mlflow.genai.judges.CategoricalRating.NO - Avaliação negativa
  • mlflow.genai.judges.CategoricalRating.UNKNOWN - Classificação incerta

SDK monitoramento do ciclo de vida do scorer de produção (somente Databricks )

info

Beta

Este recurso está em Beta.

Gerenciamento do ciclo de vida do Scorer para acompanhamento contínuo da qualidade na produção:

Métodos de instância do Scorer

• Scorer.register() - registrar avaliador personalizado com servidor
• Scorer.start() - Comece a avaliação on-line com amostragem
• Scorer.update() - Modificar a configuração de amostragem
• Scorer.stop() - Pare a avaliação on-line

Funções de registro do marcador

• mlflow.genai.scorers.get_scorer() - Recupere o marcador registrado pelo nome
• mlflow.genai.scorers.list_scorers() - Listar todos os marcadores registrados
• mlflow.genai.scorers.delete_scorer() - Excluir marcadores registrados pelo nome

Propriedades do marcador

• Scorer.sample_rate - Taxa de amostragem atual (0,0-1,0)
• Scorer.filter_string - Filtro de rastreamento atual

Classes de configuração

• mlflow.genai.ScorerSamplingConfig - Classe de dados de configuração de amostragem

Entidades de avaliação

Estruturas de dados para armazenar resultados de avaliação e feedback:

• mlflow.entities.Assessment - Contêiner de resultado de avaliação
• mlflow.entities.AssessmentError - Detalhes do erro de avaliação
• mlflow.entities.AssessmentSource - Fonte da avaliação
• mlflow.entities.AssessmentSourceType - Enumeração do tipo de fonte de avaliação
• mlflow.entities.Expectation - Resultado esperado da verdade básica
• mlflow.entities.Feedback - Saída do marcador com valor e justificativa

Conjunto de dados de avaliação

Criar e gerenciar conjunto de dados de teste versionado para avaliação sistemática:

SDK

• mlflow.genai.create_dataset() - Crie um novo datasetde avaliação
• mlflow.genai.delete_dataset() - Excluir um datasetde avaliação
• mlflow.genai.get_dataset() - Recuperar um datasetde avaliação existente

Entidades

• mlflow.genai.datasets.EvaluationDataset - Contêiner de dados de teste versionado
  • merge_records() - Combine registros de várias fontes
  • set_profile() - Configurar as definições do perfil dataset
  • to_df() - Converter dataset para Pandas DataFrame
  • to_evaluation_dataset() - Converter para formato dataset de avaliação

Aplicativo de rótulo e revisão humana (somente Databricks )

Fluxo de trabalho de coleta e revisão de feedback humano para avaliação sistemática da qualidade:

SDKde sessão

• mlflow.genai.create_labeling_session() - Crie uma nova sessão de rótulo
• mlflow.genai.delete_labeling_session() - Excluir uma sessão de rótulo
• mlflow.genai.get_labeling_session() - Recuperar sessão do rótulo por ID
• mlflow.genai.get_labeling_sessions() - Listar todas as sessões de rótulo
• mlflow.genai.get_review_app() - Recuperar instância do aplicativo de revisão

Tipos de esquema de rótulo

• mlflow.genai.label_schemas.InputCategorical - Tipo de campo de entrada categórico
• mlflow.genai.label_schemas.InputCategoricalList - Entrada categórica de seleção múltipla
• mlflow.genai.label_schemas.InputNumeric - Tipo de campo de entrada numérico
• mlflow.genai.label_schemas.InputText - Tipo de campo de entrada de texto
• mlflow.genai.label_schemas.InputTextList - Tipo de campo de entrada multitexto
• mlflow.genai.label_schemas.LabelSchema - Definição do esquema de rótulo
• mlflow.genai.label_schemas.LabelSchemaType - Enumeração de tipo de esquema
  • mlflow.genai.label_schemas.LabelSchemaType.EXPECTATION - Tipo de esquema de expectativa
  • mlflow.genai.label_schemas.LabelSchemaType.FEEDBACK - Tipo de esquema de feedback

SDKde esquema

• mlflow.genai.label_schemas.create_label_schema() - Criar um novo esquema de rótulo
• mlflow.genai.label_schemas.delete_label_schema() - Excluir um esquema de rótulo existente
• mlflow.genai.label_schemas.get_label_schema() - Recuperar esquema de rótulo por nome

Entidades

• mlflow.genai.Agent - Configuração do agente para teste de aplicativo de revisão

• mlflow.genai.LabelingSession - Gerenciador de fluxo de trabalho do rótulo humano

  • add_dataset() - Adicionar dataset de avaliação à sessão de rótulo
  • add_traces() - Adicionar rastros para revisão humana
  • set_assigned_users() - Atribuir revisores à sessão
  • sync() - Sincronizar estado da sessão

• mlflow.genai.ReviewApp - Aplicação de revisão interativa

  • add_agent() - Adicionar agente para teste
  • remove_agent() - Remover agente do aplicativo de avaliação

Gestão rápida

Controle de versão e gerenciamento de ciclo de vida para prompts usados em aplicativos GenAI:

SDK

• mlflow.genai.load_prompt() - Carregar um prompt versionado do registro
• mlflow.genai.optimize_prompt() - Melhore automaticamente os prompts usando algoritmos de otimização
• mlflow.genai.register_prompt() - Registre um novo prompt no registro
• mlflow.genai.search_prompts() - Pesquisar prompts por nome ou tags
• mlflow.genai.delete_prompt_alias() - Remover um alias de uma versão de prompt
• mlflow.genai.set_prompt_alias() - Atribuir um alias a uma versão do prompt

Entidades

• mlflow.entities.Prompt - Prompt de metadados e informações de versão

Otimização rápida

info

Beta

Este recurso está em Beta.

Melhoria automatizada de prompts usando algoritmos de otimização data-driven :

SDK

• mlflow.genai.optimize.optimize_prompt() - processo de otimização de prompt de execução

Entidades

• mlflow.genai.optimize.LLMParams - Parâmetros de configuração do LLM
• mlflow.genai.optimize.OptimizerConfig - Configuração do algoritmo de otimização
• mlflow.genai.optimize.PromptOptimizationResult - Resultados e métricas de otimização

Versão do aplicativo

Acompanhar e gerenciar versões do aplicativo GenAI em produção:

SDK

• mlflow.set_active_model() - Definir o modelo ativo para acompanhamento de versão
• mlflow.clear_active_model() - Limpar o contexto do modelo ativo
• mlflow.get_active_model_id() - Obtenha o ID do modelo ativo atual
• mlflow.create_external_model() - registrar uma implantação de modelo externo
• mlflow.delete_logged_model_tag() - Remover uma tag dos modelos registrados
• mlflow.finalize_logged_model() - Finalizar um modelo registrado
• mlflow.get_logged_model() - Recuperar modelos registrados por ID
• mlflow.initialize_logged_model() - Inicializar um novo modelo registrado
• mlflow.last_logged_model() - Obtenha os modelos mais recentes registrados
• mlflow.search_logged_models() - Pesquisar modelos registrados
• mlflow.set_logged_model_tags() - Adicionar tags aos modelos registrados
• mlflow.log_model_params() - Parâmetros de log para um modelo

Entidades

• mlflow.entities.LoggedModel - modelos de metadados e informações registradas
• mlflow.entities.LoggedModelStatus - modelos de status registrados enum
• mlflow.ActiveModel - Gerenciador de contexto de modelo ativo