Referência da API

Esta página fornece um índice abrangente das APIs do MLflow usadas nos aplicativos GenAI, com links diretos para a documentação oficial do MLflow.

Os recursos MLflow marcados como "Databricks only" estão disponíveis apenas no Databricks-gerenciar MLflow.

Links de documentação oficial

• Todas as APIs Python do MLflow
• APIs principais do MLflow
• Módulo MLflow GenAI
• MLflow Tracing APIs
• APIs de cliente do MLflow
• Entidades do MLflow

info

Beta e recurso experimental

Algumas das APIs mencionadas nesta página estão atualmente nos estágios Beta ou Experimental. Essas APIs estão sujeitas a alterações ou remoção em versões futuras. As APIs experimentais estão disponíveis para todos os clientes, e as APIs beta estão disponíveis para a maioria dos clientes automaticamente. Se o senhor não tiver acesso a uma API Beta e precisar solicitar acesso, entre em contato com o representante de suporte da Databricks.

Gestão de experimentos

Gerenciamento de experimentos e execução de MLflow para acompanhamento do desenvolvimento de aplicações GenAI:

SDKs

• mlflow.search_runs() - Pesquise e filtre a execução por critérios
• mlflow.set_experiment() - Defina o experimento MLflow ativo
• mlflow.start_run() - iniciar uma nova execução MLflow para acompanhamento

Entidades

• mlflow.entities.Experiment - Metadados e configuração do experimento
• mlflow.entities.Run - metadados de execução, métricas e parâmetros

Gestão rápida

Controle de versão e gerenciamento de ciclo de vida para prompts usados em aplicativos GenAI:

SDKs

• mlflow.genai.load_prompt() - Carregar um prompt versionado do registro
• mlflow.genai.optimize_prompt() - Melhore automaticamente os prompts usando algoritmos de otimização
• mlflow.genai.register_prompt() - Registre um novo prompt no registro
• mlflow.genai.search_prompts() - Pesquisar prompts por nome ou tags
• mlflow.genai.delete_prompt_alias() - Remover um alias de uma versão de prompt
• mlflow.genai.set_prompt_alias() - Atribuir um alias a uma versão do prompt

Entidades

• mlflow.entities.Prompt - Prompt de metadados e informações de versão

Avaliação e monitoramento

Gerenciamento do ciclo de vida do Scorer (somente Databricks)

info

Beta

Este recurso está em Beta.

Gerenciamento do ciclo de vida do Scorer para acompanhamento contínuo da qualidade na produção:

Métodos de instância do Scorer

• Scorer.register() - registrar avaliador personalizado com servidor
• Scorer.start() - Comece a avaliação on-line com amostragem
• Scorer.update() - Modificar a configuração de amostragem
• Scorer.stop() - Pare a avaliação on-line
• Scorer.delete() - Remova completamente o marcador

Funções de registro do marcador

• mlflow.genai.scorers.get_scorer() - Recupere o marcador registrado pelo nome
• mlflow.genai.scorers.list_scorers() - Listar todos os marcadores registrados
• mlflow.genai.scorers.delete_scorer() - Excluir marcadores registrados pelo nome

Propriedades do marcador

• Scorer.sample_rate - Taxa de amostragem atual (0,0-1,0)
• Scorer.filter_string - Filtro de rastreamento atual

Classes de configuração

• mlflow.genai.ScorerSamplingConfig - Classe de dados de configuração de amostragem

APIs de avaliação de núcleo

APIs principais para avaliação offline e monitoramento de produção:

• mlflow.genai.evaluate() - Avaliação para orquestrar avaliação offline com pontuadores e conjunto de dados
• mlflow.genai.to_predict_fn() - Converter a saída do modelo para o formato de função de previsão padronizado
• mlflow.genai.Scorer - Classe de pontuação personalizada para implementação orientada a objetos com gerenciamento de estado
• mlflow.genai.scorer() - Decorador de pontuação para lógica de criação e avaliação de pontuação

Marcadores predefinidos

Pontuadores de avaliação de qualidade prontos para uso imediato:

• mlflow.genai.scorers.Safety - Avaliação de segurança de conteúdo
• mlflow.genai.scorers.Correctness - Avaliação da precisão da resposta
• mlflow.genai.scorers.RelevanceToQuery - Pontuação de relevância da consulta
• mlflow.genai.scorers.Guidelines - complianceas diretrizes personalizadas
• mlflow.genai.scorers.ExpectationsGuidelines - Avaliação de diretrizes com expectativas
• mlflow.genai.scorers.RetrievalGroundedness - Avaliação de aterramento do RAG
• mlflow.genai.scorers.RetrievalRelevance - Relevância do contexto recuperado
• mlflow.genai.scorers.RetrievalSufficiency - Avaliação da suficiência do contexto

Ajudantes de goleador

• mlflow.genai.scorers.get_all_scorers() - Recuperar todos os marcadores integrados

Funções do juiz

Funções de avaliação baseadas em LLM para uso direto ou encapsulamento de pontuação:

• mlflow.genai.judges.is_safe() - Avaliação de segurança
• mlflow.genai.judges.is_correct() - Avaliação de correção
• mlflow.genai.judges.is_grounded() - Verificação de aterramento
• mlflow.genai.judges.is_context_relevant() - Relevância do contexto
• mlflow.genai.judges.is_context_sufficient() - Suficiência de contexto
• mlflow.genai.judges.meets_guidelines() - Avaliação de diretrizes personalizadas
• mlflow.genai.make_judge() - Crie juízes personalizados (recomendado para MLflow 3.4.0 e acima)
• mlflow.genai.judges.custom_prompt_judge() - Juízes com prompts personalizados (obsoleto no MLflow 3.4.0, use make_judge() em vez disso)

Julgue entidades de saída

• mlflow.genai.judges.CategoricalRating - Enum para respostas categóricas de juízes
  • mlflow.genai.judges.CategoricalRating.YES - Avaliação positiva
  • mlflow.genai.judges.CategoricalRating.NO - Avaliação negativa
  • mlflow.genai.judges.CategoricalRating.UNKNOWN - Classificação incerta

Conjunto de dados de avaliação

Criar e gerenciar conjunto de dados de teste versionado para avaliação sistemática:

SDKs

• mlflow.genai.create_dataset() - Crie um novo datasetde avaliação
• mlflow.genai.delete_dataset() - Excluir um datasetde avaliação
• mlflow.genai.get_dataset() - Recuperar um datasetde avaliação existente

Entidades

• mlflow.genai.datasets.EvaluationDataset - Contêiner de dados de teste versionado
  • merge_records() - Combine registros de várias fontes
  • set_profile() - Configurar as definições do perfil dataset
  • to_df() - Converter dataset para Pandas DataFrame
  • to_evaluation_dataset() - Converter para formato dataset de avaliação

Aplicativo de rótulo e revisão humana (somente Databricks )

Fluxo de trabalho de coleta e revisão de feedback humano para avaliação sistemática da qualidade:

Entidades

• mlflow.genai.Agent - Configuração do agente para teste de aplicativo de revisão

• mlflow.genai.LabelingSession - Gerenciador de fluxo de trabalho do rótulo humano

  • add_dataset() - Adicionar dataset de avaliação à sessão de rótulo
  • add_traces() - Adicionar rastros para revisão humana
  • set_assigned_users() - Atribuir revisores à sessão
  • sync() - Sincronizar estado da sessão

• mlflow.genai.ReviewApp - Aplicação de revisão interativa

  • add_agent() - Adicionar agente para teste
  • remove_agent() - Remover agente do aplicativo de avaliação

rótulo session SDKs

• mlflow.genai.create_labeling_session() - Crie uma nova sessão de rótulo
• mlflow.genai.delete_labeling_session() - Excluir uma sessão de rótulo
• mlflow.genai.get_labeling_session() - Recuperar sessão do rótulo por ID
• mlflow.genai.get_labeling_sessions() - Listar todas as sessões de rótulo
• mlflow.genai.get_review_app() - Recuperar instância do aplicativo de revisão

Tipos de esquema de rótulo

• mlflow.genai.label_schemas.InputCategorical - Tipo de campo de entrada categórico
• mlflow.genai.label_schemas.InputCategoricalList - Entrada categórica de seleção múltipla
• mlflow.genai.label_schemas.InputNumeric - Tipo de campo de entrada numérico
• mlflow.genai.label_schemas.InputText - Tipo de campo de entrada de texto
• mlflow.genai.label_schemas.InputTextList - Tipo de campo de entrada multitexto
• mlflow.genai.label_schemas.LabelSchema - Definição do esquema de rótulo
• mlflow.genai.label_schemas.LabelSchemaType - Enumeração de tipo de esquema
  • mlflow.genai.label_schemas.LabelSchemaType.EXPECTATION - Tipo de esquema de expectativa
  • mlflow.genai.label_schemas.LabelSchemaType.FEEDBACK - Tipo de esquema de feedback

SDKs de esquema de rótulo

• mlflow.genai.label_schemas.create_label_schema() - Criar um novo esquema de rótulo
• mlflow.genai.label_schemas.delete_label_schema() - Excluir um esquema de rótulo existente
• mlflow.genai.label_schemas.get_label_schema() - Recuperar esquema de rótulo por nome

Otimização rápida

info

Beta

Este recurso está em Beta.

Melhoria automatizada de prompts usando algoritmos de otimização data-driven :

Entidades

• mlflow.genai.optimize.LLMParams - Parâmetros de configuração do LLM
• mlflow.genai.optimize.OptimizerConfig - Configuração do algoritmo de otimização
• mlflow.genai.optimize.PromptOptimizationResult - Resultados e métricas de otimização

SDKs

• mlflow.genai.optimize.optimize_prompt() - processo de otimização de prompt de execução

Rastreamento

Instrumentar e capturar rastros de execução de aplicativos GenAI:

SDKs

• mlflow.delete_trace_tag() - Remover uma tag de um rastreamento
• mlflow.get_current_active_span() - Obter o intervalo atualmente ativo
• mlflow.get_last_active_trace() - Recuperar o rastreamento concluído mais recentemente
• mlflow.get_last_active_trace_id() - Obter ID do último rastreamento ativo
• mlflow.get_trace() - Recuperar um rastreamento por ID
• mlflow.search_traces() - Pesquisar e filtrar rastros
• mlflow.set_trace_tag() - Adicionar uma tag a um rastreamento
• mlflow.start_span() - Iniciar manualmente um novo período
• mlflow.trace - Decorador para rastrear automaticamente a execução da função
• mlflow.traceName - Gerenciador de contexto para definir o nome do rastreamento
• mlflow.traceOutputs - Gerenciador de contexto para definir saídas de rastreamento
• mlflow.tracing - Módulo de rastreamento com funções de configuração
• mlflow.tracing.disable - Desabilitar o rastreamento globalmente
• mlflow.tracing.disable_notebook_display() - Desabilitar exibição de rastreamento no Notebook
• mlflow.tracing.enable - Habilitar rastreamento globalmente
• mlflow.tracing.enable_notebook_display() - Habilitar exibição de rastreamento no Notebook
• mlflow.update_current_trace() - Atualizar metadados para o rastreamento atual

Entidades

• mlflow.entities.Trace - Rastreamento completo com todos os intervalos e metadados
• mlflow.entities.TraceData - Dados de execução de rastreamento
• mlflow.entities.TraceInfo - Metadados de rastreamento e informações resumidas
• mlflow.entities.Span - Intervalo individual dentro de um traço
• mlflow.entities.SpanEvent - Evento ocorrendo dentro de um intervalo
• mlflow.entities.SpanType - Enumeração de classificação de tipo de intervalo
• mlflow.entities.Document - Entidade de documento para aplicações RAG

Entidades de avaliação

Estruturas de dados para armazenar resultados de avaliação e feedback:

• mlflow.entities.Assessment - Contêiner de resultado de avaliação
• mlflow.entities.AssessmentError - Detalhes do erro de avaliação
• mlflow.entities.AssessmentSource - Fonte da avaliação
• mlflow.entities.AssessmentSourceType - Enumeração do tipo de fonte de avaliação
• mlflow.entities.Expectation - Resultado esperado da verdade básica
• mlflow.entities.Feedback - Saída do marcador com valor e justificativa

Integrações de rastreamento

Autoinstrumentação para bibliotecas e frameworks GenAI populares:

• mlflow.anthropic.autolog - Integração Claude Anthropic
• mlflow.autogen.autolog - Integração do Microsoft AutoGen
• mlflow.bedrock.autolog - Integração com o AWS Bedrock
• mlflow.crewai.autolog - Integração CrewAI
• mlflow.dspy.autolog - Integração DSPy
• mlflow.gemini.autolog - Integração com o Google Gemini
• mlflow.groq.autolog - Integração Groq
• mlflow.langchain.autolog - Integração LangChain
• mlflow.litellm.autolog - Integração LiteLLM
• mlflow.llama_index.autolog - Integração LlamaIndex
• mlflow.mistral.autolog - Integração AI Mistral
• mlflow.openai.autolog - Integração OpenAI

Versão de acompanhamento

Acompanhar e gerenciar versões do aplicativo GenAI em produção:

SDKs

• mlflow.set_active_model() - Definir o modelo ativo para acompanhamento de versão
• mlflow.clear_active_model() - Limpar o contexto do modelo ativo
• mlflow.get_active_model_id() - Obtenha o ID do modelo ativo atual
• mlflow.create_external_model() - registrar uma implantação de modelo externo
• mlflow.delete_logged_model_tag() - Remover uma tag dos modelos registrados
• mlflow.finalize_logged_model() - Finalizar um modelo registrado
• mlflow.get_logged_model() - Recuperar modelos registrados por ID
• mlflow.initialize_logged_model() - Inicializar um novo modelo registrado
• mlflow.last_logged_model() - Obtenha os modelos mais recentes registrados
• mlflow.search_logged_models() - Pesquisar modelos registrados
• mlflow.set_logged_model_tags() - Adicionar tags aos modelos registrados
• mlflow.log_model_params() - Parâmetros de log para um modelo

Entidades

• mlflow.entities.LoggedModel - modelos de metadados e informações registradas
• mlflow.entities.LoggedModelStatus - modelos de status registrados enum
• mlflow.ActiveModel - Gerenciador de contexto de modelo ativo