Referência da API
Esta página fornece um índice abrangente das APIs do MLflow usadas nos aplicativos GenAI, com links diretos para a documentação oficial do MLflow.
Os recursos MLflow marcados como "Databricks only" estão disponíveis apenas no Databricks-gerenciar MLflow.
Links de documentação oficial
- Todas as APIs Python do MLflow
- APIs principais do MLflow
- Módulo MLflow GenAI
- MLflow Tracing APIs
- APIs de cliente do MLflow
- Entidades do MLflow
Beta e recurso experimental
Algumas das APIs mencionadas nesta página estão atualmente nos estágios Beta ou Experimental. Essas APIs estão sujeitas a alterações ou remoção em versões futuras. As APIs experimentais estão disponíveis para todos os clientes, e as APIs beta estão disponíveis para a maioria dos clientes automaticamente. Se o senhor não tiver acesso a uma API Beta e precisar solicitar acesso, entre em contato com o representante de suporte da Databricks.
Gestão de experimentos
Gerenciamento de experimentos e execução de MLflow para acompanhamento do desenvolvimento de aplicações GenAI:
SDKs
mlflow.search_runs()
- Pesquise e filtre a execução por critériosmlflow.set_experiment()
- Defina o experimento MLflow ativomlflow.start_run()
- iniciar uma nova execução MLflow para acompanhamento
Entidades
mlflow.entities.Experiment
- Metadados e configuração do experimentomlflow.entities.Run
- metadados de execução, métricas e parâmetros
Gestão rápida
Controle de versão e gerenciamento de ciclo de vida para prompts usados em aplicativos GenAI:
SDKs
mlflow.genai.load_prompt()
- Carregar um prompt versionado do registromlflow.genai.optimize_prompt()
- Melhore automaticamente os prompts usando algoritmos de otimizaçãomlflow.genai.register_prompt()
- Registre um novo prompt no registromlflow.genai.search_prompts()
- Pesquisar prompts por nome ou tagsmlflow.genai.delete_prompt_alias()
- Remover um alias de uma versão de promptmlflow.genai.set_prompt_alias()
- Atribuir um alias a uma versão do prompt
Entidades
mlflow.entities.Prompt
- Prompt de metadados e informações de versão
Avaliação e monitoramento
Gerenciamento do ciclo de vida do Scorer (somente Databricks)
Beta
Este recurso está em Beta.
Gerenciamento do ciclo de vida do Scorer para acompanhamento contínuo da qualidade na produção:
Métodos de instância do Scorer
Scorer.register()
- registrar avaliador personalizado com servidorScorer.start()
- Comece a avaliação on-line com amostragemScorer.update()
- Modificar a configuração de amostragemScorer.stop()
- Pare a avaliação on-lineScorer.delete()
- Remova completamente o marcador
Funções de registro do marcador
mlflow.genai.scorers.get_scorer()
- Recupere o marcador registrado pelo nomemlflow.genai.scorers.list_scorers()
- Listar todos os marcadores registradosmlflow.genai.scorers.delete_scorer()
- Excluir marcadores registrados pelo nome
Propriedades do marcador
Scorer.sample_rate
- Taxa de amostragem atual (0,0-1,0)Scorer.filter_string
- Filtro de rastreamento atual
Classes de configuração
mlflow.genai.ScorerSamplingConfig
- Classe de dados de configuração de amostragem
APIs de avaliação de núcleo
APIs principais para avaliação offline e monitoramento de produção:
mlflow.genai.evaluate()
- Avaliação para orquestrar avaliação offline com pontuadores e conjunto de dadosmlflow.genai.to_predict_fn()
- Converter a saída do modelo para o formato de função de previsão padronizadomlflow.genai.Scorer
- Classe de pontuação personalizada para implementação orientada a objetos com gerenciamento de estadomlflow.genai.scorer()
- Decorador de pontuação para lógica de criação e avaliação de pontuação
Marcadores predefinidos
Pontuadores de avaliação de qualidade prontos para uso imediato:
mlflow.genai.scorers.Safety
- Avaliação de segurança de conteúdomlflow.genai.scorers.Correctness
- Avaliação da precisão da respostamlflow.genai.scorers.RelevanceToQuery
- Pontuação de relevância da consultamlflow.genai.scorers.Guidelines
- complianceas diretrizes personalizadasmlflow.genai.scorers.ExpectationsGuidelines
- Avaliação de diretrizes com expectativasmlflow.genai.scorers.RetrievalGroundedness
- Avaliação de aterramento do RAGmlflow.genai.scorers.RetrievalRelevance
- Relevância do contexto recuperadomlflow.genai.scorers.RetrievalSufficiency
- Avaliação da suficiência do contexto
Ajudantes de goleador
mlflow.genai.scorers.get_all_scorers()
- Recuperar todos os marcadores integrados
Funções do juiz
Funções de avaliação baseadas em LLM para uso direto ou encapsulamento de pontuação:
mlflow.genai.judges.is_safe()
- Avaliação de segurançamlflow.genai.judges.is_correct()
- Avaliação de correçãomlflow.genai.judges.is_grounded()
- Verificação de aterramentomlflow.genai.judges.is_context_relevant()
- Relevância do contextomlflow.genai.judges.is_context_sufficient()
- Suficiência de contextomlflow.genai.judges.meets_guidelines()
- Avaliação de diretrizes personalizadasmlflow.genai.make_judge()
- Crie juízes personalizados (recomendado para MLflow 3.4.0 e acima)mlflow.genai.judges.custom_prompt_judge()
- Juízes com prompts personalizados (obsoleto no MLflow 3.4.0, usemake_judge()
em vez disso)
Julgue entidades de saída
mlflow.genai.judges.CategoricalRating
- Enum para respostas categóricas de juízesmlflow.genai.judges.CategoricalRating.YES
- Avaliação positivamlflow.genai.judges.CategoricalRating.NO
- Avaliação negativamlflow.genai.judges.CategoricalRating.UNKNOWN
- Classificação incerta
Conjunto de dados de avaliação
Criar e gerenciar conjunto de dados de teste versionado para avaliação sistemática:
SDKs
mlflow.genai.create_dataset()
- Crie um novo datasetde avaliaçãomlflow.genai.delete_dataset()
- Excluir um datasetde avaliaçãomlflow.genai.get_dataset()
- Recuperar um datasetde avaliação existente
Entidades
mlflow.genai.datasets.EvaluationDataset
- Contêiner de dados de teste versionadomerge_records()
- Combine registros de várias fontesset_profile()
- Configurar as definições do perfil datasetto_df()
- Converter dataset para Pandas DataFrameto_evaluation_dataset()
- Converter para formato dataset de avaliação
Aplicativo de rótulo e revisão humana (somente Databricks )
Fluxo de trabalho de coleta e revisão de feedback humano para avaliação sistemática da qualidade:
Entidades
-
mlflow.genai.Agent
- Configuração do agente para teste de aplicativo de revisão -
mlflow.genai.LabelingSession
- Gerenciador de fluxo de trabalho do rótulo humanoadd_dataset()
- Adicionar dataset de avaliação à sessão de rótuloadd_traces()
- Adicionar rastros para revisão humanaset_assigned_users()
- Atribuir revisores à sessãosync()
- Sincronizar estado da sessão
-
mlflow.genai.ReviewApp
- Aplicação de revisão interativaadd_agent()
- Adicionar agente para testeremove_agent()
- Remover agente do aplicativo de avaliação
rótulo session SDKs
mlflow.genai.create_labeling_session()
- Crie uma nova sessão de rótulomlflow.genai.delete_labeling_session()
- Excluir uma sessão de rótulomlflow.genai.get_labeling_session()
- Recuperar sessão do rótulo por IDmlflow.genai.get_labeling_sessions()
- Listar todas as sessões de rótulomlflow.genai.get_review_app()
- Recuperar instância do aplicativo de revisão
Tipos de esquema de rótulo
mlflow.genai.label_schemas.InputCategorical
- Tipo de campo de entrada categóricomlflow.genai.label_schemas.InputCategoricalList
- Entrada categórica de seleção múltiplamlflow.genai.label_schemas.InputNumeric
- Tipo de campo de entrada numéricomlflow.genai.label_schemas.InputText
- Tipo de campo de entrada de textomlflow.genai.label_schemas.InputTextList
- Tipo de campo de entrada multitextomlflow.genai.label_schemas.LabelSchema
- Definição do esquema de rótulomlflow.genai.label_schemas.LabelSchemaType
- Enumeração de tipo de esquemamlflow.genai.label_schemas.LabelSchemaType.EXPECTATION
- Tipo de esquema de expectativamlflow.genai.label_schemas.LabelSchemaType.FEEDBACK
- Tipo de esquema de feedback
SDKs de esquema de rótulo
mlflow.genai.label_schemas.create_label_schema()
- Criar um novo esquema de rótulomlflow.genai.label_schemas.delete_label_schema()
- Excluir um esquema de rótulo existentemlflow.genai.label_schemas.get_label_schema()
- Recuperar esquema de rótulo por nome
Otimização rápida
Beta
Este recurso está em Beta.
Melhoria automatizada de prompts usando algoritmos de otimização data-driven :
Entidades
mlflow.genai.optimize.LLMParams
- Parâmetros de configuração do LLMmlflow.genai.optimize.OptimizerConfig
- Configuração do algoritmo de otimizaçãomlflow.genai.optimize.PromptOptimizationResult
- Resultados e métricas de otimização
SDKs
mlflow.genai.optimize.optimize_prompt()
- processo de otimização de prompt de execução
Rastreamento
Instrumentar e capturar rastros de execução de aplicativos GenAI:
SDKs
mlflow.delete_trace_tag()
- Remover uma tag de um rastreamentomlflow.get_current_active_span()
- Obter o intervalo atualmente ativomlflow.get_last_active_trace()
- Recuperar o rastreamento concluído mais recentementemlflow.get_last_active_trace_id()
- Obter ID do último rastreamento ativomlflow.get_trace()
- Recuperar um rastreamento por IDmlflow.search_traces()
- Pesquisar e filtrar rastrosmlflow.set_trace_tag()
- Adicionar uma tag a um rastreamentomlflow.start_span()
- Iniciar manualmente um novo períodomlflow.trace
- Decorador para rastrear automaticamente a execução da funçãomlflow.traceName
- Gerenciador de contexto para definir o nome do rastreamentomlflow.traceOutputs
- Gerenciador de contexto para definir saídas de rastreamentomlflow.tracing
- Módulo de rastreamento com funções de configuraçãomlflow.tracing.disable
- Desabilitar o rastreamento globalmentemlflow.tracing.disable_notebook_display()
- Desabilitar exibição de rastreamento no Notebookmlflow.tracing.enable
- Habilitar rastreamento globalmentemlflow.tracing.enable_notebook_display()
- Habilitar exibição de rastreamento no Notebookmlflow.update_current_trace()
- Atualizar metadados para o rastreamento atual
Entidades
mlflow.entities.Trace
- Rastreamento completo com todos os intervalos e metadadosmlflow.entities.TraceData
- Dados de execução de rastreamentomlflow.entities.TraceInfo
- Metadados de rastreamento e informações resumidasmlflow.entities.Span
- Intervalo individual dentro de um traçomlflow.entities.SpanEvent
- Evento ocorrendo dentro de um intervalomlflow.entities.SpanType
- Enumeração de classificação de tipo de intervalomlflow.entities.Document
- Entidade de documento para aplicações RAG
Entidades de avaliação
Estruturas de dados para armazenar resultados de avaliação e feedback:
mlflow.entities.Assessment
- Contêiner de resultado de avaliaçãomlflow.entities.AssessmentError
- Detalhes do erro de avaliaçãomlflow.entities.AssessmentSource
- Fonte da avaliaçãomlflow.entities.AssessmentSourceType
- Enumeração do tipo de fonte de avaliaçãomlflow.entities.Expectation
- Resultado esperado da verdade básicamlflow.entities.Feedback
- Saída do marcador com valor e justificativa
Integrações de rastreamento
Autoinstrumentação para bibliotecas e frameworks GenAI populares:
mlflow.anthropic.autolog
- Integração Claude Anthropicmlflow.autogen.autolog
- Integração do Microsoft AutoGenmlflow.bedrock.autolog
- Integração com o AWS Bedrockmlflow.crewai.autolog
- Integração CrewAImlflow.dspy.autolog
- Integração DSPymlflow.gemini.autolog
- Integração com o Google Geminimlflow.groq.autolog
- Integração Groqmlflow.langchain.autolog
- Integração LangChainmlflow.litellm.autolog
- Integração LiteLLMmlflow.llama_index.autolog
- Integração LlamaIndexmlflow.mistral.autolog
- Integração AI Mistralmlflow.openai.autolog
- Integração OpenAI
Versão de acompanhamento
Acompanhar e gerenciar versões do aplicativo GenAI em produção:
SDKs
mlflow.set_active_model()
- Definir o modelo ativo para acompanhamento de versãomlflow.clear_active_model()
- Limpar o contexto do modelo ativomlflow.get_active_model_id()
- Obtenha o ID do modelo ativo atualmlflow.create_external_model()
- registrar uma implantação de modelo externomlflow.delete_logged_model_tag()
- Remover uma tag dos modelos registradosmlflow.finalize_logged_model()
- Finalizar um modelo registradomlflow.get_logged_model()
- Recuperar modelos registrados por IDmlflow.initialize_logged_model()
- Inicializar um novo modelo registradomlflow.last_logged_model()
- Obtenha os modelos mais recentes registradosmlflow.search_logged_models()
- Pesquisar modelos registradosmlflow.set_logged_model_tags()
- Adicionar tags aos modelos registradosmlflow.log_model_params()
- Parâmetros de log para um modelo
Entidades
mlflow.entities.LoggedModel
- modelos de metadados e informações registradasmlflow.entities.LoggedModelStatus
- modelos de status registrados enummlflow.ActiveModel
- Gerenciador de contexto de modelo ativo