MLflow APIリファレンス

このページでは、エージェントで使用される重要な MLflow APIs のインデックスと、公式 MLflow ドキュメントへの直接リンクを提供します。

「Databricks のみ」とマークされている MLflow 機能は、Databricks 管理の MLflow でのみ使用できます。

クイックリンク

• すべての MLflow Python APIs

• MLflow コア APIs

• MLflow 生成AI モジュール

  • MLflow Tracing APIs
  • 評価データセット参照
  • 本番運用モニタリングのリファレンス

• MLflowクライアントAPI

• MLflow エンティティ

備考

このページで参照されている APIs の一部は、現在 ベータ版 または 実験版 の段階にあります。これらの APIs は、今後のリリースで変更または削除される可能性があります。 実験 APIs はすべての顧客が利用でき、ベータ APIs はほとんどの顧客が利用できます 自動的に。 ベータ API にアクセスできず、アクセスを要求する必要がある場合は、Databricks サポート担当者にお問い合わせください。

体験管理

エージェント開発のトラッキング用に MLflow のエクスペリメントとランを管理する:

SDK

• mlflow.search_runs() - 条件による実行の検索とフィルタリング
• mlflow.set_experiment() - アクティブなMLflowエクスペリメントを設定します
• mlflow.start_run() - 追跡用に新しいMLflow実行を開始します

エンティティ

• mlflow.entities.Experiment - エクスペリメントのメタデータと構成
• mlflow.entities.Run - 実行メタデータ、メトリクス、およびパラメーター

トレーシング

エージェントからの実行トレースの計測とキャプチャ：

SDK

• mlflow.delete_trace_tag() - トレースからタグを削除します
• mlflow.get_current_active_span() - 現在アクティブなスパンを取得します
• mlflow.get_last_active_trace() - 最後に完了したトレースを取得します
• mlflow.get_last_active_trace_id() - 最後にアクティブだったトレースのIDを取得します
• mlflow.get_trace() - IDでトレースを取得する
• mlflow.search_traces() - トレースの検索とフィルタリング
• mlflow.set_trace_tag() - トレースにタグを追加する
• mlflow.start_span() - 新しいスパンを手動で開始する
• mlflow.trace - 関数の実行を自動的にトレースするデコレータ
• mlflow.traceName - トレース名を設定するコンテキスト マネージャー
• mlflow.traceOutputs - トレース出力を設定するコンテキスト マネージャー
• mlflow.tracing - 設定機能を備えたトレースモジュール
• mlflow.tracing.disable - トレースをグローバルに無効にする
• mlflow.tracing.disable_notebook_display() - ノートブックのトレースの表示を無効にする
• mlflow.tracing.enable - トレースをグローバルに有効にする
• mlflow.tracing.enable_notebook_display() - ノートブックでのトレース表示を有効にする
• mlflow.update_current_trace() - 現在のトレースのメタデータを更新します

エンティティ

• mlflow.entities.Trace - すべてのスパンとメタデータを含む完全なトレース
• mlflow.entities.TraceData - トレース実行データ
• mlflow.entities.TraceInfo - トレースのメタデータと概要情報
• mlflow.entities.Span - トレース内の個々のスパン
• mlflow.entities.SpanEvent - 範囲内で発生するイベント
• mlflow.entities.SpanType - スパンタイプ分類列挙型
• mlflow.entities.Document - RAG アプリケーションのドキュメント エンティティ

トレーシング統合

専用の autolog() 関数を提供する GenAI フレームワークおよびライブラリの自動インストルメント化。OpenAI 互換クライアントを通じてトレースされるものを含め、サポートされている統合の完全なリストについては、MLflow Tracing Integrations を参照してください。

• mlflow.ag2.autolog - AG2 統合
• mlflow.agno.autolog - Agnoの統合
• mlflow.anthropic.autolog - Anthropicクロード積分
• mlflow.autogen.autolog - Microsoft AutoGen 統合
• mlflow.bedrock.autolog - AWS Bedrock 統合
• mlflow.crewai.autolog - CrewAI統合
• mlflow.dspy.autolog - DSPy統合
• mlflow.gemini.autolog - Google Gemini 統合
• mlflow.groq.autolog - Groq 統合
• mlflow.haystack.autolog - Haystackの統合
• mlflow.langchain.autolog - LangChain統合
• mlflow.litellm.autolog - LiteLLM統合
• mlflow.llama_index.autolog - LlamaIndex 統合
• mlflow.mistral.autolog - Mistral AI統合
• mlflow.openai.autolog - OpenAI統合
• mlflow.pydantic_ai.autolog - PydanticAI integration
• mlflow.smolagents.autolog - Smolagentsの統合
• mlflow.strands.autolog - Strands エージェントの統合

評価とモニタリング

コア評価SDK

オフライン評価と本番運用モニタリング用のコアAPIs :

• mlflow.genai.evaluate() - スコアラーとデータセットを使用してオフライン評価を調整するための評価ハーネス
• mlflow.genai.to_predict_fn() - モデル出力を標準化された予測関数形式に変換する
• mlflow.genai.Scorer - 状態管理を備えたオブジェクト指向実装用のカスタムスコアラークラス
• mlflow.genai.scorer() - スコアラーの作成と評価ロジックのためのスコアラー デコレーター

組み込みスコアラー

すぐに使用できる品質評価スコアラー。それぞれが何を評価するかについては、組み込みの LLM ジャッジを参照してください。

シングルターン スコアラー：

• mlflow.genai.scorers.Safety - コンテンツの安全性評価
• mlflow.genai.scorers.Correctness - 回答の正確性評価
• mlflow.genai.scorers.RelevanceToQuery - クエリ関連性スコアリング
• mlflow.genai.scorers.Guidelines - カスタム ガイドライン コンプライアンス
• mlflow.genai.scorers.ExpectationsGuidelines - 期待されるガイドラインの評価
• mlflow.genai.scorers.RetrievalGroundedness - RAG接地評価
• mlflow.genai.scorers.RetrievalRelevance - 取得したコンテキストの関連性
• mlflow.genai.scorers.RetrievalSufficiency - コンテキストの十分性評価

ツールコール スコアラー:

• mlflow.genai.scorers.ToolCallCorrectness - リクエストに対する正しいツール呼び出しと引数
• mlflow.genai.scorers.ToolCallEfficiency - 効率的で冗長性のないツールの使用

マルチターン（会話）スコアラー：

• mlflow.genai.scorers.ConversationCompleteness - 会話を通じて対処されたすべてのユーザーの質問
• mlflow.genai.scorers.UserFrustration - ユーザーの不満の検出と解決
• mlflow.genai.scorers.KnowledgeRetention - 以前のターンからの情報の保持
• mlflow.genai.scorers.ConversationalGuidelines - 会話全体でのガイドラインのコンプライアンス
• mlflow.genai.scorers.ConversationalRoleAdherence - 割り当てられたロールの遵守
• mlflow.genai.scorers.ConversationalSafety - 会話全体を通して安全な応答が行われているか
• mlflow.genai.scorers.ConversationalToolCallEfficiency - 会話全体を通した効率的なツールの使用

ヘルパー：

• mlflow.genai.scorers.get_all_scorers() - すべての組み込みスコアラーを取得します

本番運用のモニタリングスコアラーのライフサイクル SDK

備考

ベータ版

この機能はベータ版です。

本番運用での継続的な品質追跡のためのスコアラーのライフサイクル管理:

スコアラーインスタンスメソッド

• Scorer.register() - カスタムスコアラーをサーバーに登録する
• Scorer.start() - サンプリングによるオンライン評価の開始
• Scorer.update() - サンプリング構成の変更
• Scorer.stop() - オンライン評価の停止

スコアラーレジストリ機能

• mlflow.genai.scorers.get_scorer() - 登録されたスコアラーを名前で取得する
• mlflow.genai.scorers.list_scorers() - 登録されているすべてのスコアラーを一覧表示
• mlflow.genai.scorers.delete_scorer() - 登録されたスコアラーを名前で削除

スコアラーのプロパティ

• Scorer.sample_rate - 電流サンプリングレート(0.0-1.0)
• Scorer.filter_string - 電流トレースフィルター

構成クラス

• mlflow.genai.ScorerSamplingConfig - サンプリング構成データクラス

評価機関

評価結果とフィードバックを保存するためのデータ構造:

• mlflow.entities.Assessment - 評価結果コンテナ
• mlflow.entities.AssessmentError - 評価エラーの詳細
• mlflow.entities.AssessmentSource - 評価のソース
• mlflow.entities.AssessmentSourceType - 評価ソースタイプの列挙
• mlflow.entities.Expectation - 期待されるグラウンドトゥルース結果
• mlflow.entities.Feedback - 値と根拠を含むスコアラー出力

評価データセット

体系的な評価のためにバージョン管理されたテスト データセットを作成および管理します。

SDK

• mlflow.genai.create_dataset() - 新しい評価データセットを作成する
• mlflow.genai.delete_dataset() - 評価データセットを削除する
• mlflow.genai.get_dataset() - 既存の評価データセットを取得する

エンティティ

• mlflow.genai.datasets.EvaluationDataset - バージョン管理されたテストデータコンテナ
  • merge_records() - 複数のソースからのレコードを結合する
  • set_profile() - データセットプロファイル設定を構成する
  • to_df() - データセットをPandas DataFrameに変換する
  • to_evaluation_dataset() - 評価データセット形式に変換する

人間によるラベル付けとレビュー アプリ (Databricks のみ)

体系的な品質評価のための人間によるフィードバック収集とレビューのワークフロー:

ラベリングセッションSDK

• mlflow.genai.create_labeling_session() - 新しいラベル付けセッションを作成する
• mlflow.genai.delete_labeling_session() - ラベル付けセッションを削除します
• mlflow.genai.get_labeling_session() - IDでラベル付けセッションを取得します
• mlflow.genai.get_labeling_sessions() - すべてのラベル付けセッションを一覧表示します
• mlflow.genai.get_review_app() - レビューアプリインスタンスを取得する

ラベルスキーマの種類

• mlflow.genai.label_schemas.InputCategorical - カテゴリ入力フィールドタイプ
• mlflow.genai.label_schemas.InputCategoricalList - 複数選択カテゴリ入力
• mlflow.genai.label_schemas.InputNumeric - 数値入力フィールドタイプ
• mlflow.genai.label_schemas.InputText - テキスト入力フィールドの種類
• mlflow.genai.label_schemas.InputTextList - 複数テキスト入力フィールドタイプ
• mlflow.genai.label_schemas.LabelSchema - ラベルスキーマ定義
• mlflow.genai.label_schemas.LabelSchemaType - スキーマタイプ列挙
  • mlflow.genai.label_schemas.LabelSchemaType.EXPECTATION - 期待スキーマタイプ
  • mlflow.genai.label_schemas.LabelSchemaType.FEEDBACK - フィードバックスキーマタイプ

ラベルスキーマSDK

• mlflow.genai.label_schemas.create_label_schema() - 新しいラベルスキーマを作成する
• mlflow.genai.label_schemas.delete_label_schema() - 既存のラベルスキーマを削除します
• mlflow.genai.label_schemas.get_label_schema() - 名前でラベルスキーマを取得します

エンティティ

• mlflow.genai.Agent - レビューアプリのテスト用のエージェント構成

• mlflow.genai.LabelingSession - ヒューマンラベリングワークフローマネージャー

  • add_dataset() - ラベル付けセッションに評価データセットを追加する
  • add_traces() - 人間によるレビュー用にトレースを追加する
  • set_assigned_users() - セッションにレビュー担当者を割り当てる
  • sync() - セッション状態を同期する

• mlflow.genai.ReviewApp - インタラクティブなレビューアプリケーション

  • add_agent() - テスト用のエージェントを追加
  • remove_agent() - レビューアプリからエージェントを削除する

迅速な管理

エージェントで使用されるプロンプトのバージョン管理とライフサイクル管理:

SDK

• mlflow.genai.load_prompt() - レジストリからバージョン付きプロンプトを読み込みます
• mlflow.genai.optimize_prompts() - 最適化アルゴリズムを使用してプロンプトを自動的に改善します
• mlflow.genai.register_prompt() - レジストリに新しいプロンプトを登録する
• mlflow.genai.search_prompts() - 名前またはタグでプロンプトを検索
• mlflow.genai.delete_prompt_alias() - プロンプトバージョンからエイリアスを削除します
• mlflow.genai.set_prompt_alias() - プロンプトバージョンにエイリアスを割り当てる

エンティティ

• mlflow.entities.Prompt - プロンプトのメタデータとバージョン情報

迅速な最適化

備考

ベータ版

この機能はベータ版です。

データドリブン最適化アルゴリズムを使用した自動プロンプト改善:

SDK

• mlflow.genai.optimize_prompts() - プロンプト最適化プロセスを実行する

オプティマイザ

• mlflow.genai.optimize.GepaPromptOptimizer - LLM 主導のリフレクションを使用してプロンプトを洗練させる反復オプティマイザ
• mlflow.genai.optimize.MetaPromptOptimizer - メタプロンプティングを適用するシングルパスオプティマイザ
• mlflow.genai.optimize.BasePromptOptimizer - カスタムオプティマイザを実装するための基底クラス

エンティティ

• mlflow.genai.optimize.PromptOptimizationResult - 最適化結果とメトリクス
• mlflow.genai.optimize.PromptOptimizerOutput - カスタムオプティマイザの optimize() メソッドによって返される出力

アプリのバージョン追跡

本番運用でのエージェントのバージョンの追跡と管理：

SDK

• mlflow.set_active_model() - バージョン追跡のアクティブモデルを設定します
• mlflow.clear_active_model() - アクティブなモデルコンテキストをクリアします
• mlflow.get_active_model_id() - 現在アクティブなモデルIDを取得します
• mlflow.create_external_model() - 外部モデルのデプロイメントを登録する
• mlflow.delete_logged_model_tag() - 記録済みモデルからタグを削除します
• mlflow.finalize_logged_model() - 記録済みモデルを完成させる
• mlflow.get_logged_model() - IDで記録済みモデルを取得
• mlflow.initialize_logged_model() - 新しい記録済みモデルを初期化します
• mlflow.last_logged_model() - 最新の記録済みモデルを取得します
• mlflow.search_logged_models() - 記録済みモデルの検索
• mlflow.set_logged_model_tags() - 記録済みモデルにタグを追加
• mlflow.log_model_params() - モデルのパラメーターの記録

エンティティ

• mlflow.entities.LoggedModel - 記録済みモデルのメタデータと情報
• mlflow.entities.LoggedModelStatus - 記録済みモデルのステータス列挙型
• mlflow.ActiveModel - アクティブモデルコンテキストマネージャー