API リファレンス
このページでは、生成AI アプリケーションで使用される MLflow APIs の包括的なインデックスと、 MLflow の公式ドキュメントへの直接リンクを提供します。
「Databricks のみ」とマークされている MLflow 機能は、Databricks 管理の MLflow でのみ使用できます。
公式ドキュメントリンク
- すべての MLflow Python APIs
- MLflow コア APIs
- MLflow 生成AI モジュール
- MLflow Tracing APIs
- MLflowクライアントAPI
- MLflow エンティティ
体験管理
GenAI アプリケーション開発を追跡するためのMLflowエクスペリメントと実行を管理します。
SDK
mlflow.search_runs()
- 条件による実行の検索とフィルタリングmlflow.set_experiment()
- アクティブなMLflowエクスペリメントを設定しますmlflow.start_run()
- 追跡用に新しいMLflow実行を開始します
エンティティ
mlflow.entities.Experiment
- エクスペリメントのメタデータと構成mlflow.entities.Run
- 実行メタデータ、メトリクス、および問題
迅速な管理
GenAI アプリケーションで使用されるプロンプトのバージョン管理とライフサイクル管理:
SDK
mlflow.genai.load_prompt()
- レジストリからバージョン付きプロンプトを読み込みますmlflow.genai.optimize_prompt()
- 最適化アルゴリズムを使用してプロンプトを自動的に改善しますmlflow.genai.register_prompt()
- レジストリに新しいプロンプトを登録するmlflow.genai.search_prompts()
- 名前またはタグでプロンプトを検索mlflow.genai.delete_prompt_alias()
- プロンプトバージョンからエイリアスを削除しますmlflow.genai.set_prompt_alias()
- プロンプトバージョンにエイリアスを割り当てる
エンティティ
mlflow.entities.Prompt
- プロンプトのメタデータとバージョン情報
評価とモニタリング
スコアラーライフサイクル管理(Databricks のみ)
ベータ版
この機能はベータ版です。
本番運用での継続的な品質追跡のためのスコアラーのライフサイクル管理:
スコアラーインスタンスメソッド
Scorer.register()
- カスタムスコアラーをサーバーに登録するScorer.start()
- サンプリングによるオンライン評価の開始Scorer.update()
- サンプリング構成の変更Scorer.stop()
- オンライン評価の停止Scorer.delete()
- スコアラーを完全に削除する
スコアラーレジストリ機能
mlflow.genai.scorers.get_scorer()
- 登録されたスコアラーを名前で取得するmlflow.genai.scorers.list_scorers()
- 登録されているすべてのスコアラーを一覧表示mlflow.genai.scorers.delete_scorer()
- 登録されたスコアラーを名前で削除
スコアラーのプロパティ
Scorer.sample_rate
- 電流サンプリングレート(0.0-1.0)Scorer.filter_string
- 電流トレースフィルター
構成クラス
mlflow.genai.ScorerSamplingConfig
- サンプリング構成データクラス
コア評価APIs
オフライン評価と本番運用モニタリング用のコアAPIs :
mlflow.genai.evaluate()
- スコアラーとデータセットを使用してオフライン評価を調整するための評価ハーネスmlflow.genai.to_predict_fn()
- モデル出力を標準化された予測関数形式に変換するmlflow.genai.Scorer
- 状態管理を備えたオブジェクト指向実装用のカスタムスコアラークラスmlflow.genai.scorer()
- スコアラーの作成と評価ロジックのためのスコアラー デコレーター
事前定義されたスコアラー
すぐに使用できる品質評価スコアラー:
mlflow.genai.scorers.Safety
- コンテンツの安全性評価mlflow.genai.scorers.Correctness
- 回答の正確性評価mlflow.genai.scorers.RelevanceToQuery
- クエリ関連性スコアリングmlflow.genai.scorers.Guidelines
- カスタム ガイドライン コンプライアンスmlflow.genai.scorers.ExpectationsGuidelines
- 期待されるガイドラインの評価mlflow.genai.scorers.RetrievalGroundedness
- RAG接地評価mlflow.genai.scorers.RetrievalRelevance
- 取得したコンテキストの関連性mlflow.genai.scorers.RetrievalSufficiency
- コンテキストの十分性評価
スコアラーヘルパー
mlflow.genai.scorers.get_all_scorers()
- すべての組み込みスコアラーを取得します
審査機能
直接使用またはスコアラーラッピング用の LLM ベースの評価関数:
mlflow.genai.judges.is_safe()
- 安全性評価mlflow.genai.judges.is_correct()
- 正確性評価mlflow.genai.judges.is_grounded()
- 接地検証mlflow.genai.judges.is_context_relevant()
- コンテキストの関連性mlflow.genai.judges.is_context_sufficient()
- コンテキストの十分性mlflow.genai.judges.meets_guidelines()
- カスタムガイドライン評価mlflow.genai.make_judge()
- カスタム審査員を作成する(MLflow 3.4.0 に推奨)以上)mlflow.genai.judges.custom_prompt_judge()
- カスタムプロンプトベースの評価(MLflow 3.4.0で非推奨、代わりにmake_judge()
を使用してください)
出力エンティティの判断
mlflow.genai.judges.CategoricalRating
- カテゴリ判定者の回答の列挙型
評価データセット
体系的な評価のためにバージョン管理されたテスト データセットを作成および管理します。
SDK
mlflow.genai.create_dataset()
- 新しい評価データセットを作成するmlflow.genai.delete_dataset()
- 評価データセットを削除するmlflow.genai.get_dataset()
- 既存の評価データセットを取得する
エンティティ
mlflow.genai.datasets.EvaluationDataset
- バージョン管理されたテストデータコンテナmerge_records()
- 複数のソースからのレコードを結合するset_profile()
- データセットプロファイル設定を構成するto_df()
- データセットをPandas DataFrameに変換するto_evaluation_dataset()
- 評価データセット形式に変換する
人間によるラベル付けとレビュー アプリ (Databricks のみ)
体系的な品質評価のための人間によるフィードバック収集とレビューのワークフロー:
エンティティ
-
mlflow.genai.Agent
- レビューアプリのテスト用のエージェント構成 -
mlflow.genai.LabelingSession
- ヒューマンラベリングワークフローマネージャーadd_dataset()
- ラベル付けセッションに評価データセットを追加するadd_traces()
- 人間によるレビュー用にトレースを追加するset_assigned_users()
- セッションにレビュー担当者を割り当てるsync()
- セッション状態を同期する
-
mlflow.genai.ReviewApp
- インタラクティブなレビューアプリケーションadd_agent()
- テスト用のエージェントを追加remove_agent()
- レビューアプリからエージェントを削除する
セッション SDK のラベル付け
mlflow.genai.create_labeling_session()
- 新しいラベル付けセッションを作成するmlflow.genai.delete_labeling_session()
- ラベル付けセッションを削除しますmlflow.genai.get_labeling_session()
- IDでラベル付けセッションを取得しますmlflow.genai.get_labeling_sessions()
- すべてのラベル付けセッションを一覧表示しますmlflow.genai.get_review_app()
- レビューアプリインスタンスを取得する
ラベルスキーマの種類
mlflow.genai.label_schemas.InputCategorical
- カテゴリ入力フィールドタイプmlflow.genai.label_schemas.InputCategoricalList
- 複数選択カテゴリ入力mlflow.genai.label_schemas.InputNumeric
- 数値入力フィールドタイプmlflow.genai.label_schemas.InputText
- テキスト入力フィールドの種類mlflow.genai.label_schemas.InputTextList
- 複数テキスト入力フィールドタイプmlflow.genai.label_schemas.LabelSchema
- ラベルスキーマ定義mlflow.genai.label_schemas.LabelSchemaType
- スキーマタイプ列挙mlflow.genai.label_schemas.LabelSchemaType.EXPECTATION
- 期待スキーマタイプmlflow.genai.label_schemas.LabelSchemaType.FEEDBACK
- フィードバックスキーマタイプ
ラベル スキーマ SDK
mlflow.genai.label_schemas.create_label_schema()
- 新しいラベルスキーマを作成するmlflow.genai.label_schemas.delete_label_schema()
- 既存のラベルスキーマを削除しますmlflow.genai.label_schemas.get_label_schema()
- 名前でラベルスキーマを取得します
迅速な最適化
ベータ版
この機能はベータ版です。
データドリブン最適化アルゴリズムを使用した自動プロンプト改善:
エンティティ
mlflow.genai.optimize.LLMParams
- LLM構成の問題mlflow.genai.optimize.OptimizerConfig
- 最適化アルゴリズムの設定mlflow.genai.optimize.PromptOptimizationResult
- 最適化結果とメトリクス
SDK
mlflow.genai.optimize.optimize_prompt()
- プロンプト最適化プロセスを実行する
トレーシング
GenAI アプリケーションから実行トレースをインストルメント化してキャプチャします。
SDK
mlflow.delete_trace_tag()
- トレースからタグを削除しますmlflow.get_current_active_span()
- 現在アクティブなスパンを取得しますmlflow.get_last_active_trace()
- 最後に完了したトレースを取得しますmlflow.get_last_active_trace_id()
- 最後にアクティブだったトレースのIDを取得しますmlflow.get_trace()
- IDでトレースを取得するmlflow.search_traces()
- トレースの検索とフィルタリングmlflow.set_trace_tag()
- トレースにタグを追加するmlflow.start_span()
- 新しいスパンを手動で開始するmlflow.trace
- 関数の実行を自動的にトレースするデコレータmlflow.traceName
- トレース名を設定するコンテキスト マネージャーmlflow.traceOutputs
- トレース出力を設定するコンテキスト マネージャーmlflow.tracing
- 設定機能を備えたトレースモジュールmlflow.tracing.disable
- トレースをグローバルに無効にするmlflow.tracing.disable_notebook_display()
- ノートブックのトレースの表示を無効にするmlflow.tracing.enable
- トレースをグローバルに有効にするmlflow.tracing.enable_notebook_display()
- ノートブックでのトレース表示を有効にするmlflow.update_current_trace()
- 現在のトレースのメタデータを更新します
エンティティ
mlflow.entities.Trace
- すべてのスパンとメタデータを含む完全なトレースmlflow.entities.TraceData
- トレース実行データmlflow.entities.TraceInfo
- トレースのメタデータと概要情報mlflow.entities.Span
- トレース内の個々のスパンmlflow.entities.SpanEvent
- 範囲内で発生するイベントmlflow.entities.SpanType
- スパンタイプ分類列挙型mlflow.entities.Document
- RAG アプリケーションのドキュメント エンティティ
評価機関
評価結果とフィードバックを保存するためのデータ構造:
mlflow.entities.Assessment
- 評価結果コンテナmlflow.entities.AssessmentError
- 評価エラーの詳細mlflow.entities.AssessmentSource
- 評価のソースmlflow.entities.AssessmentSourceType
- 評価ソースタイプの列挙mlflow.entities.Expectation
- 期待されるグラウンドトゥルース結果mlflow.entities.Feedback
- 値と根拠を含むスコアラー出力
トレーシング統合
一般的な GenAI フレームワークとライブラリの自動インストルメンテーション:
mlflow.anthropic.autolog
- Anthropicクロード積分mlflow.autogen.autolog
- Microsoft AutoGen 統合mlflow.bedrock.autolog
- AWS Bedrock 統合mlflow.crewai.autolog
- CrewAI統合mlflow.dspy.autolog
- DSPy統合mlflow.gemini.autolog
- Google Gemini 統合mlflow.groq.autolog
- Groq 統合mlflow.langchain.autolog
- LangChain統合mlflow.litellm.autolog
- LiteLLM統合mlflow.llama_index.autolog
- LlamaIndex 統合mlflow.mistral.autolog
- Mistral AI統合mlflow.openai.autolog
- OpenAI統合
バージョン追跡
本番運用で GenAI アプリケーションのバージョンを追跡および管理します。
SDK
mlflow.set_active_model()
- バージョン追跡のアクティブモデルを設定しますmlflow.clear_active_model()
- アクティブなモデルコンテキストをクリアしますmlflow.get_active_model_id()
- 現在アクティブなモデルIDを取得しますmlflow.create_external_model()
- 外部モデルのデプロイメントを登録するmlflow.delete_logged_model_tag()
- 記録済みモデルからタグを削除しますmlflow.finalize_logged_model()
- 記録済みモデルを完成させるmlflow.get_logged_model()
- IDで記録済みモデルを取得mlflow.initialize_logged_model()
- 新しい記録済みモデルを初期化しますmlflow.last_logged_model()
- 最新の記録済みモデルを取得しますmlflow.search_logged_models()
- 記録済みモデルの検索mlflow.set_logged_model_tags()
- 記録済みモデルにタグを追加mlflow.log_model_params()
- モデルのログの問題
エンティティ
mlflow.entities.LoggedModel
- 記録済みモデルのメタデータと情報mlflow.entities.LoggedModelStatus
- 記録済みモデルのステータス列挙型mlflow.ActiveModel
- アクティブモデルコンテキストマネージャー