MLflow APIリファレンス

このページには、GenAI アプリケーションで使用される重要なMLflow APIsのインデックスと、公式のMLflowドキュメントへの直接リンクが用意されています。

「Databricks のみ」とマークされている MLflow 機能は、Databricks 管理の MLflow でのみ使用できます。

クイックリンク

• すべての MLflow Python APIs

• MLflow コア APIs

• MLflow 生成AI モジュール

  • MLflow Tracing APIs
  • 評価データセット参照
  • 本番運用モニタリングのリファレンス

• MLflowクライアントAPI

• MLflow エンティティ

備考

ベータ版および実験的機能

このページで参照されている APIs の一部は、現在 ベータ版 または 実験版 の段階にあります。これらの APIs は、今後のリリースで変更または削除される可能性があります。 実験 APIs はすべての顧客が利用でき、ベータ APIs はほとんどの顧客が利用できます 自動的に。 ベータ API にアクセスできず、アクセスを要求する必要がある場合は、Databricks サポート担当者にお問い合わせください。

体験管理

GenAI アプリケーション開発を追跡するためのMLflowエクスペリメントと実行を管理します。

SDK

• mlflow.search_runs() - 条件による実行の検索とフィルタリング
• mlflow.set_experiment() - アクティブなMLflowエクスペリメントを設定します
• mlflow.start_run() - 追跡用に新しいMLflow実行を開始します

エンティティ

• mlflow.entities.Experiment - エクスペリメントのメタデータと構成
• mlflow.entities.Run - 実行メタデータ、メトリクス、およびパラメーター

トレーシング

GenAI アプリケーションから実行トレースをインストルメント化してキャプチャします。

SDK

• mlflow.delete_trace_tag() - トレースからタグを削除します
• mlflow.get_current_active_span() - 現在アクティブなスパンを取得します
• mlflow.get_last_active_trace() - 最後に完了したトレースを取得します
• mlflow.get_last_active_trace_id() - 最後にアクティブだったトレースのIDを取得します
• mlflow.get_trace() - IDでトレースを取得する
• mlflow.search_traces() - トレースの検索とフィルタリング
• mlflow.set_trace_tag() - トレースにタグを追加する
• mlflow.start_span() - 新しいスパンを手動で開始する
• mlflow.trace - 関数の実行を自動的にトレースするデコレータ
• mlflow.traceName - トレース名を設定するコンテキスト マネージャー
• mlflow.traceOutputs - トレース出力を設定するコンテキスト マネージャー
• mlflow.tracing - 設定機能を備えたトレースモジュール
• mlflow.tracing.disable - トレースをグローバルに無効にする
• mlflow.tracing.disable_notebook_display() - ノートブックのトレースの表示を無効にする
• mlflow.tracing.enable - トレースをグローバルに有効にする
• mlflow.tracing.enable_notebook_display() - ノートブックでのトレース表示を有効にする
• mlflow.update_current_trace() - 現在のトレースのメタデータを更新します

エンティティ

• mlflow.entities.Trace - すべてのスパンとメタデータを含む完全なトレース
• mlflow.entities.TraceData - トレース実行データ
• mlflow.entities.TraceInfo - トレースのメタデータと概要情報
• mlflow.entities.Span - トレース内の個々のスパン
• mlflow.entities.SpanEvent - 範囲内で発生するイベント
• mlflow.entities.SpanType - スパンタイプ分類列挙型
• mlflow.entities.Document - RAG アプリケーションのドキュメント エンティティ

トレーシング統合

一般的な GenAI フレームワークとライブラリの自動インストルメンテーション:

• mlflow.anthropic.autolog - Anthropicクロード積分
• mlflow.autogen.autolog - Microsoft AutoGen 統合
• mlflow.bedrock.autolog - AWS Bedrock 統合
• mlflow.crewai.autolog - CrewAI統合
• mlflow.dspy.autolog - DSPy統合
• mlflow.gemini.autolog - Google Gemini 統合
• mlflow.groq.autolog - Groq 統合
• mlflow.langchain.autolog - LangChain統合
• mlflow.litellm.autolog - LiteLLM統合
• mlflow.llama_index.autolog - LlamaIndex 統合
• mlflow.mistral.autolog - Mistral AI統合
• mlflow.openai.autolog - OpenAI統合

評価とモニタリング

コア評価SDK

オフライン評価と本番運用モニタリング用のコアAPIs :

• mlflow.genai.evaluate() - スコアラーとデータセットを使用してオフライン評価を調整するための評価ハーネス
• mlflow.genai.to_predict_fn() - モデル出力を標準化された予測関数形式に変換する
• mlflow.genai.Scorer - 状態管理を備えたオブジェクト指向実装用のカスタムスコアラークラス
• mlflow.genai.scorer() - スコアラーの作成と評価ロジックのためのスコアラー デコレーター

組み込みスコアラー

すぐに使用できる品質評価スコアラー:

• mlflow.genai.scorers.Safety - コンテンツの安全性評価
• mlflow.genai.scorers.Correctness - 回答の正確性評価
• mlflow.genai.scorers.RelevanceToQuery - クエリ関連性スコアリング
• mlflow.genai.scorers.Guidelines - カスタム ガイドライン コンプライアンス
• mlflow.genai.scorers.ExpectationsGuidelines - 期待されるガイドラインの評価
• mlflow.genai.scorers.RetrievalGroundedness - RAG接地評価
• mlflow.genai.scorers.RetrievalRelevance - 取得したコンテキストの関連性
• mlflow.genai.scorers.RetrievalSufficiency - コンテキストの十分性評価

組み込みのスコアラーヘルパー:

• mlflow.genai.scorers.get_all_scorers() - すべての組み込みスコアラーを取得します

審査機能

直接使用またはスコアラーラッピング用の LLM ベースの評価関数:

• mlflow.genai.judges.is_safe() - 安全性評価
• mlflow.genai.judges.is_correct() - 正確性評価
• mlflow.genai.judges.is_grounded() - 接地検証
• mlflow.genai.judges.is_context_relevant() - コンテキストの関連性
• mlflow.genai.judges.is_context_sufficient() - コンテキストの十分性
• mlflow.genai.judges.meets_guidelines() - カスタムガイドライン評価
• mlflow.genai.make_judge() - カスタム審査員を作成する

出力エンティティの判断

• mlflow.genai.judges.CategoricalRating - カテゴリ判定者の回答の列挙型
  • mlflow.genai.judges.CategoricalRating.YES - 肯定的な評価
  • mlflow.genai.judges.CategoricalRating.NO - 否定的な評価
  • mlflow.genai.judges.CategoricalRating.UNKNOWN - 評価が不確か

本番運用モニタリング スコアラー ライフサイクルSDK ( Databricksのみ)

備考

ベータ版

この機能はベータ版です。

本番運用での継続的な品質追跡のためのスコアラーのライフサイクル管理:

スコアラーインスタンスメソッド

• Scorer.register() - カスタムスコアラーをサーバーに登録する
• Scorer.start() - サンプリングによるオンライン評価の開始
• Scorer.update() - サンプリング構成の変更
• Scorer.stop() - オンライン評価の停止

スコアラーレジストリ機能

• mlflow.genai.scorers.get_scorer() - 登録されたスコアラーを名前で取得する
• mlflow.genai.scorers.list_scorers() - 登録されているすべてのスコアラーを一覧表示
• mlflow.genai.scorers.delete_scorer() - 登録されたスコアラーを名前で削除

スコアラーのプロパティ

• Scorer.sample_rate - 電流サンプリングレート(0.0-1.0)
• Scorer.filter_string - 電流トレースフィルター

構成クラス

• mlflow.genai.ScorerSamplingConfig - サンプリング構成データクラス

評価機関

評価結果とフィードバックを保存するためのデータ構造:

• mlflow.entities.Assessment - 評価結果コンテナ
• mlflow.entities.AssessmentError - 評価エラーの詳細
• mlflow.entities.AssessmentSource - 評価のソース
• mlflow.entities.AssessmentSourceType - 評価ソースタイプの列挙
• mlflow.entities.Expectation - 期待されるグラウンドトゥルース結果
• mlflow.entities.Feedback - 値と根拠を含むスコアラー出力

評価データセット

体系的な評価のためにバージョン管理されたテスト データセットを作成および管理します。

SDK

• mlflow.genai.create_dataset() - 新しい評価データセットを作成する
• mlflow.genai.delete_dataset() - 評価データセットを削除する
• mlflow.genai.get_dataset() - 既存の評価データセットを取得する

エンティティ

• mlflow.genai.datasets.EvaluationDataset - バージョン管理されたテストデータコンテナ
  • merge_records() - 複数のソースからのレコードを結合する
  • set_profile() - データセットプロファイル設定を構成する
  • to_df() - データセットをPandas DataFrameに変換する
  • to_evaluation_dataset() - 評価データセット形式に変換する

人間によるラベル付けとレビュー アプリ (Databricks のみ)

体系的な品質評価のための人間によるフィードバック収集とレビューのワークフロー:

ラベリングセッションSDK

• mlflow.genai.create_labeling_session() - 新しいラベル付けセッションを作成する
• mlflow.genai.delete_labeling_session() - ラベル付けセッションを削除します
• mlflow.genai.get_labeling_session() - IDでラベル付けセッションを取得します
• mlflow.genai.get_labeling_sessions() - すべてのラベル付けセッションを一覧表示します
• mlflow.genai.get_review_app() - レビューアプリインスタンスを取得する

ラベルスキーマの種類

• mlflow.genai.label_schemas.InputCategorical - カテゴリ入力フィールドタイプ
• mlflow.genai.label_schemas.InputCategoricalList - 複数選択カテゴリ入力
• mlflow.genai.label_schemas.InputNumeric - 数値入力フィールドタイプ
• mlflow.genai.label_schemas.InputText - テキスト入力フィールドの種類
• mlflow.genai.label_schemas.InputTextList - 複数テキスト入力フィールドタイプ
• mlflow.genai.label_schemas.LabelSchema - ラベルスキーマ定義
• mlflow.genai.label_schemas.LabelSchemaType - スキーマタイプ列挙
  • mlflow.genai.label_schemas.LabelSchemaType.EXPECTATION - 期待スキーマタイプ
  • mlflow.genai.label_schemas.LabelSchemaType.FEEDBACK - フィードバックスキーマタイプ

ラベルスキーマSDK

• mlflow.genai.label_schemas.create_label_schema() - 新しいラベルスキーマを作成する
• mlflow.genai.label_schemas.delete_label_schema() - 既存のラベルスキーマを削除します
• mlflow.genai.label_schemas.get_label_schema() - 名前でラベルスキーマを取得します

エンティティ

• mlflow.genai.Agent - レビューアプリのテスト用のエージェント構成

• mlflow.genai.LabelingSession - ヒューマンラベリングワークフローマネージャー

  • add_dataset() - ラベル付けセッションに評価データセットを追加する
  • add_traces() - 人間によるレビュー用にトレースを追加する
  • set_assigned_users() - セッションにレビュー担当者を割り当てる
  • sync() - セッション状態を同期する

• mlflow.genai.ReviewApp - インタラクティブなレビューアプリケーション

  • add_agent() - テスト用のエージェントを追加
  • remove_agent() - レビューアプリからエージェントを削除する

迅速な管理

GenAI アプリケーションで使用されるプロンプトのバージョン管理とライフサイクル管理:

SDK

• mlflow.genai.load_prompt() - レジストリからバージョン付きプロンプトを読み込みます
• mlflow.genai.optimize_prompt() - 最適化アルゴリズムを使用してプロンプトを自動的に改善します
• mlflow.genai.register_prompt() - レジストリに新しいプロンプトを登録する
• mlflow.genai.search_prompts() - 名前またはタグでプロンプトを検索
• mlflow.genai.delete_prompt_alias() - プロンプトバージョンからエイリアスを削除します
• mlflow.genai.set_prompt_alias() - プロンプトバージョンにエイリアスを割り当てる

エンティティ

• mlflow.entities.Prompt - プロンプトのメタデータとバージョン情報

迅速な最適化

備考

ベータ版

この機能はベータ版です。

データドリブン最適化アルゴリズムを使用した自動プロンプト改善:

SDK

• mlflow.genai.optimize.optimize_prompt() - プロンプト最適化プロセスを実行する

エンティティ

• mlflow.genai.optimize.LLMParams - LLM構成のパラメーター
• mlflow.genai.optimize.OptimizerConfig - 最適化アルゴリズムの設定
• mlflow.genai.optimize.PromptOptimizationResult - 最適化結果とメトリクス

アプリのバージョン追跡

本番運用で GenAI アプリケーションのバージョンを追跡および管理します。

SDK

• mlflow.set_active_model() - バージョン追跡のアクティブモデルを設定します
• mlflow.clear_active_model() - アクティブなモデルコンテキストをクリアします
• mlflow.get_active_model_id() - 現在アクティブなモデルIDを取得します
• mlflow.create_external_model() - 外部モデルのデプロイメントを登録する
• mlflow.delete_logged_model_tag() - 記録済みモデルからタグを削除します
• mlflow.finalize_logged_model() - 記録済みモデルを完成させる
• mlflow.get_logged_model() - IDで記録済みモデルを取得
• mlflow.initialize_logged_model() - 新しい記録済みモデルを初期化します
• mlflow.last_logged_model() - 最新の記録済みモデルを取得します
• mlflow.search_logged_models() - 記録済みモデルの検索
• mlflow.set_logged_model_tags() - 記録済みモデルにタグを追加
• mlflow.log_model_params() - モデルのパラメーターの記録

エンティティ

• mlflow.entities.LoggedModel - 記録済みモデルのメタデータと情報
• mlflow.entities.LoggedModelStatus - 記録済みモデルのステータス列挙型
• mlflow.ActiveModel - アクティブモデルコンテキストマネージャー