メインコンテンツまでスキップ

API リファレンス

このページでは、生成AI アプリケーションで使用される MLflow APIs の包括的なインデックスと、 MLflow の公式ドキュメントへの直接リンクを提供します。

「Databricks のみ」とマークされている MLflow 機能は、Databricks 管理の MLflow でのみ使用できます。

公式ドキュメントリンク

備考

ベータ版および実験的機能

このページで参照されている APIs の一部は、現在 ベータ版 または 実験版 の段階にあります。これらの APIs は、今後のリリースで変更または削除される可能性があります。 実験 APIs はすべての顧客が利用でき、ベータ APIs はほとんどの顧客が利用できます 自動的に。 ベータ API にアクセスできず、アクセスを要求する必要がある場合は、Databricks サポート担当者にお問い合わせください。

体験管理

GenAI アプリケーション開発を追跡するためのMLflowエクスペリメントと実行を管理します。

SDK

エンティティ

迅速な管理

GenAI アプリケーションで使用されるプロンプトのバージョン管理とライフサイクル管理:

SDK

エンティティ

評価とモニタリング

スコアラーライフサイクル管理(Databricks のみ)

備考

ベータ版

この機能はベータ版です。

本番運用での継続的な品質追跡のためのスコアラーのライフサイクル管理:

スコアラーインスタンスメソッド

スコアラーレジストリ機能

スコアラーのプロパティ

構成クラス

コア評価APIs

オフライン評価と本番運用モニタリング用のコアAPIs :

  • mlflow.genai.evaluate() - スコアラーとデータセットを使用してオフライン評価を調整するための評価ハーネス
  • mlflow.genai.to_predict_fn() - モデル出力を標準化された予測関数形式に変換する
  • mlflow.genai.Scorer - 状態管理を備えたオブジェクト指向実装用のカスタムスコアラークラス
  • mlflow.genai.scorer() - スコアラーの作成と評価ロジックのためのスコアラー デコレーター

事前定義されたスコアラー

すぐに使用できる品質評価スコアラー:

スコアラーヘルパー

審査機能

直接使用またはスコアラーラッピング用の LLM ベースの評価関数:

出力エンティティの判断

評価データセット

体系的な評価のためにバージョン管理されたテスト データセットを作成および管理します。

SDK

エンティティ

人間によるラベル付けとレビュー アプリ (Databricks のみ)

体系的な品質評価のための人間によるフィードバック収集とレビューのワークフロー:

エンティティ

セッション SDK のラベル付け

ラベルスキーマの種類

ラベル スキーマ SDK

迅速な最適化

備考

ベータ版

この機能はベータ版です。

データドリブン最適化アルゴリズムを使用した自動プロンプト改善:

エンティティ

SDK

トレーシング

GenAI アプリケーションから実行トレースをインストルメント化してキャプチャします。

SDK

エンティティ

評価機関

評価結果とフィードバックを保存するためのデータ構造:

トレーシング統合

一般的な GenAI フレームワークとライブラリの自動インストルメンテーション:

バージョン追跡

本番運用で GenAI アプリケーションのバージョンを追跡および管理します。

SDK

エンティティ