Databricks 上のオープンソース MLflow とマネージド MLflow の比較
このページは、オープンソースの MLflowユーザーが Databricks での MLflow の使用に慣れるためのものです。Databricks管理のMLflow同じAPIsを使用しますが、より広範なDatabricksプラットフォームとの統合を通じて追加機能が提供されます。
Databricks 上のマネージド MLflow の利点
オープンソースの MLflow は、コア データ モデル、API、および SDK を提供します。つまり、データとワークロードは常に移植可能です。
Databricks 上のマネージド MLflow には次の機能が追加されます。
- Databricksプラットフォーム、レイクハウス、 Unity Catalogとの統合による エンタープライズ グレードのガバナンスとセキュリティ 。 AI および ML のデータ、ツール、エージェント、モデル、その他の資産は、他のデータやワークロードと同じプラットフォームで管理および使用できます。
- 本番運用対応のスケーラブルなサーバーで ホスティングするフルマネージド
- より広範なMosaic AIプラットフォームとの 開発および本番運用のための統合
利点の詳細については、 Managed MLflow 製品ページを参照してください。技術的な詳細については、このページの残りの部分を参照してください。
データは常にあなたのものです - コア データ モデルとAPIs完全にオープンソースです。 MLflow データをどこにでもエクスポートして使用できます。
Databricksの追加機能
このセクションでは、より広範な Databricks プラットフォームとの統合を通じてマネージド MLflow で有効になる重要な機能の一覧を示します。MLflow for GenAI のすべての機能の概要については、 MLflow 3 for GenAIおよびオープンソースの GenAI ドキュメントを参照してください。
エンタープライズグレードのガバナンスとセキュリティ
-
Unity Catalogによるエンタープライズ ガバナンス : モデル、特徴量テーブル、ベクター インデックス、ツールなどは、 Unity Catalogの下で一元的に管理されます。 エージェントを展開する場合、認証パススルーとユーザー代理認証の両方を使用して、エージェント、データ、およびツールへのアクセスの認証を正確に制御できます。
-
レイクハウス データ統合 : AI/BI Genie spacesとダッシュボード、 Databricks SQLを活用して、 MLflowエクスペリメントからのログとトレースを分析します。
-
セキュリティと管理 : MLflow のアクセス許可は、より広範な Databricks プラットフォームと同じガバナンス パターンに従います。
- 体験などのワークスペース オブジェクトは、ワークスペースの権限に従います。
- 登録されたモデルなどのUnity Catalogオブジェクトは、 Unity Catalog権限に従います。
- UI および API の認証とアクセスは、 Databricks プラットフォームと REST API と一致します。
-
監査 :システムテーブルは、管理されたMLflowの使用状況と監査ログを提供します。
本番運用対応サーバーでのフルマネージドのホスティング
- フルマネージド : Databricks 、スケーラビリティと本番運用を考慮して設計された自動更新を備えたMLflowサーバーを提供します。 詳細については、 「リソース制限」を参照してください。
- 信頼できるプラットフォーム : Managed MLflow は、世界中の何千もの顧客によって使用されています。
開発と本番運用のための統合
AI と ML の開発は、次のような統合によって効率化されます。
- ノートブックの統合 : DatabricksノートブックはMLflowサーバーに自動的に接続され、結果の追跡と共有にノートブック エクスペリメントとワークスペース エクスペリメントの両方を使用できます。 Databricks ノートブックは、MLflow トラッキングの自動ログ記録をサポートしています。GenAI の場合、Databricks ノートブックは対話型分析用のインライン トレース UI を表示できます。
- GenAI ヒューマン フィードバック ツール: GenAI 評価の場合、Databricks は、雰囲気チェック用のチャット UI とトレースのラベル付け用の専門家フィードバック UI を含む、ヒューマン フィードバック用のレビュー アプリ を提供します。
本番運用AIとML 、次のような統合によって促進されます。
- CI/CDのInfrastructure-as-Code : Databricksアセット バンドルとMLOpsスタックを使用して、 MLflowエクスペリメント、モデルなどを管理します。
- CI/CDを使用したモデルのデプロイメント : MLflow 3 デプロイメント ジョブDatabricks Workflows Unity Catalogと統合して、 MLモデルの段階的なデプロイメントを自動化します。
- Feature Store統合 : Databricks Feature Store + MLflow統合により、特徴量テーブルを使用するMLモデルのデプロイがより簡単になります。
- GenAI 本番運用モニタリング : Databricks 、 LLMジャッジとスコアラーを使用して本番運用トラフィックのサンプルを継続的に評価する本番運用モニタリング サービスを提供します。 これは、 Unity Catalogテーブルへのトレースの保存を含む、本番運用規模のトレース取り込みによって強化されています。
オープンソーステレメトリ収集はMLflow 3.2.0で導入されました。Databricks ではデフォルトで無効になっています。詳細については、 MLflow 使用状況追跡ドキュメントを参照してください。
次のステップ
Databricks で MLflow を使い始めましょう:
- Databricksで管理されるMLflowを使用するには、無料トライアルDatabricksアカウントを作成します
- チュートリアル: 開発環境を MLflow に接続する
- MLflow 3 入門: GenAI 向け
- モデル用のMLflow 3を使い始める
関連参考資料:
- GenAI ドキュメントのオープンソースMLflow
- Databricks REST API (MLflow API を含む)
- MLflow操作を含むDatabricks SDK