MLflow open source vs. managé sur Databricks

Cette page a pour but d’aider les utilisateurs de MLflow open source à se familiariser avec l’utilisation de MLflow sur Databricks. MLflow géré par Databricks utilise les mêmes APIs, mais fournit des capacités supplémentaires grâce à des intégrations avec la plateforme Databricks dans son ensemble.

Avantages de MLflow géré sur Databricks

MLflow open source fournit le modèle de données de base, l'API et le SDK. Cela signifie que vos données et vos charges de travail sont toujours portables.

Managed MLflow sur Databricks ajoute :

• Gouvernance et sécurité de niveau entreprise grâce à l'intégration avec la plateforme Databricks, le Lakehouse et Unity Catalog. Vos données d’IA et de ML, outils, agents, modèles et autres assets peuvent être gouvernés et utilisés sur la même plateforme que le reste de vos données et charges de travail.
• Hébergement entièrement managé sur des serveurs évolutifs et prêts pour la production
• Intégrations pour le développement et la production avec l'ensemble de la plateforme Databricks AI

Consultez la page produit Managed MLflow pour en savoir plus sur les avantages, et pour connaître les détails techniques de cette page.

astuce

Vos données vous appartiennent toujours – Le modèle de données central et les APIs sont entièrement open source. Vous pouvez exporter et utiliser vos données MLflow partout.

Fonctionnalités supplémentaires sur Databricks

Cette section répertorie les fonctionnalités importantes activées sur MLflow administré grâce aux intégrations avec la plateforme Databricks plus large. Pour des aperçus de toutes les capacités de MLflow pour GenAI, consultez MLflow 3 pour GenAI et la documentation GenAI open source.

Gouvernance et sécurité de niveau entreprise

• Gouvernance d’entreprise avec Unity Catalog : les modèles, les tables de fonctionnalités, les index vectoriels, les outils et d’autres éléments sont régis de manière centralisée sous Unity Catalog. Lors du déploiement d'agents, l'authentification pour l'accès aux agents, aux données et aux outils peut être contrôlée avec précision en utilisant à la fois l'authentification passthrough et l'authentification au nom de l'utilisateur.

• Intégration de données lakehouse : exploitez les agents et tableaux de bord Genie AI/BI et Databricks SQL pour analyser les logs et les traces des experimentations MLflow.

• Sécurité et gestion : les autorisations MLflow suivent les mêmes modèles de gouvernance que l'ensemble de la plateforme Databricks :

  • Les objets Workspace tels que les Experimentations suivent les autorisations du Workspace.
  • Les objets Unity Catalog tels que les modèles enregistrés respectent les privilèges d'Unity Catalog.
  • L'authentification et l'accès de l'interface utilisateur et de l'API correspondent à la plateforme Databricks et à l'API REST.

• Audit : Les tables système fournissent des Logs d’utilisation et d’audit pour MLflow géré.

Hébergement entièrement managé sur des serveurs prêts pour la production

• **Entièrement managé** : Databricks fournit des serveurs MLflow avec des mises à jour automatiques, conçus pour la scalabilité et la production. Pour plus de détails, consultez Limites des Ressources.
• Plateforme de confiance : Managed MLflow est utilisé par des milliers de clients dans le monde entier.

Intégrations pour le développement et la production

Le développement de l'IA et du ML est rationalisé par des intégrations telles que :

• Intégration du Notebook : les Notebooks Databricks sont connectés automatiquement au serveur MLflow et peuvent utiliser à la fois les Experimentation de Notebook et les Experimentation de Workspace pour le suivi et le partage des résultats. Les Notebooks Databricks prennent en charge le log automatique pour le suivi MLflow. Pour GenAI, les Notebooks Databricks peuvent afficher une interface utilisateur de traçage en ligne pour une analyse interactive.
• Outils de feedback humain GenAI : Pour l'évaluation GenAI, Databricks fournit une application d'examen pour le feedback humain qui comprend une interface utilisateur de chat pour les « vibe checks » et une interface utilisateur de feedback d'experts pour l'étiquetage des traces.

L'IA et le ML en production sont facilités par des intégrations telles que :

• Infrastructure-as-Code pour le CI/CD : gérez les experimentation MLflow, les modèles et plus encore avec les Declarative Automation Bundles et les MLOps Stacks.
• Déploiement de modèles à l'aide de CI/CD : les jobs de déploiement MLflow 3 intègrent Databricks Workflows avec Unity Catalog pour automatiser le déploiement échelonné des modèles ML.
• Intégration du Magasin de fonctionnalités : Intégration Databricks Magasin de fonctionnalités + MLflow offre un déploiement plus simple pour les modèles ML qui utilisent des tables de fonctionnalités.
• GenAI production monitoring : Databricks fournit un service de monitoring de production qui évalue en continu un échantillon de votre trafic de production à l'aide de juges et d'évaluateurs LLM. Ceci est rendu possible par une ingestion de traces à l'échelle de la production qui inclut le stockage des traces dans les tables Unity Catalog.

remarque

La collecte de télémétrie open source a été introduite dans MLflow 3.2.0, et est désactivé sur Databricks par default. Pour plus de détails, consultez la documentation de suivi de l'utilisation de MLflow.

Ressources supplémentaires

Démarrez avec MLflow sur Databricks :

• Créez un Essai gratuit compte Databricks pour utiliser MLflow géré par Databricks.
• Tutoriel : Connecter votre environnement de développement à MLflow
• Commencez : MLflow 3 pour GenAI
• Prendre en main MLflow 3 pour les modèles

Matériel de référence connexe :

• Documentation MLflow open source pour GenAI
• API REST Databricks, qui inclut l’API MLflow
• SDK Databricks, qui incluent les opérations MLflow