Capacités d'IA générative de Databricks
Databricks fournit une plateforme pour la création, l'évaluation, le déploiement et le monitoring des applications d'IA générative (applications GenAI). Elle regroupe une suite d'outils qui relèvent les défis du développement d'applications GenAI de niveau entreprise. Databricks s'intègre aux frameworks open source populaires, ajoutant une gouvernance, une observabilité et des outils opérationnels de niveau entreprise, collectivement connus sous le nom de LLMOps.
Cette page répertorie les principales fonctionnalités de GenAI, organisées par étapes de workflow GenAI.
Query GenAI
Databricks met à disposition des modèles GenAI de pointe de fournisseurs de modèles de premier plan, facilement accessibles via les modèles de base hébergés par Databricks. Vous pouvez également interroger des modèles de fournisseurs externes et vos modèles personnalisés. Tous ces modèles peuvent être interrogés via des interfaces UI, API/SDK et SQL. Cette option vous permet d'utiliser la GenAI pour tous les cas d'usage : chat général, agents complexes, pipelines de données automatisés, analytique interactive et plus encore.
Méthode | Fonctionnalités |
|---|---|
Interface utilisateur |
|
API et SDK |
|
SQL |
|
Développer GenAI
Databricks fournit un ensemble flexible d'outils pour créer des applications, agents, outils et modèles GenAI. Celles-ci incluent des frameworks basés sur l'interface utilisateur et le code, qui peuvent tous optimiser les systèmes GenAI en fonction de vos données. Vous pouvez tirer parti de n'importe quel framework GenAI open source et intégrer des outils personnalisés et des serveurs MCP.
Catégorie | Fonctionnalités |
|---|---|
Applications |
|
Agents |
|
Outils |
|
Modèles et prompts |
|
Préparez et servez les données
Databricks simplifie les données pour l'IA en unifiant la gouvernance des données traditionnelles et des charges de travail d'IA. Avec toutes les données gérées sous Unity Catalog avec des contrôles d'accès précis, il est facile d'ajuster les limites de l'ingénierie des données et de l'IA pour s'adapter à votre organisation. Les données peuvent être préparées pour la GenAI à l’aide de n’importe quels outils de data engineering, tels que les LakeFlow Pipelines. Une table dans Unity Catalog peut être servie pour la GenAI, en utilisant un index vectoriel pour les données non structurées ou une table de fonctionnalités pour les données structurées.
Type de données | Fonctionnalités |
|---|---|
Non structuré (texte, images, etc.) |
|
Structuré (tables) |
|
Déployer et servir GenAI
Databricks fournit des systèmes de diffusion prêts pour la production pour les applications, agents et modèles GenAI, pris en charge par les Databricks Apps. Ces déploiements évolutifs peuvent être utilisés pour le service en temps réel et l'inférence par batch. Tous les déploiements s'intègrent aux outils d'observabilité et d'évaluation et monitoring.
Framework de développement | Déploiement et mise en service |
|---|---|
Les applications et les agents peuvent être déployés à l'aide de Databricks Apps, qui offre un déploiement basé sur l'interface utilisateur et l'API. | |
L'Assistant de Connaissances automatise le déploiement de votre agent vers des endpoints de Model Serving. |
Tracez, évaluez et supervisez GenAI
Databricks fournit MLflow géré pour l’observabilité, l’évaluation et le monitoring GenAI. Les APIs open source rendent l’intégration et la portabilité simples, tandis que le service géré fournit des Endpoints prêts pour la production. MLflow géré par Databricks peut être utilisé pour les applications et les agents GenAI hébergés sur Databricks et ailleurs.
Catégorie | Fonctionnalités |
|---|---|
Traçage et observabilité |
|
Évaluation |
|
Surveillance |
|
Feedback humain |
|
LLMOps
Databricks offre une suite complète d'outils pour les Opérations GenAI, ou « LLMOps ». La gouvernance unifiée des données et des assets d'IA sous Unity Catalog simplifie et sécurise le déploiement de l'IA au sein d'une organisation. AI Gateway simplifie la gestion des modèles provenant de nombreux fournisseurs de modèles GenAI. MLflow et les offres groupées d'automatisation déclarative offrent la gestion de versions et l'Infrastructure-as-Code pour la mise en œuvre de processus LLMOps robustes.
Catégorie | Fonctionnalités |
|---|---|
Gouvernance des assets de données et d'IA | Unity Catalog fournit une gouvernance unifiée pour les données et les assets d’IA. Les assets de données incluent les fichiers, les tables, les index vectoriels et les Magasin de fonctionnalités. Les assets d'IA incluent les modèles, les outils et les connexions pour les serveurs MCP et d'autres APIs. |
Gouvernance des Endpoint de modèle | AI Gateway offre une gouvernance et un monitoring centralisés pour les Endpoint de modèle GenAI. |
Gestion de versions d'invite | MLflow fournit un registre de prompts, ainsi que le suivi des expérimentations. |
Infrastructure en tant que code | MLOps Stacks, qui est construit sur la base de Databricks Asset Bundles, fournit une gestion et un déploiement de l'infrastructure et des workflows basés sur le code. |
Support open source
Databricks offre un support complet pour l'écosystème open source en pleine croissance pour la GenAI.
Pour le développement, vous pouvez utiliser n'importe quel framework open source et le déployer à l'aide de Databricks Apps. Les services Databricks peuvent être utilisés par des outils et applications GenAI tiers en utilisant des serveurs MCP ou l'API REST ou des SDK.
Pour l’observabilité, l’évaluation et le monitoring, MLflow Tracing fournit une journalisation automatique native pour plus de 20 frameworks GenAI open source, et vous pouvez ajouter un traçage personnalisé à tout autre framework ou code. Les traces peuvent ensuite être utilisées avec MLflow Evaluation et production monitoring. Les traces suivent les spécifications de trace OpenTelemetry et peuvent être exportées vers des outils tiers.