Aller au contenu principal

Connectez-vous au compute serverless

Cette page explique comment se connecter et utiliser le compute Serverless pour les Notebooks, les workflows et les Lakeflow Pipelines dans Databricks.

Qu'est-ce que le compute Serverless ?

Le compute Serverless est un service géré par Databricks qui permet aux utilisateurs de se connecter rapidement à des ressources de calcul à la demande pour les notebooks, les workflows et les LakeFlow Pipelines.

Lorsque vous choisissez d'utiliser le compute Serverless, vous pouvez exécuter des charges de travail sans provisionnement de ressources de compute dans votre compte cloud. Au lieu de cela, Databricks alloue et gère automatiquement les ressources de compute nécessaires. Cela accélère les temps de start-up et de mise à l'échelle, minimise les temps d'inactivité et réduit le besoin de gérer les ressources de compute.

Les workloads Serverless sont protégées par plusieurs couches de sécurité et sont conçues pour être prêtes à l'emploi en entreprise. Pour plus d'informations, consultez la sécurité Serverless de Databricks.

remarque

Le Serverless compute est disponible par default dans la plupart des workspaces et ne nécessite aucune activation. Les Workspace pour lesquels Unity Catalog est activé ont automatiquement accès au compute serverless.

D'autres fonctionnalités Databricks, telles que les SQL Warehouses Serverless, le service de modèle et les fonctionnalités d'IA, utilisent l'infrastructure Serverless de manière indépendante et ont leurs propres chemins de configuration. Cette page couvre uniquement le compute Serverless pour les Notebooks, les workflows et les LakeFlow Pipelines.

Utilisez le compute serverless pour vos charges de travail

Utilisez les pages suivantes pour apprendre à configurer les charges de travail pour utiliser le compute serverless :

Autres fonctionnalités qui utilisent une infrastructure serverless

De nombreuses fonctionnalités Databricks s'exécutent sur une infrastructure serverless, mais sont configurées et gérées séparément du compute serverless pour les notebooks, les jobs et les Lakeflow Pipelines. Par exemple :

Exigences du compute serverless

Le compute Serverless est disponible par default dans la plupart des Workspaces. Aucune étape d'activation manuelle n'est requise.

Les Workspaces hérités qui ne sont pas activés pour Unity Catalog n'ont pas accès au compute Serverless. Pour accéder au compute serverless, vous devez effectuer une mise à niveau vers Unity Catalog. Consultez Mettre à niveau un workspace Databricks vers Unity Catalog.

Limitations du compute Serverless

Pour obtenir la liste des limitations, consultez Limitations du compute Serverless.

Questions fréquemment posées (FAQ)

Comment les versions sont-elles déployées ?

Le Serverless compute est un produit sans version , ce qui signifie que Databricks met automatiquement à niveau le runtime du Serverless compute pour prendre en charge les améliorations et les mises à niveau de la plateforme. Tous les utilisateurs reçoivent les mêmes mises à jour, déployées sur une courte période.

Comment déterminer quelle version Serverless j'exécute ?

Les charges de travail Serverless s'exécutent toujours sur la dernière version de runtime. Consultez les notes de version pour la version la plus récente.

Comment estimer les coûts pour le Serverless ?

Databricks recommande d'exécuter et d'évaluer une charge de travail représentative ou spécifique, puis d'analyser la table du système de facturation. Voir la référence de la table système d'utilisation facturable.

Comment analyser la consommation de DBU pour une charge de travail spécifique ?

Pour voir le coût d'une charge de travail spécifique, interrogez la table système system.billing.usage. Consultez Surveiller le coût du compute Serverless pour des exemples de query et pour download notre tableau de bord d'observabilité des coûts.

Y a-t-il un délai entre l'exécution d'un Job ou d'une query et l'apparition des frais sur la table système d'utilisation facturable ?

Oui, il peut y avoir un délai de 24 heures maximum entre l'exécution d'un workload et son utilisation qui sera reflétée dans la table système d'utilisation facturable.

Pourquoi vois-je des enregistrements de facturation pour les jobs serverless alors que je n'ai pas exécuté de workloads serverless ?

Le monitoring de la qualité des données et l'optimisation prédictive s'exécutent sur une infrastructure serverless et sont facturées sous le SKU de jobs serverless. Ces fonctionnalités sont gérées séparément du compute Serverless pour les Notebooks, les workflows et les LakeFlow Pipelines.

Le compute serverless prend-il en charge les dépôts privés ?

Les repository peuvent être privés ou nécessiter une authentification. Pour des raisons de sécurité, une URL pré-signée est requise lors de l'accès aux dépôts authentifiés.

Comment installer des bibliothèques pour vos tâches de Job ?

Databricks recommande d’utiliser des environnements pour installer et gérer les bibliothèques pour vos jobs. Voir Configurer l'environnement pour les tâches de job.

Puis-je me connecter à des sources de données personnalisées ?

Non, seules les sources qui utilisent Lakehouse Federation sont prises en charge. Voir sources de données prises en charge.

Comment fonctionne le réseau du plan de compute serverless ?

Les ressources de compute Serverless s'exécutent dans le plan de compute Serverless, qui est géré par Databricks. Pour plus de détails sur le réseau et l'architecture, consultez Réseau de plan compute Serverless.

Puis-je configurer le Serverless compute pour les Job avec des Declarative Automation Bundles ?

Oui, les Declarative Automation Bundles peuvent être utilisés pour configurer des Job qui utilisent le compute serverless. Consultez Job qui utilise le compute Serverless.

Comment exécuter ma charge de travail Serverless à partir de ma machine de développement locale ou de mon application de données ?

Databricks Connect vous permet de vous connecter à Databricks depuis votre machine locale et d'exécuter des charges de travail sur serverless. See Databricks Connect.