Recommandations de sélection de compute
Choisissez un type de compute pour vos notebooks, jobs, pipelines ou charges de travail SQL dans Databricks. Les ressources de compute que vous pouvez choisir ou créer dépendent de vos autorisations.
Pour obtenir des conseils sur la configuration des ressources de compute classiques, consultez les bonnes pratiques de configuration de compute classique.
Choisissez un compute pour vos notebooks interactifs
Type de compute | Quand utiliser |
|---|---|
Compute serverless | Généralement recommandé. Offre un start-up plus rapide, une mise à l'échelle automatique et des coûts réduits. |
Serverless SQL Warehouse | Pour l'analytique et le reporting basés sur SQL. Optimisé pour la performance des query SQL. |
Compute tout usage classique | Lorsque vous avez besoin des APIs RDD ou du support du langage R. |
Pour en savoir plus sur le compute Notebook, consultez les Ressources de compute Notebook.
Choisissez le compute pour vos jobs
Lorsque vous configurez un Job, sélectionnez une Ressource de compute pour chaque tâche.
Type de compute | Quand utiliser |
|---|---|
Compute serverless | Recommandé pour la plupart des charges de travail automatisées. Databricks gère l'infrastructure et la mise à l'échelle. Choisissez un mode de performance basé sur les exigences d'exécution de la charge de travail et de fraîcheur des données. |
SQL Warehouse | Pour les tâches SQL. Utilisez un type de warehouse qui correspond à vos besoins en latence et en coûts. |
Calcul compute pour les jobs classiques | Pour les jobs non-SQL qui nécessitent des paramètres de cluster personnalisés non disponibles en Serverless. |
Compute tout usage classique | Évitez généralement. Non optimisé pour les charges de travail automatisées. |
Pour consulter un tableau des types de compute recommandés pour chaque type de tâche, voir Compute recommandé pour chaque tâche.
Pour les batch jobs programmés sur du compute serverless, Databricks recommande d’évaluer le mode standard pour un coût inférieur lorsque des exécutions représentatives répondent à vos exigences d’achèvement et de fraîcheur des données. Utilisez le mode optimisé pour la performance pour obtenir un retour rapide pendant le développement ou lorsque le mode standard ne peut pas répondre à vos exigences de timing. Les nouveaux Jobs Serverless utilisent par default le mode optimisé pour la performance ; vous devez donc sélectionner explicitement le mode standard. Consultez Passer un job en mode standard.
Pour le travail automatisé sur le compute classique à usage général, examinez la compatibilité Serverless et créez un Job qui utilise un compute Serverless.
Choisissez compute pour les pipelines
Lors de la configuration d'un pipeline, utilisez soit un compute serverless, soit un pipeline classique.
Type de compute | Quand utiliser |
|---|---|
Compute serverless | Recommandé pour la plupart des charges de travail automatisées. Databricks gère l'infrastructure et la mise à l'échelle. Choisissez un mode de performance basé sur les exigences d'exécution de la charge de travail et de fraîcheur des données. |
Compute de pipeline classique | Lorsque vous avez besoin d’une fonctionnalité non prise en charge dans serverless ou lorsque vous travaillez avec le Hive metastore hérité. |
Choisissez un type de SQL warehouse pour vos workloads SQL
Il existe trois types de SQL Warehouse parmi lesquels vous pouvez choisir :
Type de warehouse | Quand utiliser |
|---|---|
Serverless SQL Warehouse | Recommandé pour la BI, l’ETL et l’analyse exploratoire. Startup généralement de 2 à 6 secondes et monte en charge rapidement. |
SQL warehouse Pro | Utiliser lorsque le serverless n'est pas disponible ou que vous avez besoin d'une mise en réseau personnalisée (par exemple, fédération ou hybride). |
SQL Warehouse classique | Performance de niveau d'entrée. Utilisez pour une exploration interactive de base lorsque le mode serverless ou pro ne sont pas des options. |
Pour plus de considérations sur le choix d'un type de SQL Warehouse, consultez Types de SQL Warehouse.