Aller au contenu principal

compute

Le compute Databricks fait référence à la sélection de Ressources de calcul disponibles sur Databricks pour exécuter vos workloads de Data Engineering, de Data Science et d'analytique. Choisissez entre le compute Serverless pour une mise à l'échelle à la demande, le compute classique pour des Ressources personnalisables, ou les SQL Warehouse pour une analytique optimisée.

Pour plus de détails sur les Tarifs pour tous les types de compute, consultez la page des Tarifs Databricks.

Compute Serverless

Compute à la demande, géré automatiquement, qui s'adapte en fonction des exigences de votre charge de travail.

    • Serverless compute pour les jobs
    • Exécutez des Lakeflow Jobs sans configurer ni déployer d'infrastructure. Provisionne et monte en charge automatiquement les ressources de compute.
    • Pipelines Serverless
    • Exécutez les LakeFlow Pipelines sans configurer ni déployer d'infrastructure. Provisionne et monte en charge automatiquement les ressources de compute.

Compute classique

Ressources de compute provisionnées que vous créez, configurez et gérez pour vos charges de travail.

    • Configurer le compute
    • Créez et configurez du compute pour l'analyse de données interactive dans des Notebooks ou des workflows automatisés avec Lakeflow Jobs.
    • Compute standard
    • compute multi-utilisateur avec Ressources partagées pour une collaboration rentable. Lakeguard offre une isolation sécurisée des utilisateurs.
    • Compute dédié
    • Ressource de compute attribuée à un utilisateur ou à un groupe unique.
    • Pools d'instances
    • Instances préconfigurées qui réduisent le temps de Startup du compute et offrent des économies pour les charges de travail fréquentes.

SQL Warehouse

Ressources de compute optimisées pour des cas d'utilisation spécifiques et des fonctionnalités avancées. Les SQL Warehouses peuvent être configurés comme serverless ou classiques.

    • SQL Warehouse
    • Compute optimisé pour les requêtes SQL, l'analytique et les charges de travail Business Intelligence avec les options Serverless ou Classic.
    • Types de SQL Warehouse
    • Comprendre les différences entre les options de SQL warehouse serverless et classique pour choisir le type adapté à vos charges de travail.

Sujets supplémentaires

    • Qu'est-ce que Photon ?
    • Moteur de query haute performance qui accélère les charges de travail SQL et offre un traitement des données plus rapide.
    • Qu'est-ce que Lakeguard ?
    • Cadre de sécurité qui assure la gouvernance des données et le contrôle d'accès pour les ressources de compute.

Pour des informations sur l'utilisation du compute avec la ligne de commande ou les APIs, consultez les Databricks CLI et la référence de l'API REST Databricks.

Ports réservés

Certains ports du nœud Driver sont réservés aux services Databricks internes. Pour éviter les conflits, ne liez pas les services aux ports suivants :

  • 1023
  • 6059
  • 6060
  • 6061
  • 6062 : Occupé par ipywidgets par default. Vous pouvez modifier le port si nécessaire. Voir ipywidgets.
  • 7071
  • 7077
  • 10 000
  • 15 001
  • 15002
  • 36 423
  • 38 841
  • 39 909
  • 40 000
  • 40 001
  • 41 063