Fonctionnalités de l’extension Declarative Automation Bundles

L'extension Databricks pour Visual Studio Code fournit des fonctionnalités supplémentaires dans Visual Studio Code qui vous permettent de définir, de déployer et d'exécuter facilement des bundles d'automatisation déclaratifs pour appliquer les meilleures pratiques CI/CD à vos Lakeflow Jobs, LakeFlow Pipelines et piles MLOps. Consultez Que sont les Declarative Automation Bundles ?

Pour installer l'extension Databricks pour Visual Studio Code, consultez Installer l'extension Databricks pour Visual Studio Code.

Prise en charge de Declarative Automation Bundles dans les projets

L'extension Databricks pour Visual Studio Code ajoute les fonctionnalités suivantes à vos projets Declarative Automation Bundles :

• Authentification et configuration faciles de vos bundles d'automatisation déclarative via l'interface utilisateur de Visual Studio Code, y compris la sélection de profil AuthType . Voir Configurer l'autorisation pour l'extension Databricks pour Visual Studio Code.
• Un sélecteur de cible dans le panneau d'extension Databricks pour passer rapidement d'un environnement cible de bundle à un autre. Consultez Changer le Workspace de déploiement cible.
• L'option **Remplacement du cluster Jobs dans le bundle** dans le panneau d'extension permet une dérogation facile du cluster.
• Une vue Explorateur de ressources de bundles , qui vous permet de parcourir vos ressources de bundle à l'aide de l'interface utilisateur de Visual Studio Code, de déployer les ressources de votre Databricks Asset Bundle local sur votre workspace Databricks distant en un seul clic, et d'accéder directement à vos ressources déployées dans votre workspace depuis Visual Studio Code. Voir Bundle Resource Explorer.
• Une vue des variables de bundle , qui vous permet de parcourir et de modifier vos variables de bundle à l'aide de l'interface utilisateur de Visual Studio Code. Consulter les variables de bundle.
• Vues du système de fichiers du Workspace et d' Unity Catalog de votre workspace Databricks. ConsultezWorkspace File System et Unity Catalog.

Explorateur de ressources de bundle

La vue Explorateur de ressources du bundle dans l'extension Databricks pour Visual Studio Code utilise les définitions de ressources dans la configuration du bundle du projet pour afficher les Ressources, y compris les datasets de pipeline et leurs schémas. Il vous permet également de déployer et d'exécuter des Ressources, de valider et d'effectuer des mises à jour partielles de pipelines, d'afficher les événements d'exécution et les diagnostics de pipeline, et de naviguer vers les Ressources de votre Workspace Databricks distant. Pour des information sur les ressources de configuration de bundle, voir Ressources.

Par exemple, étant donnée une définition de Job simple :

YAML

resources:
  jobs:
    my-notebook-job:
      name: 'My Notebook Job'
      tasks:
        - task_key: notebook-task
          existing_cluster_id: 1234-567890-abcde123
          notebook_task:
            notebook_path: notebooks/my-notebook.py

La vue **Explorateur de ressources de bundle** dans l'extension affiche la ressource de Job du Notebook :

Déployer et exécuter un Job

Pour déployer le bundle, cliquez sur l'icône du cloud ( Déployer le bundle ).

Pour exécuter le job, dans la vue Bundle Resource Explorer , sélectionnez le nom du job, qui est My Notebook Job dans cet exemple. Cliquez ensuite sur l'icône de lecture ( Déployer le bundle et exécuter la ressource ).

Pour afficher le Job en cours d'exécution, dans la vue Bundle Resource Explorer , développez le nom du Job, cliquez sur Statut d'exécution , puis cliquez sur l'icône de Link ( Ouvrir le Link en externe ).

Valider et diagnostiquer les problèmes de pipeline

Pour un pipeline, vous pouvez trigger la validation et une mise à jour partielle en sélectionnant le pipeline, puis l'icône de la coche ( Déployer le bundle et valider le pipeline ). Les événements de l'exécution sont affichés et les échecs peuvent être diagnostiqués dans le panneau PROBLÈMES de Visual Studio Code.

Variables de bundle

La vue Bundle Variables View de l'extension Databricks pour Visual Studio Code affiche toutes les variables personnalisées et les paramètres associés qui sont définis dans la configuration de votre bundle. Vous pouvez également définir des variables directement à l'aide de la **vue Variables de bundles**. Ces valeurs remplacent celles définies dans les fichiers de configuration du bundle. Pour des informations sur les variables personnalisées, consultez Variables personnalisées.

Par exemple, la vue Bundle Variables View de l'extension afficherait les éléments suivants :

Pour la variable my_custom_var définie dans cette configuration de bundle :

YAML

variables:
  my_custom_var:
    description: 'Max workers'
    default: '4'

resources:
  jobs:
    my_job:
      name: my_job

      tasks:
        - task_key: notebook_task
          job_cluster_key: job_cluster
          notebook_task:
            notebook_path: ../src/notebook.ipynb

      job_clusters:
        - job_cluster_key: job_cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: i3.xlarge
            autoscale:
              min_workers: 1
              max_workers: ${var.my_custom_var}

Système de fichiers du Workspace

La vue **Workspace File System** du volet d'extension Databricks pour Visual Studio Code vous permet d'afficher et d'ouvrir vos fichiers de workspace Databricks directement dans Visual Studio Code ou Cursor. Cliquez sur un notebook pour l'ouvrir dans Databricks. Vous pouvez également créer des fichiers ou des dossiers, ou upload des fichiers vers votre workspace depuis l'EDI à l'aide des commandes du volet d'extension.

Unity Catalog

La vue Unity Catalog du volet d’extension Databricks pour Visual Studio Code affiche vos catalogues Databricks. Utilisez les contrôles de cette vue d'extension pour ouvrir un catalogue, un schéma ou un autre asset de données dans Databricks.