Fonctionnalités de bundle et d'explorateur

L’extension IDE Databricks fournit des fonctionnalités supplémentaires dans Visual Studio Code qui vous permettent de définir, déployer et exécuter des Declarative Automation Bundles, ainsi que d’explorer les fichiers du workspace et les catalogues Unity Catalog.

Pour installer l’extension IDE Databricks, consultez Installer l’extension IDE Databricks.

Prise en charge de Declarative Automation Bundles dans les projets

L’extension IDE Databricks ajoute les fonctionnalités suivantes pour vos projets Declarative Automation Bundles :

• Authentification et configuration faciles de vos Declarative Automation Bundles via l'interface utilisateur de Visual Studio Code, y compris la sélection du profil AuthType . Consultez Configurer l'autorisation pour l'extension IDE Databricks.
• Un sélecteur Target dans l'extension Databricks pour basculer rapidement entre les environnements cibles de bundle. Consultez Changer le workspace de déploiement cible.
• L'option Override Jobs cluster in bundle (Remplacer le cluster de jobs dans le bundle) dans l'extension pour permettre un remplacement facile du cluster.
• Une vue Explorateur de ressources de bundles , qui vous permet de parcourir vos ressources de bundle à l'aide de l'interface utilisateur de Visual Studio Code, de déployer les ressources de votre Databricks Asset Bundle local sur votre workspace Databricks distant en un seul clic, et d'accéder directement à vos ressources déployées dans votre workspace depuis Visual Studio Code. Voir Bundle Resource Explorer.
• Une vue des variables de bundle , qui vous permet de parcourir et de modifier vos variables de bundle à l'aide de l'interface utilisateur de Visual Studio Code. Consulter les variables de bundle.

Explorateur de ressources de bundle

La vue Bundle Resource Explorer dans l’extension IDE Databricks utilise les définitions de ressources dans la configuration de bundle du projet pour afficher les ressources, y compris les datasets de pipeline et leurs schémas. Elle vous permet également de déployer et d’exécuter des ressources, de valider et d’effectuer des mises à jour partielles de pipelines, d’afficher les événements et diagnostics d’exécution de pipeline, et de naviguer vers les ressources de votre workspace Databricks distant. Pour plus d’informations sur les ressources de configuration de bundle, voir Ressources.

Par exemple, étant donnée une définition de Job simple :

YAML

resources:
  jobs:
    my-notebook-job:
      name: 'My Notebook Job'
      tasks:
        - task_key: notebook-task
          existing_cluster_id: 1234-567890-abcde123
          notebook_task:
            notebook_path: notebooks/my-notebook.py

La vue **Explorateur de ressources de bundle** dans l'extension affiche la ressource de Job du Notebook :

Déployer et exécuter un Job

Pour déployer le bundle, cliquez sur l'icône du cloud ( Déployer le bundle ).

Pour exécuter le job, dans la vue Bundle Resource Explorer , sélectionnez le nom du job, qui est My Notebook Job dans cet exemple. Cliquez ensuite sur l'icône de lecture ( Déployer le bundle et exécuter la ressource ).

Pour afficher le Job en cours d'exécution, dans la vue Bundle Resource Explorer , développez le nom du Job, cliquez sur Statut d'exécution , puis cliquez sur l'icône de Link ( Ouvrir le Link en externe ).

Valider et diagnostiquer les problèmes de pipeline

Pour un pipeline, vous pouvez trigger la validation et une mise à jour partielle en sélectionnant le pipeline, puis l'icône de la coche ( Déployer le bundle et valider le pipeline ). Les événements de l'exécution sont affichés et les échecs peuvent être diagnostiqués dans le panneau PROBLÈMES de Visual Studio Code.

Variables de bundle

La vue Bundle Variables View dans l'extension IDE Databricks affiche toutes les variables personnalisées et les paramètres associés définis dans votre configuration de bundle. Vous pouvez également définir des variables directement à l'aide de la Bundles Variables View . Ces valeurs remplacent celles définies dans les fichiers de configuration du bundle. Pour plus d'information sur les variables personnalisées, consultez Custom variables.

Par exemple, la vue Bundle Variables View de l'extension afficherait les éléments suivants :

Pour la variable my_custom_var définie dans cette configuration de bundle :

YAML

variables:
  my_custom_var:
    description: 'Max workers'
    default: '4'

resources:
  jobs:
    my_job:
      name: my_job

      tasks:
        - task_key: notebook_task
          job_cluster_key: job_cluster
          notebook_task:
            notebook_path: ../src/notebook.ipynb

      job_clusters:
        - job_cluster_key: job_cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: i3.xlarge
            autoscale:
              min_workers: 1
              max_workers: ${var.my_custom_var}

Système de fichiers du Workspace

La vue Workspace File System du volet de l’extension IDE Databricks vous permet d’afficher et d’ouvrir vos fichiers de workspace Databricks directement dans Visual Studio Code ou Cursor. Cliquez sur un notebook pour l’ouvrir dans Databricks. Vous pouvez également créer des fichiers ou des dossiers, ou effectuer un upload de fichiers vers votre workspace depuis l’IDE en utilisant les contrôles du volet de l’extension.

Unity Catalog

La vue Unity Catalog du volet d'extension IDE Databricks affiche vos catalogues Databricks. Utilisez les contrôles de cette vue d'extension pour ouvrir un catalogue, un schéma ou un autre actif de données dans Databricks.