Aller au contenu principal
Dernière mise à jour le

Utilisez dbx pour synchroniser les fichiers locaux avec les Workspace à distance en temps réel

important

Cette documentation a été retirée et pourrait ne pas être mise à jour.

Databricks recommande qu’au lieu de dbx sync, vous utilisiez les versions 0.205 ou supérieures du CLI Databricks, qui inclut des fonctionnalités similaires à dbx sync via la commande databricks sync.

L'extension Databricks pour Visual Studio Code inclut également des fonctionnalités similaires à dbx sync intégrées à l'IDE Visual Studio Code. Notez que dbx sync peut synchroniser les modifications de fichiers d'une machine de développement locale vers DBFS, les emplacements de workspace et les dossiers Git Databricks de vos workspaces Databricks. L'extension Databricks pour Visual Studio Code prend en charge la synchronisation des modifications de fichiers uniquement avec les fichiers utilisateur (/Users) du workspace et les dossiers Git Databricks (/Repos).

remarque

Cet article couvre dbx par Databricks Labs, qui est fourni tel quel et n'est pas pris en charge par Databricks via les canaux d'assistance technique des clients. Les questions et les demandes de fonctionnalités peuvent être transmises via la page Problèmes du dépôt databrickslabs/dbx sur GitHub.

Vous pouvez effectuer une synchronisation en temps réel des modifications apportées aux fichiers sur votre machine de développement locale avec leurs fichiers correspondants dans vos Workspaces Databricks en utilisant dbx par Databricks Labs. Ces fichiers de workspace peuvent se trouver dans DBFS ou dans les dossiers Git Databricks.

La synchronisation de fichiers en temps réel avec dbx (également connu sous le nom de dbx sync) est utile dans les scénarios de développement de code rapide. Par exemple, vous pouvez utiliser un environnement de développement intégré (IDE) local pour des fonctionnalités de productivité telles que la coloration syntaxique, la complétion de code intelligente, le linting de code, ainsi que le test et le debugging. Vous pouvez ensuite accéder immédiatement à votre Workspace et exécuter votre code mis à jour.

Vous pouvez utiliser dbx sync seul, avec des Jobs automatisés, ou avec un IDE.

dbx sync workflows de développement​

Il existe deux workflows de développement pour dbx sync: l'un avec DBFS et l'autre avec les dossiers Databricks Git.

Le flux de travail de développement typique avec dbx sync et DBFS est :

  1. Identifiez un répertoire local qui contient les fichiers que vous souhaitez synchroniser sur DBFS.
  2. Identifiez le chemin dans DBFS avec lequel vous souhaitez synchroniser votre répertoire local (ou laissez dbx sync créer un chemin DBFS par default pour vous).
  3. Exécutez dbx sync dbfs pour synchroniser votre répertoire local avec le chemin DBFS. dbx sync commence à surveiller votre répertoire local pour toute modification de fichier.
  4. Apportez des modifications aux fichiers dans votre répertoire local selon les besoins. dbx sync applique ces changements aux fichiers correspondants dans le chemin DBFS en temps réel.

Le workflow de développement typique avec dbx sync et les dossiers Git Databricks est :

  1. Créez un repository avec un fournisseur Git pris en charge par les dossiers Git de Databricks, si vous n'avez pas déjà de repository disponible.
  2. Clonez votre dépôt dans votre Workspace Databricks.
  3. Clonez votre référentiel sur votre machine de développement locale.
  4. Exécutez dbx sync repo pour associer votre dépôt cloné local au dépôt cloné de votre workspace. dbx sync commence à surveiller votre répertoire local pour toute modification de fichier.
  5. Apportez les modifications nécessaires aux fichiers de votre référentiel cloné local. dbx sync applique ces modifications aux fichiers correspondants dans les dossiers Git Databricks en temps réel.
  6. Poussez périodiquement les fichiers mis à jour du dépôt cloné dans votre Workspace vers votre fournisseur Git, afin que le dépôt reste à jour avec votre fournisseur Git.
important

dbx sync effectue uniquement une synchronisation unidirectionnelle et en temps réel des modifications de fichiers de votre machine de développement locale vers votre Workspace distant. Par conséquent, Databricks ne recommande pas d'initier des changements dans votre Workspace Databricks pour les fichiers surveillés par dbx sync. Si vous devez apporter de telles modifications de fichiers initiées par le Workspace, vous devez également effectuer les opérations suivantes :

  • Pour les modifications de fichiers dans DBFS, apportez manuellement les modifications correspondantes aux fichiers locaux.
  • Pour les modifications de fichier dans les dossiers Git Databricks, envoyez les modifications de fichier de votre Workspace vers votre fournisseur Git. Ensuite, sur votre machine de développement locale, extrayez ces modifications de fichier depuis votre fournisseur Git.

Exigences​

Si vous souhaitez utiliser dbx sync avec les dossiers Git de Databricks, votre workspace Databricks doit remplir la condition suivante :

  • Un clone de votre repository avec votre fournisseur Git, bien que non obligatoire, est suggéré.

Sur votre machine de développement locale, vous devez avoir installé les éléments suivants :

  • Python version 3.8 ou supérieure. Pour vérifier si Python est installé, et pour vérifier la version de Python installée, exécutez python --version dans votre terminal ou PowerShell.

    Bash
    python --version
remarque

Certaines installations de python peuvent vous demander d'utiliser python3 au lieu de python. Si tel est le cas, substituez python par python3 dans cet article.

  • pip. Pour vérifier si pip est installé, et pour vérifier votre version pip installée, exécutez pip --version ou python -m pip --version.

    Bash
    pip --version

    # Or...

    python -m pip --version
remarque

Certaines installations de pip peuvent vous demander d'utiliser pip3 au lieu de pip. Si tel est le cas, substituez pip par pip3 dans cet article.

  • dbx version 0.8.0 ou supérieure. Pour vérifier si dbx est installé et pour vérifier votre version installée de dbx, exécutez dbx --version. Pour installer dbx à partir de l'index de packages Python (PyPI), exécutez pip install dbx ou python -m pip install dbx. (dbx inclut dbx sync.)

    Bash
    # Check whether dbx is installed, and check its version.
    dbx --version

    # Install dbx.
    pip install dbx

    # Or...
    python -m pip install dbx
remarque

Pour plus d'informations sur dbx, consultez dbx by Databricks Labs et la documentation dbx.

  • La CLI Databricks version 0.18 ou antérieure, configurée avec l'authentification. L'ancienne CLI Databricks (CLI Databricks version 0.17) est automatiquement installée lorsque vous installez dbx. Cette authentification peut être configurée sur votre machine de développement locale dans l'un ou les deux emplacements suivants :

    • Dans les variables d'environnement DATABRICKS_HOST et DATABRICKS_TOKEN (depuis la version héritée 0.8.0 du CLI Databricks).
    • Dans un profil de configuration Databricks dans votre fichier .databrickscfg.

    dbx recherche les identifiants d'authentification à ces deux emplacements, respectivement. dbx utilise uniquement le premier ensemble d'identifiants correspondants qu'il trouve.

remarque

Si vous utilisez un fichier .databrickscfg, dbx sync recherche default un profil de configuration nommé DEFAULT dans ce fichier. Pour spécifier un profil différent, utilisez l'option --profile lorsque vous exécutez la commande dbx sync, plus loin dans cet article.

dbx ne prend pas en charge l’utilisation d’un fichier .netrc fichier pour l'authentification.

  • Si vous souhaitez utiliser dbx sync avec les dossiers Databricks Git, un clone local de votre repository avec votre fournisseur Git, bien que non obligatoire, est suggéré. Pour effectuer un clone local, consultez la documentation de votre fournisseur Git.

Utiliser DBFS avec dbx sync​

  1. Depuis le terminal ou PowerShell sur votre machine de développement locale, accédez au répertoire qui contient les fichiers que vous souhaitez synchroniser avec DBFS dans votre Workspace Databricks.

  2. Exécutez la commande dbx sync pour synchroniser votre répertoire local sur DBFS dans votre Workspace, comme suit. (N'oubliez pas le point (.) à la fin, qui représente votre répertoire actuel.)

    Bash
    dbx sync dbfs --source .
astuce

Pour spécifier un autre répertoire source, remplacez le point (.) par un autre chemin.

remarque

Si l'erreur Error: No such command 'sync' apparaît, votre installation de dbx est probablement obsolète. Pour corriger cela, exécutez pip install --upgrade dbx==<version> ou python -m pip install --upgrade dbx==version, où <version> est la dernière version de dbx. Ce numéro de version se trouve sur la page web PyPI de dbx.

Bash
pip install --upgrade dbx==<version>

# Or...
python -m pip install --upgrade dbx==version

  1. dbx sync commence à synchroniser les fichiers de votre répertoire local actuel avec les fichiers du chemin DBFS suivant dans votre Workspace. dbx sync le confirme en affichant Target base path suivi du chemin DBFS, par exemple :

    /tmp/users/<your-Databricks-username>/<local-directory-name>
astuce

Pour spécifier un nom d'utilisateur ou un chemin DBFS différent, spécifiez les options --user et --dest, respectivement, lorsque vous exécutez dbx sync.

  1. Apportez les modifications nécessaires à vos fichiers locaux.
important

Vous devez garder votre terminal ou PowerShell ouvert pour que dbx sync continue de se synchroniser. Si vous fermez votre terminal ou PowerShell, dbx sync cesse de surveiller les modifications de fichiers et arrête la synchronisation. Pour reprendre la synchronisation des modifications de fichiers, répétez cette procédure depuis le début.

  1. Au besoin, vérifiez vos modifications de fichier dans le chemin précédent de DBFS dans votre workspace.

Utiliser les dossiers Git Databricks avec dbx sync​

  1. À partir du terminal ou de PowerShell sur votre machine de développement locale, accédez au répertoire racine qui contient le clone du repository avec votre fournisseur Git.

  2. Dans votre workspace Databricks, identifiez le nom du dossier Git Databricks avec lequel vous souhaitez synchroniser votre dépôt local cloné. Vous pouvez trouver ce nom de dépôt en cliquant sur Dossiers Git dans la barre latérale de votre workspace.

  3. Sur votre machine de développement locale, exécutez la commande dbx sync pour synchroniser votre repository cloné localement avec les dossiers Git Databricks de votre Workspace comme suit, en remplaçant <your-repo-name> par le nom de votre repository dans les dossiers Git Databricks. (N'oubliez pas le point (.) à la fin, qui représente votre répertoire actuel.)

    Bash
    dbx sync repo -d <your-repo-name> --source .
astuce

Pour spécifier un autre répertoire source, remplacez le point (.) par un autre chemin.

remarque

Si l'erreur Error: No such command 'sync' apparaît, votre installation de dbx est probablement obsolète. Pour corriger cela, exécutez pip install --upgrade dbx==<version> ou python -m pip install --upgrade dbx==version, où <version> est la dernière version de dbx. Ce numéro de version se trouve sur la page web PyPI de dbx.

Bash
pip install --upgrade dbx==<version>

# Or...
python -m pip install --upgrade dbx==version

  1. dbx sync commence à synchroniser les fichiers de votre local cloned repository avec les fichiers des dossiers Git Databricks dans votre Workspace. dbx sync le confirme en imprimant Target base path suivi du chemin des dossiers Git Databricks, par exemple :

    /Repos/<your-Databricks-username>/<your-repo-name>
astuce

Pour spécifier un nom d'utilisateur ou un nom de référentiel différent, spécifiez les options --user et --dest-repo, respectivement, lorsque vous exécutez dbx sync.

  1. Apportez les modifications nécessaires à vos fichiers locaux.
important

Vous devez garder votre terminal ou PowerShell ouvert pour que dbx sync continue de se synchroniser. Si vous fermez votre terminal ou PowerShell, dbx sync cesse de surveiller les modifications de fichiers et arrête la synchronisation. Pour reprendre la synchronisation des modifications de fichiers, répétez cette procédure depuis le début.

  1. Si nécessaire, vérifiez les modifications de vos fichiers dans les dossiers Git Databricks de votre Workspace.

Ressources supplémentaires​

Sur cette page