sync commande
L'utilisation de Databricks CLI est soumise à la licence Databricks et à la politique de confidentialité Databricks, y compris toutes les dispositions relatives aux données d'utilisation.
Le groupe de commandes sync au sein de la CLI Databricks permet une synchronisation unidirectionnelle des modifications de code local et de fichiers dans un répertoire sur votre machine de développement locale vers un dossier dans votre Workspace Databricks distant.
syncimpossible de synchroniser les modifications de fichiers d'un dossier d'un workspace Databricks distant vers un répertoire de votre machine de développement locale.syncpeut synchroniser les modifications de fichiers d'une machine de développement locale uniquement vers les fichiers utilisateur du Workspace (/Users) dans votre Databricks Workspace. Il ne peut pas se synchroniser aux fichiers DBFS (dbfs:/). Pour synchroniser les modifications de fichiers d'une machine de développement locale vers DBFS (dbfs:/) dans votre Databricks Workspace, utilisez l'utilitaire dbx sync.
databricks sync
Synchroniser un répertoire local avec un répertoire de Workspace.
databricks sync [flags] SRC DST
Arguments
SRC
Le chemin du répertoire source
DST
Le chemin d’accès au répertoire de destination
Options
--dry-run
Simulez l'exécution de la synchronisation sans apporter de modifications réelles.
--exclude strings
Modèles à exclure de la synchronisation (peut être spécifié plusieurs fois)
--exclude-from string
Fichier contenant les modèles à exclure de la synchronisation (un modèle par ligne)
--full
Effectuer une synchronisation complète (default est incrémentiel)
--include strings
Modèles à inclure dans la synchronisation (peut être spécifié plusieurs fois)
--include-from string
Fichier contenant les modèles à inclure pour la synchronisation (un modèle par ligne)
--interval duration
Intervalle d'interrogation du système de fichiers (pour --watch) (default 1s)
--watch
Surveiller le système de fichiers local pour les modifications
Exemples
Les sections suivantes montrent comment utiliser la commande sync.
Synchroniser de manière incrémentielle les changements de fichiers locaux vers un répertoire distant
Pour effectuer une synchronisation unidirectionnelle, incrémentielle et unique des modifications de fichiers d'un répertoire local vers un dossier dans un Databricks Workspace distant, exécutez la commande sync comme suit :
databricks sync <local-directory-path> <remote-directory-path>
Par exemple, pour effectuer une synchronisation incrémentielle, unique et unidirectionnelle de toutes les modifications de fichiers dans le dossier nommé my-local-folder du répertoire de travail local actuel, vers le dossier my-workspace-folder dans le Workspace distant, exécutez la commande suivante :
databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder
Dans cet exemple, seules les modifications de fichier depuis la dernière exécution de la commande sync sont synchronisées vers /Users/someone@example.com/my-workspace-folder. Par default, l’URL du Workspace dans le profil DEFAULT de l’appelant est utilisée pour déterminer le Workspace distant avec lequel effectuer la synchronisation.
Synchroniser uniquement des fichiers spécifiques
Pour inclure ou exclure des fichiers spécifiques à synchroniser en fonction de modèles spécifiés, utilisez les options --include, --include-from, --exclude ou --exclude-from.
databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder --exclude-from .gitignore
Si vous souhaitez synchroniser des fichiers dans un bundle, utilisez plutôt le mappage de configuration sync. Consultez la synchronisation.
L'exemple suivant exclut certains modèles de fichiers de la synchronisation :
databricks sync --exclude "*.pyc" --exclude "__pycache__" ./my-local-folder /Users/someone@example.com/my-workspace-folder
Synchroniser entièrement les modifications de fichiers locaux vers un répertoire distant
Pour effectuer une synchronisation unique, complète et unidirectionnelle des modifications de fichiers d'un répertoire local vers un dossier dans un Workspace Databricks distant, quelle que soit la date de la dernière exécution de la commande sync, utilisez l'option --full, par exemple :
databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder --full
Synchronisez en continu les modifications de fichiers locaux avec un répertoire distant.
Pour activer la synchronisation continue et unidirectionnelle des modifications de fichiers au sein d'un répertoire local, vers un dossier dans un workspace Databricks distant, utilisez l'option --watch, par exemple :
databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder --watch
La synchronisation unidirectionnelle se poursuit jusqu'à ce que la commande soit arrêtée depuis le terminal, généralement en appuyant sur Ctrl + c ou Ctrl + z.
L’interrogation des événements de synchronisation possibles se produit une fois par seconde par default. Pour modifier cet intervalle, utilisez l'option --interval ainsi que le nombre de secondes à interroger suivi du caractère s, par exemple pour cinq secondes :
databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder --watch --interval 5s
Modifier le format de sortie de la progression de la synchronisation
Les informations sur la progression de la synchronisation sont affichées dans le terminal au format texte par default. Pour spécifier le format de sortie de la progression de la synchronisation, utilisez l'option --output, en spécifiant soit text (le default, si --output n'est pas spécifié autrement) soit json, par exemple :
databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder --output json
Aperçu des opérations de fichier pour une synchronisation
Pour prévisualiser une synchronisation sans réellement effectuer les opérations de synchronisation de fichiers, utilisez l'option --dry-run, par exemple :
databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder --dry-run
Warn: Running in dry-run mode. No actual changes will be made.
Action: PUT: test.txt
Uploaded test.txt
Initial Sync Complete
Drapeaux globaux
--debug
Activer ou non la journalisation de débogage.
-h OU --help
Afficher l'aide de Databricks CLI ou du groupe de commandes associé ou de la commande associée.
--log-file chaîne
Une chaîne représentant le fichier dans lequel écrire les logs de sortie. Si cet indicateur n'est pas spécifié, la default est d'écrire les logs de sortie dans stderr.
--log-format Format
Le type de format de log, text ou json. La valeur par default est text.
--log-level chaîne
Une chaîne représentant le niveau de format du log. S'il n'est pas spécifié, le niveau de format du log est désactivé.
-o, --output Type
Le type de sortie de commande, text ou json. La valeur par default est text.
-p, --profile chaîne
Nom du profil dans le fichier ~/.databrickscfg à utiliser pour exécuter la commande. Si cet indicateur n'est pas spécifié, alors s'il existe, le profil nommé DEFAULT est utilisé.
--progress-format Format
Le format pour afficher les logs de progression : default, append, inplace ou json
-t, --target chaîne
Le cas échéant, la cible de bundle à utiliser