Aller au contenu principal
Dernière mise à jour le

Configurer l'emplacement de stockage des résultats du Notebook

Les exigences de confidentialité de votre organisation peuvent vous obliger à stocker tous les résultats de Notebook interactifs dans le compartiment de stockage du Workspace de votre compte cloud, plutôt que l'emplacement par default du plan de contrôle géré par Databricks où certains résultats de commande de Notebook sont stockés.

La sortie de commande du notebook est stockée différemment selon la manière dont vous exécutez le notebook.

By default, lorsque vous exécutez un Notebook de manière interactive en cliquant sur Run dans le Notebook :

  • Si les résultats sont petits, ils sont stockés dans le plan de contrôle Databricks, avec le contenu des commandes et les métadonnées du Notebook.
  • Les résultats plus volumineux sont stockés dans le compartiment de stockage du workspace dans votre compte AWS. Databricks utilise ce compartiment pour les données système du Workspace et la racine DBFS de votre Workspace. Les résultats du Notebook sont stockés dans la partie données système du compartiment du workspace, qui n'est pas accessible aux utilisateurs. Consultez Stockage du workspace.

Lorsque vous exécutez un Notebook en tant que Job, en le planifiant ou en cliquant sur **Exécuter maintenant** sur la page Jobs, tous les résultats sont stockés dans le compartiment de stockage du Workspace de votre compte.

Vous pouvez configurer votre Workspace pour stocker tous les résultats du notebook interactif dans votre compte cloud, quelle que soit la taille du résultat.

Configurez l’emplacement de stockage pour les résultats des Notebooks interactifs​

Vous pouvez configurer votre Workspace pour stocker tous les résultats de Notebook interactifs dans votre compte AWS, plutôt que dans le plan de contrôle. Vous pouvez activer cette fonctionnalité à l’aide de la page des paramètres d’administration ou de l’ API REST. Cette configuration n'a aucun effet sur les notebooks exécutés en tant que jobs, dont les résultats sont déjà stockés dans votre compte AWS default.

Gardez à l'esprit les points suivants :

  • Les modifications apportées à cette configuration ne sont effectives que pour les nouveaux résultats. Les résultats de Notebook existants ne sont pas déplacés.
  • Certaines métadonnées relatives aux résultats, telles que les noms des colonnes du graphique, continuent d'être stockées dans le plan de contrôle.
  • Des coûts de stockage accrus peuvent être facturés par votre fournisseur cloud.
  • Une latence accrue du réseau et des E/S peut survenir lors de la lecture et de l'écriture des résultats.

Stocker tous les résultats du Notebook dans votre compte à l'aide de la page des paramètres d'administration.​

En tant qu’administrateur de workspace :

  1. Accédez à la page de paramètres.
  2. Cliquez sur l'onglet **Security** tab.
  3. Cliquez sur le bouton à bascule Stocker les résultats interactifs du notebook dans le compte client .

Stocker tous les résultats de notebook dans votre compte à l'aide de l'API REST​

Pour configurer votre Workspace afin de stocker tous les résultats de Notebook dans votre compte AWS à l'aide de l'API REST :

  • Vous devez être un administrateur de workspace.
  • Vous avez besoin d’un jeton d’accès personnel. Les instructions suivantes supposent que vous avez configuré un fichier .netrc avec votre jeton d'accès personnel afin que vous puissiez utiliser l'option -n dans les commandes curl. Consultez l'article mentionné ci-dessus pour plus de détails.

Pour obtenir le paramètre actuel, appelez l'Endpoint GET /workspace-conf et définissez keys sur storeInteractiveNotebookResultsInCustomerAccount:

Bash
curl -n --request GET \
  'https://<databricks-instance>/api/2.0/workspace-conf?keys=storeInteractiveNotebookResultsInCustomerAccount'

Pour permettre à votre Workspace de stocker les résultats interactifs du Notebook dans votre compte AWS, appelez le Endpoint PATCH /workspace-conf et définissez storeInteractiveNotebookResultsInCustomerAccount sur true dans le corps de la requête :

Bash
curl -n --request PATCH \
 'https://<databricks-instance>/api/2.0/workspace-conf' \
 --header 'Content-Type: text/plain' \
 --data-raw '{
    "storeInteractiveNotebookResultsInCustomerAccount": "true"
}'

Pour désactiver la fonctionnalité, définissez le même indicateur sur false:

Bash
curl -n --request PATCH \
  'https://<databricks-instance>/api/2.0/workspace-conf' \
 --header 'Content-Type: text/plain' \
 --data-raw '{
    "storeInteractiveNotebookResultsInCustomerAccount": "false"
}'
Sur cette page