Aller au contenu principal
Dernière mise à jour le

Exécute la CLI (hérité)

important

Cette documentation a été retirée et pourrait ne pas être mise à jour.

Ces informations s'appliquent aux anciennes versions de la CLI Databricks 0.18 et antérieures. Databricks vous recommande d'utiliser plutôt la version 0.205 ou ultérieure de Databricks CLI. Voir CLI Databricks. Pour trouver votre version de la CLI Databricks, exécutez databricks -v.

Pour migrer de Databricks CLI version 0.18 ou inférieure vers Databricks CLI version 0.205 ou supérieure, consultez la migration de Databricks CLI.

Vous exécutez les sous-commandes de la CLI pour les exécutions de Jobs Databricks en les ajoutant à databricks runs et les sous-commandes de la CLI pour les Jobs Databricks en les ajoutant à databricks jobs. Pour les sous-commandes de la CLI des Jobs Databricks, consultez la CLI des Jobs (héritée). Ensemble, ces sous-commandes appellent l'API Jobs et l'API Jobs 2.0.

important

La CLI d'exécution de Job Databricks prend en charge les appels à deux versions de l'API REST Databricks Jobs : les versions 2.1 et 2.0. (La fonctionnalité d'exécution de Job fait partie de l'API REST Jobs.) La version 2.1 ajoute la prise en charge de l'orchestration des Jobs avec plusieurs tâches ; consultez Lakeflow Jobs et Mise à jour de l'API Jobs 2.0 vers 2.1. Databricks vous recommande d'appeler la version 2.1, à moins que vous n'ayez des scripts hérités qui dépendent de la version 2.0 et ne puissent pas être migrés.

Sauf indication contraire, les comportements programmatiques décrits dans cet article s'appliquent également aux versions 2.1 et 2.0.

remarque

Si vous recevez une erreur de niveau 500 lors de l'exécution de requêtes CLI de Jobs, Databricks recommande de réessayer les requêtes pendant un maximum de 10 minutes (avec un intervalle minimum de 30 secondes entre les tentatives).

Conditions requises pour appeler l'API REST Jobs 2.1​

Pour configurer la CLI d’exécution des Jobs Databricks (et la CLI des Jobs) afin d’appeler l’API REST Jobs 2.1, procédez comme suit :

  1. Mettre à jour la CLI vers la version 0,16,0 ou ultérieure.

  2. Effectuez l'une des actions suivantes :

    • Exécutez la commande databricks jobs configure --version=2.1. Cela ajoute le paramètre jobs-api-version = 2.1 au fichier ~/.databrickscfg sur Unix, Linux ou macOS, ou %USERPROFILE%\.databrickscfg sur Windows. Toutes les sous-commandes de la CLI des exécutions de Jobs (et de la CLI des Jobs) appelleront l'API REST Jobs 2.1 par default.
    • Ajoutez manuellement le paramètre jobs-api-version = 2.1 au fichier ~/.databrickscfg sous Unix, Linux ou macOS, ou %USERPROFILE%\.databrickscfg sous Windows. Toutes les sous-commandes de la CLI d'exécution de Jobs (et de la CLI de Jobs) appelleront l'API REST Jobs 2.1 par default.
    • Ajoutez l'option --version=2.1 (par exemple, databricks runs list --version=2.1) pour indiquer à la CLI d'exécution des Jobs d'appeler l'API REST des Jobs 2.1 pour cet appel uniquement.

    Si vous n'effectuez aucune des actions précédentes, la CLI d'exécution des Job (et la CLI des Job) appellera par default l'API REST Jobs 2.0.

Exigences pour appeler l'API REST 2.0 des Jobs​

Pour configurer la CLI d’exécution des Jobs Databricks (et la CLI des Jobs) afin d’appeler l’API REST Jobs 2.0, procédez comme suit :

  • Utilisez une version du Databricks CLI inférieure à 0,16,0, ou
  • Mettez à jour la CLI vers la version 0,16.0 ou supérieure, puis effectuez l'une des opérations suivantes :
    • Exécutez la commande databricks jobs configure --version=2.0. Cela ajoute le paramètre jobs-api-version = 2.0 au fichier ~/.databrickscfg sur Unix, Linux ou macOS, ou %USERPROFILE%\.databrickscfg sur Windows. Toutes les sous-commandes CLI des exécutions de Jobs (et de la CLI des Jobs) appelleront l'API REST Jobs 2.0 by default.
    • Ajoutez manuellement le paramètre jobs-api-version = 2.0 au fichier ~/.databrickscfg sous Unix, Linux ou macOS, ou %USERPROFILE%\.databrickscfg sous Windows. Toutes les sous-commandes de la CLI des exécutions de Job (et de la CLI des Jobs) appelleront l'API REST Jobs 2.0 par default.
    • Ajoutez l'option --version=2.1 (par exemple, databricks runs list --version=2.0) pour indiquer à la CLI d'exécution des Jobs d'appeler l'API REST Jobs 2.0 pour cet appel uniquement.

Si vous n'effectuez aucune des actions précédentes, la CLI d'exécution des Job (et la CLI des Job) appellera par default l'API REST Jobs 2.0.

Sous-commandes et utilisation générale​

Bash
databricks runs --help
Usage: databricks runs [OPTIONS] COMMAND [ARGS]...

  Utility to interact with jobs runs.

Options:
  -v, --version   [VERSION]
  --debug         Debug mode. Shows full stack trace on error.
  --profile TEXT  CLI connection profile to use. The default profile is
                  "DEFAULT".

  -h, --help      Show this message and exit.

Commands:
  cancel      Cancels the specified run.
  get         Gets the metadata about a run in JSON form.
  get-output  Gets the output of a run.
  list        Lists job runs.
  submit      Submits a one-time run.

Annuler une exécution​

Pour afficher la documentation d'utilisation, exécutez databricks runs cancel --help.

Bash
databricks runs cancel --run-id 119
Console
{}

Obtenir des informations sur une exécution​

Pour afficher la documentation d'utilisation, exécutez databricks runs get --help.

Utilisation générale​

Bash
databricks runs get --run-id 119

Notes d'utilisation et exemple de réponse de Jobs CLI 2.1​

Consultez Obtention des exécutions dans Mise à jour de l'API Jobs 2.0 vers 2.1.

Exemple de réponse CLI Jobs 2.0​

Console
{
  "job_id": 239,
  "run_id": 119,
  "number_in_job": 1,
  "original_attempt_run_id": 119,
  "state": {
    "life_cycle_state": "TERMINATED",
    "result_state": "SUCCESS",
    "state_message": ""
  },
  "task": {
    "notebook_task": {
      "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
    }
  },
  "cluster_spec": {
    "new_cluster": {
      "spark_version": "8.1.x-scala2.12",
      "aws_attributes": {
        "zone_id": "us-west-2c",
        "availability": "SPOT_WITH_FALLBACK"
      },
      "node_type_id": "m5d.large",
      "enable_elastic_disk": false,
      "num_workers": 1
    }
  },
  "cluster_instance": {
    "cluster_id": "1234-567890-abcd123",
    "spark_context_id": "1234567890123456789"
  },
  "start_time": 1618510327335,
  "setup_duration": 191000,
  "execution_duration": 41000,
  "cleanup_duration": 2000,
  "end_time": 1618510561615,
  "trigger": "ONE_TIME",
  "creator_user_name": "someone@example.com",
  "run_name": "my-notebook-run",
  "run_page_url": "https://dbc-a1b2345c-d6e7.cloud.databricks.com/?o=1234567890123456#job/239/run/1",
  "run_type": "JOB_RUN",
  "attempt_number": 0
}

Obtenir le résultat d'une exécution​

Pour afficher la documentation d'utilisation, exécutez databricks runs get-output --help.

remarque

Quand un notebook_task renvoie une valeur d’un appel à dbutils.notebook.exit(), Databricks limite la valeur renvoyée aux 5 Mo de données initiaux. Pour renvoyer un résultat plus volumineux, vous pouvez stocker les résultats de Job dans un service de stockage cloud.

Utilisation générale​

Bash
databricks runs get-output --run-id 119

Notes d'utilisation de la CLI Jobs 2.1​

Consultez Obtenir la sortie des exécutions dans Mise à jour de l'API Jobs 2,0 vers 2,1.

Exemple de réponse CLI Jobs 2.0​

Console
{
  "metadata": {
    "job_id": 239,
    "run_id": 119,
    "number_in_job": 1,
    "original_attempt_run_id": 119,
    "state": {
      "life_cycle_state": "TERMINATED",
      "result_state": "SUCCESS",
      "state_message": ""
    },
    "task": {
      "notebook_task": {
        "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
      }
    },
    "cluster_spec": {
      "new_cluster": {
        "spark_version": "8.1.x-scala2.12",
        "aws_attributes": {
          "zone_id": "us-west-2c",
          "availability": "SPOT_WITH_FALLBACK"
        },
        "node_type_id": "m5d.large",
        "enable_elastic_disk": false,
        "num_workers": 1
      }
    },
    "cluster_instance": {
      "cluster_id": "1234-567890-abcd123",
      "spark_context_id": "1234567890123456789"
    },
    "start_time": 1618510327335,
    "setup_duration": 191000,
    "execution_duration": 41000,
    "cleanup_duration": 2000,
    "end_time": 1618510561615,
    "trigger": "ONE_TIME",
    "creator_user_name": "someone@example.com",
    "run_name": "my-notebook-run",
    "run_page_url": "https://dbc-a1b2345c-d6e7.cloud.databricks.com/?o=1234567890123456#job/239/run/1",
    "run_type": "JOB_RUN",
    "attempt_number": 0
  },
  "notebook_output": {}
}

Obtenir des informations sur toutes les exécutions​

Pour afficher la documentation d'utilisation, exécutez databricks runs list --help.

Utilisation générale​

Bash
databricks runs list --output JSON

Notes d'utilisation et exemple de réponse de Jobs CLI 2.1​

Consultez la liste des exécutions dans Mise à jour de l'API Jobs 2.0 vers 2.1.

Exemple de réponse CLI Jobs 2.0​

Console
{
  "runs": [
    {
      "job_id": 239,
      "run_id": 119,
      "number_in_job": 1,
      "original_attempt_run_id": 119,
      "state": {
        "life_cycle_state": "TERMINATED",
        "result_state": "SUCCESS",
        "state_message": ""
      },
      "task": {
        "notebook_task": {
          "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
        }
      },
      "cluster_spec": {
        "new_cluster": {
          "spark_version": "8.1.x-scala2.12",
          "aws_attributes": {
            "zone_id": "us-west-2c",
            "availability": "SPOT_WITH_FALLBACK"
          },
          "node_type_id": "m5d.large",
          "enable_elastic_disk": false,
          "num_workers": 1
        }
      },
      "cluster_instance": {
        "cluster_id": "1234-567890-abcd123",
        "spark_context_id": "1234567890123456789"
      },
      "start_time": 1618510327335,
      "setup_duration": 191000,
      "execution_duration": 41000,
      "cleanup_duration": 2000,
      "end_time": 1618510561615,
      "trigger": "ONE_TIME",
      "creator_user_name": "someone@example.com",
      "run_name": "my-notebook-run",
      "run_page_url": "https://dbc-a1b2345c-d6e7.cloud.databricks.com/?o=1234567890123456#job/239/run/1",
      "run_type": "JOB_RUN",
      "attempt_number": 0
    },
    ...
  ],
  "has_more": false
}

Si has_more renvoie true, des informations sur les exécutions supplémentaires sont disponibles. Utilisez l'option --offset pour obtenir des informations sur les exécutions par rapport à la plus récente. Par exemple, pour obtenir des informations à partir de la dixième exécution la plus récente, spécifiez --offset 10.

Utilisez l'option --limit pour renvoyer des informations sur un nombre fixe d'exécutions. Par exemple, pour afficher les informations des 5 prochaines exécutions, spécifiez --limit 5. Vous pouvez spécifier jusqu'à 1 000 exécutions. Si aucune valeur n'est spécifiée, la valeur default est 20.

Soumettre une exécution unique​

Pour afficher la documentation d'utilisation, exécutez databricks runs submit --help.

Utilisation générale​

Bash
databricks runs submit --json-file submit-run.json

Notes d'utilisation et exemple de requête de l'API REST Jobs 2.1​

Consultez Exécutions soumises dans Mise à jour de l'API Jobs 2.0 vers 2.1.

Exemple de requête et de réponse de l'API REST Jobs 2.0.​

submit-run.json:

JSON
{
  "run_name": "my-spark-run",
  "new_cluster": {
    "spark_version": "7.3.x-scala2.12",
    "node_type_id": "r3.xlarge",
    "aws_attributes": {
      "availability": "ON_DEMAND"
    },
    "num_workers": 10
  },
  "libraries": [
    {
      "jar": "dbfs:/my-jar.jar"
    },
    {
      "maven": {
        "coordinates": "org.jsoup:jsoup:1.7.2"
      }
    }
  ],
  "spark_jar_task": {
    "main_class_name": "com.databricks.ComputeModels"
  }
}
Console
{
  "run_id": 123
}
Sur cette page