O que é a CLI do Databricks?
Observação
Esta informação se aplica às versões 0.205 e acima do Databricks CLI, que estão em Public Preview. Para encontrar sua versão da CLI do Databricks, execute databricks -v
.
A interface de linha de comando do Databricks (também conhecida como CLI do Databricks) fornece uma ferramenta para automatizar a plataforma Databricks a partir do seu terminal, prompt de comando ou scripts de automação.
informações para usuários legados do Databricks CLI
O Databricks não planeja nenhum suporte ou novo trabalho de recurso para a CLI herdada do Databricks.
Para obter mais informações sobre o legado do Databricks CLI, consulte Databricks CLI (legado).
Para migrar da CLI do Databricks versão 0.18 ou abaixo para a CLI do Databricks versão 0.205 ou acima, consulte migração da CLI do Databricks.
Como funciona a CLI do Databricks?
A CLI envolve a API REST do Databricks, uma interface de programação de aplicativos (API) que usa uma perspectiva REST para automatizar recursos e dados account e workspace do Databricks. Consulte a referência da API REST do Databricks.
Por exemplo, para imprimir informações sobre clusters individuais em um workspace, você executa a CLI da seguinte maneira:
databricks clusters get 1234-567890-a12bcde3
Com curl
, as operações equivalentes são mais demoradas para serem expressas e mais propensas a erros de digitação, como segue:
curl --request GET "https://${DATABRICKS_HOST}/api/2.0/clusters/get" \
--header "Authorization: Bearer ${DATABRICKS_TOKEN}" \
--data '{ "cluster_id": "1234-567890-a12bcde3" }'
Exemplo: criar um Jobdo Databricks
O exemplo a seguir usa a CLI para criar um Databricks Job. Este Job contém uma única tarefa Job . Esta tarefa executa o Databricks Notebook especificado. Este Notebook depende de uma versão específica do pacote PyPI chamada wheel
. Para executar esta tarefa, o Job cria temporariamente Job clusters que exportam uma variável de ambiente chamada PYSPARK_PYTHON
. Após a execução Job , os clusters são encerrados.
databricks jobs create --json '{
"name": "My hello notebook job",
"tasks": [
{
"task_key": "my_hello_notebook_task",
"notebook_task": {
"notebook_path": "/Workspace/Users/someone@example.com/hello",
"source": "WORKSPACE"
},
"libraries": [
{
"pypi": {
"package": "wheel==0.41.2"
}
}
],
"new_cluster": {
"spark_version": "13.3.x-scala2.12",
"node_type_id": "i3.xlarge",
"num_workers": 1,
"spark_env_vars": {
"PYSPARK_PYTHON": "/databricks/python3/bin/python3"
}
}
}
]
}'
Próximas etapas
Para saber como instalar e começar a usar a CLI, consulte o tutorial da CLI do Databricks.
Para ignorar o tutorial e apenas instalar a CLI, consulte Instalar ou atualizar a CLI do Databricks.
Para configurar a autenticação entre a CLI e sua account e workspace do Databricks, consulte Autenticação para a CLI do Databricks.
Para usar perfis de configuração para alternar rapidamente entre grupos relacionados de configurações CLI, consulte Perfis de configuração para a CLI do Databricks.
Para saber mais sobre o uso básico da CLI, consulte Uso básico da CLI do Databricks.
Para obter ajuda para o comando CLI, consulte Comando CLI do Databricks.