Obter identificadores para objetos workspace

Este artigo explica como obter workspace, clustering, dashboard, diretório, modelo, Notebook e identificadores de trabalho e URLs em Databricks.

nomes de instâncias, URLs e IDs do espaço de trabalho

Um nome de instância é atribuído a cada implantação do Databricks. Para segregar a carga de trabalho e conceder acesso somente aos usuários relevantes, geralmente os clientes da Databricks criam instâncias separadas para desenvolvimento, preparação e produção. O nome da instância é a primeira parte da URL quando você faz login na implantação do Databricks:

Se você acessar no https://cust-success.cloud.databricks.com/, o nome da instância será cust-success.cloud.databricks.com.

A Databricks workspace é onde a plataforma Databricks é executada e onde o senhor pode criar Spark clustering e programar cargas de trabalho. Alguns tipos de espaço de trabalho têm um ID workspace exclusivo. Se houver o= no URL de implantação, por exemplo, https://<databricks-instance>/?o=6280049833385130, o número aleatório após o= será a ID Databricks workspace . Aqui, a ID workspace é 6280049833385130. Se não houver o= no URL de implantação, a ID workspace será 0.

URL e ID de clustering

Um Databricks clustering fornece uma plataforma unificada para vários casos de uso, como a ETL execução do pipeline de produção, transmissão analítica, análise ad-hoc e aprendizado de máquina. Cada clustering tem um ID exclusivo chamado de ID de clustering. Isso se aplica tanto ao clustering para todos os fins quanto ao clustering de trabalho. Para obter os detalhes de um clustering usando o site REST API, o ID do clustering é essencial.

Para obter o ID do cluster, clique na aba Clusters na barra lateral e selecione o nome do cluster. O ID do cluster é o número após o componente /clusters/ no URL desta página

https://<databricks-instance>/#/setting/clusters/<cluster-id>

Na captura de tela a seguir, o ID do cluster é 1115-164516-often242:

URL e ID do painel

Um AI/BI dashboard é uma apresentação de visualizações de dados e comentários. Cada painel tem uma ID exclusiva. O senhor pode usar esse ID para criar links diretos que incluam valores de parâmetros e filtros predefinidos ou acessar o painel usando a API REST.

• Exemplo de URL do painel:

  https://cust-success.cloud.databricks.com/sql/dashboardsv3/01ef9214fcc7112984a50575bf2b460f

• Exemplo de ID do painel: 01ef9214fcc7112984a50575bf2b460f

Notebook URL e ID

Um Notebook é uma interface baseada na Web para um documento que contém código executável, visualizações e texto narrativo. Os notebooks são uma interface para interagir com o site Databricks. Cada Notebook tem um ID exclusivo. O URL do Notebook tem o ID do Notebook, portanto, o URL do Notebook é exclusivo de um Notebook. Ele pode ser compartilhado com qualquer pessoa na plataforma Databricks com permissão para view e editar o Notebook. Além disso, cada comando (célula) do Notebook tem um URL diferente.

Para encontrar um URL ou uma ID de um notebook, abra o notebook. Para encontrar a URL de uma célula, clique no conteúdo do comando.

• Exemplo de URL de notebook:

  https://cust-success.cloud.databricks.com/#notebook/333096

• Exemplo de ID de notebook: 333096.

• Exemplo de URL de comando (célula):

  https://cust-success.cloud.databricks.com/#notebook/333096/command/333099

ID da pasta

Uma pasta é um diretório usado para armazenar arquivos que podem ser usados no site Databricks workspace. Esses arquivos podem ser Notebook, biblioteca ou subpastas. Há um ID específico associado a cada pasta e a cada subpasta individual. A API de permissões se refere a esse ID como directory_id e é usada para definir e atualizar as permissões de uma pasta.

Para recuperar o directory_id, use a API do workspace:

Bash

curl -n -X GET -H 'Content-Type: application/json' -d '{"path": "/Users/me@example.com/MyFolder"}' \
https://<databricks-instance>/api/2.0/workspace/get-status

Este é um exemplo da resposta de chamada da API:

JSON

{
  "object_type": "DIRECTORY",
  "path": "/Users/me@example.com/MyFolder",
  "object_id": 123456789012345
}

ID do modelo

Um modelo refere-se a um modelo registrado noMLflow, que permite gerenciar MLflow Modelos em produção por meio de transição de estágio e versionamento. O ID do modelo registrado é necessário para alterar as permissões no modelo de forma programática por meio da API de permissões.

Para obter o ID de um modelo registrado, o senhor pode usar o espaço de trabalho API endpoint mlflow/databricks/registered-models/get. Por exemplo, o código a seguir retorna o objeto de modelo registrado com suas propriedades, incluindo seu ID:

Bash

curl -n -X GET -H 'Content-Type: application/json' -d '{"name": "model_name"}' \
https://<databricks-instance>/api/2.0/mlflow/databricks/registered-models/get

O valor retornado tem o formato:

JSON

{
  "registered_model_databricks": {
    "name": "model_name",
    "id": "ceb0477eba94418e973f170e626f4471"
  }
}

Job URL e ID

Um Job é uma forma de executar um Notebook ou JAR imediatamente ou de forma programada.

Para obter um URL do trabalho, clique em fluxo de trabalho na barra lateral e clique no nome do trabalho. O ID do trabalho está após o texto #job/ no URL. O URL do trabalho é necessário para solucionar a causa raiz da falha na execução do trabalho.

Na captura de tela a seguir, a URL do job é:

https://cust-success.cloud.databricks.com/#job/25612

Neste exemplo, o ID da tarefa 25612.