Atribuir compute recurso a um grupo
Visualização
Esse recurso está em Public Preview.
Este artigo explica como criar um recurso compute atribuído a um grupo usando o modo de acesso Dedicado .
O modo de acesso de grupo dedicado permite que os usuários obtenham a eficiência operacional de um clustering de modo de acesso padrão, além de oferecer suporte seguro a linguagens e cargas de trabalho que não são compatíveis com o modo de acesso padrão, como Databricks Runtime para ML, Spark biblioteca do machine learning (MLlib), RDD APIs e R.
Ao habilitar o Public Preview de clustering de grupo dedicado, seu workspace também terá acesso à nova UI simplificada do compute. Essa nova UI atualiza os nomes dos modos de acesso e simplifica as configurações do site compute. Veja Use o formulário simples para gerenciar compute.
Requisitos
Para usar o modo de acesso de grupo dedicado:
- Um administrador do workspace deve habilitar a computação: Pré-visualização de clustering de grupo dedicado usando a UI de Pré-visualizações. Veja gerenciar Databricks Previews.
- O site workspace deve estar habilitado para Unity Catalog.
- O senhor deve usar o site Databricks Runtime 15.4 ou o acima.
- O grupo atribuído deve ter permissões
CAN MANAGE
em uma pasta workspace, onde poderá manter o Notebook, os experimentos ML e outros artefatos workspace usados pelo agrupamento do grupo.
O que é o modo de acesso dedicado?
O modo de acesso dedicado é a versão mais recente do modo de acesso de usuário único. Com acesso dedicado, um recurso compute pode ser atribuído a um único usuário ou grupo, permitindo que apenas o(s) usuário(s) atribuído(s) tenha(m) acesso para usar o recurso compute.
Quando um usuário está conectado a um recurso compute dedicado a um grupo (um clustering de grupo), as permissões do usuário são automaticamente reduzidas para as permissões do grupo, permitindo que o usuário compartilhe com segurança o recurso com os outros membros do grupo.
Criar um recurso compute dedicado a um grupo
- Em seu site Databricks workspace, vá para compute e clique em Create compute .
- Expanda a seção Avançado .
- Em Access mode (Modo de acesso ), clique em Manual e selecione Dedicated (anteriormente: Single-user) no menu dropdown.
- No campo Usuário ou grupo único , selecione o grupo que deseja atribuir a esse recurso.
- Defina as outras configurações desejadas de compute e clique em Create .
Práticas recomendadas para gerenciar o clustering de grupos
Como as permissões de usuário têm escopo reduzido para o grupo ao usar o agrupamento de grupos, o site Databricks recomenda a criação de uma pasta /Workspace/Groups/<groupName>
para cada grupo que o senhor planeja usar com um agrupamento de grupos. Em seguida, atribua as permissões CAN MANAGE
na pasta ao grupo. Isso permite que os grupos evitem erros de permissão. Todo o Notebook do grupo e o workspace ativo devem ser gerenciados na pasta do grupo.
O senhor também deve modificar as seguintes cargas de trabalho para execução em clustering de grupo:
- MLflow: Certifique-se de que o senhor execute o Notebook a partir da pasta do grupo ou execute
mlflow.set_tracking_uri("/Workspace/Groups/<groupName>")
. - AutoML: Defina o parâmetro opcional
experiment_dir
como“/Workspace/Groups/<groupName>”
para sua AutoML execução. dbutils.notebook.run
: Certifique-se de que o grupo tenha permissãoREAD
no Notebook que está sendo executado.
Exemplo de permissões de grupo
Quando o senhor cria um objeto de dados usando o agrupamento de grupos, o grupo é atribuído como proprietário do objeto.
Por exemplo, se o senhor tiver um Notebook anexado a um grupo de clustering e executar o seguinte comando:
use catalog main;
create schema group_cluster_group_schema;
Em seguida, execute essa consulta para verificar o proprietário do esquema:
describe schema group_cluster_group_schema;
Grupo de auditoria dedicado à atividade compute
Há duas key identidades envolvidas quando um grupo de clustering executa uma carga de trabalho:
- O usuário que está executando a carga de trabalho no agrupamento de grupos
- O grupo cujas permissões são usadas para realizar as ações reais da carga de trabalho
A tabela do sistema de log de auditoria registra essas identidades de acordo com os seguintes parâmetros:
identity_metadata.run_by
: O usuário autenticador que executa a açãoidentity_metadata.run_as
: o grupo de autorização cujas permissões são usadas para a ação.
O exemplo de consulta a seguir extrai os metadados de identidade de uma ação realizada com o agrupamento de grupos:
select action_name, event_time, user_identity.email, identity_metadata
from system.access.audit
where user_identity.email = "uc-group-cluster-group" AND service_name = "unityCatalog"
order by event_time desc limit 100;
Consulte a referência da tabela do sistema audit log para obter mais exemplos de consultas. Consulte a referência da tabela do sistema Audit log.
Problemas conhecidos
- Os arquivos e pastas do espaço de trabalho criados a partir do agrupamento de grupos fazem com que o proprietário do objeto atribuído seja
Unknown
. Isso faz com que as operações subsequentes nesses objetos, comoread
,write
edelete
, falhem com erros de permissão negada.
Limitações
O modo de acesso a grupos dedicados Public Preview tem as seguintes limitações conhecidas:
- As tabelas do sistema de linhagem não registram as identidades
identity_metadata.run_as
(o grupo de autorização) ouidentity_metadata.run_by
(o usuário de autenticação) para cargas de trabalho em execução em um cluster de grupo. - A auditoria logs entregue ao armazenamento do cliente não registra as identidades
identity_metadata.run_as
(o grupo de autorização) ouidentity_metadata.run_by
(o usuário de autenticação) para cargas de trabalho em execução em um cluster de grupo. O senhor deve usar a tabelasystem.access.audit
para view os metadados de identidade. - Quando anexado a um agrupamento de grupos, o Catalog Explorer não filtra por ativo somente acessível ao grupo.
- Os gerentes de grupo que não são membros do grupo não podem criar, editar ou excluir clustering de grupo. Somente os administradores do workspace e os membros do grupo podem fazer isso.
- Se um grupo for renomeado, o senhor deverá atualizar manualmente todas as políticas do site compute que fazem referência ao nome do grupo.
- O agrupamento de grupos não é compatível com o espaço de trabalho com ACLs desativadas (isWorkspaceAclsEnabled == false) devido à falta inerente de segurança e de controles de acesso a dados quando as ACLs do site workspace estão desativadas.
- O comando
%run
atualmente usa as permissões do usuário em vez das permissões do grupo quando executado em um agrupamento de grupos. Alternativas comodbutils.notebook.run()
usam corretamente as permissões do grupo.