Gerenciar identidades, permissões e privilégios para o pipeline.
Identidades, permissões e privilégios controlam quem pode executar, gerenciar e consultar pipelines e os dados que eles produzem.
Databricks recomenda o uso Unity Catalog para todos os novos pipelines. Por default, as tabelas de visualização materializada e de transmissão criadas por um pipeline configurado com o Unity Catalog só podem ser consultadas pelo proprietário pipeline . Consulte Usar Unity Catalog com o pipeline.
Se o seu pipeline publicar conjuntos de dados no Hive metastore legado, consulte Usar o pipeline declarativo LakeFlow Spark com Hive metastorelegado.
Para obter práticas recomendadas gerais sobre configurações de identidade, consulte Práticas recomendadas de identidade.
Qual identidade é usada para atualizações de pipeline?
Pipelines processam atualizações usando a identidade do proprietário do pipeline. Atribua um novo proprietário de pipeline para alterar a identidade usada para a execução do pipeline. Consulte Mudar o proprietário do pipeline.
A Databricks recomenda definir uma entidade de serviço como proprietária do pipeline. Veja entidade de serviço.
Quem pode executar uma atualização pipeline ?
As atualizações do pipeline podem ser executadas por qualquer usuário ou entidade de serviço com permissões CAN RUN, CAN MANAGE ou IS OWNER .
Quem pode visualizar um pipeline e sua saída?
Para abrir um pipeline e visualizar seus detalhes, um usuário precisa de pelo menos a permissão CAN VIEW no pipeline. Para a lista completa de níveis de permissão de pipeline e as habilidades que cada um concede, consulte ACLs de Pipelines Declarativos do Lakeflow Spark.
Para visualizar o pipeline que dá suporte a uma tabela de transmissão ou view materializada, um usuário não administrador também precisa do privilégio REFRESH nessa tabela de transmissão ou view materializada, além de suas permissões no pipeline. Sem o privilégio REFRESH, a URL do pipeline exibe Pipeline não disponível .
Configurar permissões de pipeline
Você precisa ter a permissão CAN MANAGE ou IS OWNER no pipeline para gerenciar permissões. O pipeline utiliza listas de controle de acesso (ACLs) para controlar permissões. Para obter uma lista completa das permissões e suas respectivas capacidades, consulte ACLs do pipeline declarativoLakeFlow Spark.
- Na barra lateral, clique em Trabalhos e pipeline .
- Selecione o nome de um pipeline.
- Clique em Compartilhar . A caixa de diálogo Configurações de permissões é exibida.
- Clique em Selecionar usuário, grupo ou entidade de serviço e selecione um usuário, grupo ou entidade de serviço.
- Selecione uma permissão no dropdown de permissões.
- Clique em Adicionar .
- Clique em Salvar .
Altere o proprietário do pipeline
O proprietário do pipeline é a identidade sob a qual as execuções do pipeline são realizadas. Alterar o proprietário muda a identidade usada para futuras atualizações.
Para alterar o proprietário de um pipeline, você deve ser administrador de metastore e administrador de workspace. Alterar o proprietário usando a IU ou a API REST.
Use a IU
- Na barra lateral, clique em Trabalhos e pipeline .
- Selecione o Nome do pipeline.
- Clique em Compartilhar . A caixa de diálogo Configurações de permissões é exibida.
- Limpe o proprietário atual e selecione o novo proprietário. O proprietário pode ser um usuário ou uma entidade de serviço. A Databricks recomenda uma entidade de serviço. See entidade de serviço.
- Clique em Salvar .
Use a API REST
Se o controle de proprietário estiver indisponível na IU, como para alguns pipelines gerenciados internamente, altere o proprietário com a operação de API REST Definir permissões de pipeline. Especifique o user_name do novo proprietário (ou service_principal_name para uma entidade de serviço) com o nível de permissão IS_OWNER:
{
"access_control_list": [
{
"user_name": "new.owner@example.com",
"permission_level": "IS_OWNER"
}
]
}
Se nenhum usuário for administrador de metastore e administrador de workspace
Se ninguém em sua organização for administrador de metastore e administrador de workspace, entre em contato com seu representante da Databricks para alterar o proprietário do pipeline.
Permitir que usuários não administradores view os logs do driver de um pipelinehabilitado para o Unity Catalog
Por default, somente o proprietário pipeline e os administradores workspace podem view os logs do driver do cluster que executa um pipeline habilitado para o Unity Catalog. Você pode habilitar o acesso aos logs do driver para qualquer usuário com permissões CAN MANAGE, CAN VIEW ou CAN RUN adicionando o seguinte parâmetro de configuração do Spark ao objeto configuration nas configurações do pipeline:
{
"configuration": {
"spark.databricks.acl.needAdminPermissionToViewLogs": "false"
}
}