execução Notebook em salas limpas

Esta página descreve como executar o Notebook em salas limpas. O notebook é a interface que os colaboradores usam para executar a análise de dados em colaboração.

Para saber como adicionar um Notebook a uma sala limpa, consulte Criar salas limpas.

Requisitos

Para gerenciar e executar um Notebook em uma sala limpa, o senhor deve:

Tarefa	Requisito	Privilégios necessários	Descrição
Gerenciando um notebook	Sem requisitos exclusivos	Para o responsável pelo upload do Notebook: - Se eles forem os corredores designados, devem ter os privilégios EXECUTE CLEAN ROOM TASK ou MODIFY CLEAN ROOM. - Se um colaborador for o corredor designado, o remetente deve ter o privilégio MODIFY CLEAN ROOM.	Tarefa de gerenciamento geral de um notebook na sala limpa.
Executando um notebook	Todos os colaboradores, exceto o responsável pelo upload, devem aprovar o Notebook. Um corredor designado executa o Notebook.	EXECUTE CLEAN ROOM TASK	Se o executor do Notebook não o tiver upload, ele deverá aprovar o Notebook antes que ele possa ser executado. Essa aprovação explícita pode ser automatizada por meio da regra de aprovação automática default. Consulte as regras de aprovação automática.
Aprovação ou rejeição de um Notebook	Nenhuma	MODIFY CLEAN ROOM	Permite que o senhor aprove ou rejeite o Notebook antes que ele possa ser executado.
Gerenciando regras de aprovação automática	As aprovações automáticas só podem ser aplicadas ao Notebook criado por colaboradores que não sejam o executor.	Proprietário da sala limpa ou privilégio MANAGE.	Controla a aprovação automática do Notebook.
Capacidade do colaborador	Uma sala limpa pode incluir até 10 colaboradores.	Nenhuma	Isso inclui o criador e até 9 outros colaboradores.

Tarefa	Requisito	Privilégios necessários	Descrição
Gerenciando um notebook	Sem requisitos exclusivos	Para o responsável pelo upload do Notebook: - Se eles forem os corredores designados, devem ter os privilégios EXECUTE CLEAN ROOM TASK ou MODIFY CLEAN ROOM. - Se um colaborador for o corredor designado, o remetente deve ter o privilégio MODIFY CLEAN ROOM.	Tarefa de gerenciamento geral de um notebook na sala limpa.
Executando um notebook	Todos os colaboradores, exceto o responsável pelo upload, devem aprovar o Notebook. Um corredor designado executa o Notebook.	EXECUTE CLEAN ROOM TASK	Se o executor do Notebook não o tiver upload, ele deverá aprovar o Notebook antes que ele possa ser executado. Essa aprovação explícita pode ser automatizada por meio da regra de aprovação automática default. Consulte as regras de aprovação automática.
Aprovação ou rejeição de um Notebook	Nenhuma	MODIFY CLEAN ROOM	Permite que o senhor aprove ou rejeite o Notebook antes que ele possa ser executado.
Gerenciando regras de aprovação automática	As aprovações automáticas só podem ser aplicadas ao Notebook criado por colaboradores que não sejam o executor.	Proprietário da sala limpa ou privilégio MANAGE.	Controla a aprovação automática do Notebook.
Capacidade do colaborador	Uma sala limpa pode incluir até 10 colaboradores.	Nenhuma	Isso inclui o criador e até 9 outros colaboradores.

O criador é automaticamente atribuído como proprietário da sala limpa em sua account Databricks . O administrador do metastore da organização colaboradora recebe automaticamente a propriedade da sala limpa em sua account Databricks . Você pode transferir a propriedade. Veja gerenciar a propriedade do objeto.

carregar um Notebook e designar corredores

Quando um colaborador adiciona um Notebook à sala limpa:

• Eles são considerados o carregador desse notebook na sala limpa.

• Ao adicionar um Notebook, o responsável pelo upload deve indicar qual colaborador é o executor designado do Notebook. O executor designado tem permissão para executar o Notebook.

• Só pode haver um corredor designado.

• O senhor pode designar a si mesmo como o executor designado do Notebook.

  

Consulte a Etapa 3. Adicione o data ativo e o Notebook à sala limpa

Aprovar um Notebook em uma sala limpa

Todo Notebook requer a aprovação de todos os colaboradores, exceto o responsável pelo upload, antes de ser executado.

Para verificar o status de revisão de um Notebook:

1. Em seu site Databricks workspace, clique em Catalog .

2. Clique no botão Salas Limpas > .

3. Selecione a sala limpa na lista.

4. Selecione o Notebook que o senhor deseja executar.

5. Clique no ícone Pessoas à direita para expandir a seção de colaboradores da página de detalhes do Notebook.

6. A seção Revisões oferece uma visão geral clara de quais colaboradores aprovaram, rejeitaram ou ainda não revisaram o Notebook.

   

Uma diferença view está disponível quando um Notebook foi alterado em relação a uma versão anterior.

Ao executar uma versão Notebook, o seguinte é verdadeiro:

• O senhor só pode executar a versão mais recente de um Notebook.
• O senhor só pode aprovar ou rejeitar a versão mais recente de um Notebook.
• Modificar um Notebook adicionando novo conteúdo ou alterando a designação do corredor cria uma nova versão, que redefine o estado de revisão para todos os colaboradores.
• Um notebook pode ter no máximo 10 versões. Consulte Limites de recurso.

Para acessar a diferença view para um Notebook:

1. Clique no ícone do relógio à direita para expandir o histórico de versões da página de detalhes do Notebook.

   

Para aprovar ou rejeitar um Notebook:

1. Clique no botão Revisar no canto superior direito.

2. Escolha entre Aprovar ou Rejeitar o Notebook.

   

O senhor pode atualizar sua avaliação até nove vezes, para um máximo de dez avaliações por colaborador em cada versão do Notebook. No entanto, o senhor sempre pode rejeitar um Notebook, mesmo que o limite de revisão tenha sido atingido.

Regras de aprovação automática

Os colaboradores podem configurar regras de aprovação automática para sua sala limpa. Com as aprovações automáticas, o seguinte é verdadeiro:

• O senhor pode criar regras de aprovação automática somente para o upload de Notebook por outros usuários, não para o seu próprio. Os notebooks de autoria própria não precisam de sua própria aprovação se o senhor for o executor designado.
• Em salas limpas com duas pessoas, o senhor pode aprovar automaticamente o Notebook de autoria do outro colaborador.
• Em salas limpas com mais de dois colaboradores, o senhor pode aprovar automaticamente o Notebook de autoria de qualquer pessoa ou de um colaborador específico.
• Cada regra de aprovação automática designa um único executor para o Notebook aprovado.
• A aprovação automática é o default para o upload do Notebook por outro colaborador quando o senhor é o executor designado.
• As aprovações automáticas são opcionais para salas limpas em que o corredor designado é outro colaborador.
• Você pode adicionar, atualizar ou remover aprovações automáticas a qualquer momento.

nota

Regras de aprovação automática não estão disponíveis em clean rooms pré-configuradas. Consulte Clean rooms pré-configuradas.

Para gerenciar as aprovações automáticas:

1. Em seu site Databricks workspace, clique em Catalog .

2. Clique no botão Salas Limpas > .

3. Na página Salas limpas , clique no ícone de engrenagem

4. Selecione Configurar aprovações automáticas .

   

5. Configure a aprovação automática do Notebook com base nas regras de permissão correspondentes.

   

execução de um Notebook em uma sala limpa

Para executar um Notebook, verifique se todas as aprovações necessárias estão em vigor e se o senhor é o executor designado. Então:

1. Em Notebook , clique no Notebook para abri-lo no modo de visualização.

2. Clique no botão executar .

   • Só é possível executar o Notebook para o qual o senhor é o executor designado e que tenha sido aprovado.
   • Não é necessário aprovar manualmente o Notebook que o senhor mesmo criou para executá-lo.
   • O senhor pode rejeitar um Notebook de sua autoria. O senhor deve aprová-lo novamente antes que ele possa ser executado.
   • O senhor pode gerenciar aprovações automáticas para cada Notebook. Consulte as regras de aprovação automática.

3. (Opcional) Na caixa de diálogo Executar Notebook com parâmetros , clique em + Adicionar para passar valores de parâmetros para a tarefa do Job do Notebook.

4. Revisar o Notebook.

5. Clique em Executar .

6. Clique em See details (Ver detalhes ) para view o andamento da execução. Como alternativa, o senhor pode view o progresso da execução acessando a execução nesta página ou clicando em Jobs & pipeline na barra lateral workspace e acessando Job execução tab.

7. visualizar os resultados da execução do Notebook. Os resultados do Notebook são exibidos após a conclusão da execução. Para acessar view execuções passadas, vá para execuções e clique no link na coluna de tempo de início .

Mesmo quando todos os colaboradores aprovam um Notebook, somente o colaborador designado pelo remetente como executor pode executá-lo.

Notebook parâmetros

Os parâmetros a seguir são passados automaticamente para o Notebook da sala limpa no momento da execução:

• cr_central_id: O ID da sala limpa central.
• cr_runner_global_metastore_id: O ID global da metastore do corredor designado.
• cr_runner_alias: O alias de colaborador do corredor designado.
• cr_<alias>_input_catalog: O catálogo que armazena dados compartilhados por um colaborador específico, em que alias representa seu alias de sala limpa. Para salas limpas bipartidas criadas na interface do usuário, o padrão é criador ou colaborador, mas isso pode ser personalizado por meio do site API. Você pode usar o parâmetro cr_<alias>_input_catalog para testes locais com tabelas de amostra.
• cr_output_catalog: define o catálogo em que você cria novas tabelas de saída. Usado em combinação com cr_output_schema. Consulte Criar uma tabela de saída.
• cr_output_schema: define o esquema em que você cria tabelas de saída. Usado em combinação com cr_output_catalog. Consulte Criar uma tabela de saída.
• cr_shared_output_schema: Define o esquema onde você cria tabelas de saída que todos os colaboradores podem ler, não apenas o executor. Usado em combinação com cr_output_catalog. Disponível somente quando a saída compartilhada estiver ativada para o clean room. Consulte Compartilhar saída com todos os colaboradores.

Os parâmetros do acima Notebook ficam automaticamente disponíveis como valores de widget durante a execução.

• Células Python : Faça referência a elas usando dbutils.widgets.get. Por exemplo: dbutils.widgets.get("cr_central_id").

• Células SQL : Acesse-as com select :name. Por exemplo: select :cr_central_id.

Chamar uma UDF JAR a partir de um notebook

Você pode registrar uma função Java ou Scala personalizada de um JAR compartilhado e chamá-la de um notebook de sala limpa usando CREATE TEMPORARY FUNCTION. Consulte Executar cargas de trabalho JAR em salas limpas do Databricks.

Escolher um ambiente base

info

Beta

Os ambientes base de ML e AI estão em Beta. Os ambientes padrão estão disponíveis em geral.

Ao adicionar um Notebooks a uma sala limpa, você seleciona um Ambiente base para ele. O ambiente base define a versão do ambiente Serverless e as bibliotecas Python que são pré-instaladas quando ocorre a execução do notebook. Todos os colaboradores podem ver o ambiente base que cada notebook usa.

• Standard : O ambiente serverless com bibliotecas fornecidas pelo Databricks.
• ML : Adiciona as bibliotecas do Databricks Runtime for Machine Learning. Disponível para Notebooks em execução em CPU.
• AI : Adiciona bibliotecas de aprendizagem profunda como PyTorch e Hugging Face Transformers. Disponível para Notebooks em execução em GPU.

Ambientes base personalizados não são suportados em salas limpas. Para saber mais sobre ambientes base, consulte Configurar o ambiente serverless.

Você pode alterar o ambiente base ao atualizar o notebook. A atualização cria uma nova versão do notebook, que todos os colaboradores precisam aprovar novamente. Consulte Aprovar um notebook em uma sala limpa.

Execução de um notebook em GPU Serverless

Por default, os Notebooks da sala limpa têm execução no compute CPU Serverless. Para execução da inferência ou do treinamento do modelo em dados compartilhados, você pode fazer a execução de um Notebooks de sala limpa no compute GPU Serverless. Os notebooks GPU são executados no AI Runtime.

Um Notebook GPU está em execução na mesma sala limpa central que outros Notebooks, com o mesmo fluxo de aprovação, acesso a dados e tabelas de saída. Todos os colaboradores podem ver o acelerador que cada notebook usa.

Requisitos

• Para contas no nível de preços enterprise, o GPU serverless em salas limpas é desligado por default até que o Databricks o ligue automaticamente. Para a data planejada, consulte O GPU serverless em salas limpas será ligado por default em breve para contas em que está desligado.

• Para habilitar a GPU Serverless em salas limpas, um administrador account deve habilitar o Runtime de AI de Salas Limpas na página Prévias do console da account. Consulte Gerenciar prévias em nível de account. A configuração se aplica à account do colaborador que adiciona o notebook.

• O clean room central deve ser hospedado em uma das seguintes regiões:

  • AWS : ca-central-1, eu-west-1, sa-east-1, us-east-1, us-east-2, ou us-west-2.
  • Azure : eastus ou westus.

• O notebook deve usar uma versão do ambiente base Standard 4 ou acima, ou um ambiente base AI. Ao selecionar um acelerador, a lista Ambiente base mostra apenas esses ambientes. Veja Escolher um ambiente base.

O compute de GPU para AI Runtime pode ter execução em uma Geo diferente da região central da clean room, porque alguns tipos de GPU requerem processamento cross-Geo. O processamento cross-Geo pode incorrer em custos de saída e afetar a residência de dados. Veja Habilitar processamento cross-Geo.

Adicionar um notebook que é execução na GPU

Comece a adicionar um notebook

Comece adicionando um notebook ao clean room. Consulte O passo 3. Adicionar ativos de dados e notebooks ao clean room.

Selecione um acelerador

Para Acelerador , selecione um tipo de GPU: 1xA10, 1xH100 ou 8xH100. Para execução do notebook em uma CPU Serverless, selecione Nenhum .

Selecione um ambiente básico

Para Ambiente base , selecione um ambiente Padrão ou AI .

Adicionar o notebook

Clique em Adicionar notebook .

Você pode alterar o acelerador ao atualizar o notebook. Assim como em qualquer atualização de notebook, a alteração cria uma nova versão de notebook, que todos os colaboradores devem aprovar novamente. Veja Aprovar um notebook em um clean room.

Compartilhe a saída do Notebook usando tabelas de saída

As tabelas de saída são tabelas temporárias somente leitura geradas por uma execução do Notebook e compartilhadas com o metastore do executor do Notebook. Se o Notebook criar uma tabela de saída, o executor do Notebook poderá acessá-la em um catálogo de saída e compartilhá-la com outros usuários em seu site workspace. Consulte Criar e trabalhar com tabelas de saída em Databricks Clean Rooms.

Se a saída compartilhada estiver habilitada para a sala limpa, um notebook também poderá gravar em um esquema de saída compartilhado que todos os colaboradores poderão ler. Consulte Compartilhar resultados com todos os colaboradores.

Use o site LakeFlow Jobs para executar o Clean Room Notebook

O senhor pode criar fluxos de trabalho complexos e recorrentes em torno do seu ativo de sala limpa usando o Databricks fluxo de trabalho. Por exemplo, o senhor pode criar um fluxo de trabalho recorrente que executa uma tarefa de notebook de sala limpa e, em seguida, executa uma tarefa que atualiza imediatamente um relatório com base na saída da sala limpa.

Os recursos a seguir facilitam o fluxo de trabalho em salas limpas complexas:

• Tipo de tarefa Clean Room Notebook : Selecione e execute diretamente um notebook de sala limpa como um fluxo de trabalho dedicado à tarefa. Veja o Notebook de execução em salas limpas.

• Databricks Valores de saída fornecidos : Todas as tarefas de notebook para salas limpas disponibilizam as referências de valor dinâmico {{tasks.<your_task_name>.output.catalog_name}} e {{tasks.<your_task_name>.output.schema_name}} para todas as tarefas posteriores. Esses valores podem ser usados para configurar o fluxo de trabalho em que uma tarefa recebe automaticamente o caminho para o esquema de saída de uma sala limpa a montante do Notebook tarefa. Consulte as referências de valores compatíveis

  • output.catalog_name é preenchido automaticamente com o nome do catálogo de saída da sala limpa.
  • output.schema_name é preenchido automaticamente com o nome do esquema de saída gerado dinamicamente pela tarefa do Notebook de sala limpa.

• LakeFlow Trabalhos : Usar valores de tarefa que passem os valores dos parâmetros do trabalho para o Notebook da sala limpa ou capturar a saída do Notebook da sala limpa e passar essa saída para outro fluxo de trabalho tarefa. Veja os valores da tarefa para passar informações entre as tarefas.

• valores de tarefa: Assim como o Notebook tarefa comum, o Notebook tarefa para salas limpas pode definir valores de tarefa que são passados para o fluxo de trabalho tarefa posterior. Use a sintaxe: dbutils.jobs.taskValues.set(key="key", value="value"). Veja mais sobre os valores da tarefa.