O que é a Databricks Clean Rooms?

Prévia

Esse recurso está em Prévia Pública.

Este artigo apresenta o Clean Rooms, um recurso do site Databricks que usa os sites Delta Sharing e serverless compute para oferecer um ambiente seguro e que protege a privacidade, no qual várias partes podem trabalhar juntas em dados corporativos confidenciais sem acesso direto aos dados umas das outras.

Requisitos

Para se qualificar para o uso de salas limpas, o senhor deve:

Como funcionam as salas limpas?

Ao criar uma sala limpa, o senhor cria o seguinte:

  • Um objeto de sala limpa seguro em seu metastore do Unity Catalog.

  • A sala limpa "central", que é um ambiente efêmero isolado, pode ser gerenciada pelo site Databricks.

  • Um objeto de sala limpa seguro no metastore do Unity Catalog do seu colaborador.

As tabelas, os volumes (dados não tabulares), a visualização e o Notebook que um dos colaboradores compartilha na sala limpa são compartilhados apenas com a sala limpa central, usando Delta Sharing.

Os colaboradores não podem ver os dados nas tabelas, visualizações ou volumes de outros colaboradores, mas podem ver os nomes e tipos de colunas e podem executar o código aprovado do Notebook que opera sobre os dados ativos. A execução do código do Notebook na sala limpa central. O Notebook também pode gerar tabelas de saída que permitem que o colaborador salve temporariamente a saída somente leitura em seu metastore Unity Catalog para que possa trabalhar com ela em seu espaço de trabalho.

Salas limpas, arquitetura e fluxo simples, com tabelas de saída

Como a Clean Rooms garante um ambiente sem confiança?

O modelo do Databricks Clean Rooms é "sem confiança". Todos os colaboradores em uma sala limpa não confiável têm privilégios iguais, incluindo o criador da sala limpa. O Clean Rooms foi projetado para impedir a execução de códigos não autorizados e o compartilhamento não autorizado de dados. Por exemplo, todos os colaboradores devem aprovar um Notebook antes que ele possa ser executado. Essa confiança é imposta implicitamente ao impedir que um colaborador execute qualquer Notebook que ele mesmo tenha criado: o senhor só pode executar um Notebook criado pelo outro colaborador.

Proteções ou restrições adicionais

As seguintes salvaguardas estão em vigor, além do processo implícito de aprovação do Notebook mencionado acima:

  • Depois que uma sala limpa é criada, ela é bloqueada para evitar que novos colaboradores entrem na sala limpa.

  • Se algum colaborador excluir a sala limpa, a sala limpa central será anulada e nenhuma tarefa de sala limpa poderá ser executada por nenhum usuário.

  • Durante a pré-visualização pública, cada sala limpa é limitada a dois colaboradores.

  • O senhor não pode renomear a sala limpa.

    O nome da sala limpa deve ser exclusivo no metastore de cada colaborador, para que todos os colaboradores possam se referir à mesma sala limpa sem ambiguidade.

  • Os comentários sobre a sala limpa e segura no site workspace de cada colaborador não são propagados para outros colaboradores.

O que é compartilhado com outros colaboradores?

  • Nome do quarto limpo.

  • nuvem e região da sala limpa central.

  • O nome da sua organização (que pode ser qualquer nome que o senhor escolher).

  • Seu identificador de compartilhamento de sala limpa (ID de metastore global + ID de workspace + endereço do usuário email ).

  • Aliases de tabelas, visualizações ou volumes compartilhados.

  • Metadados da coluna (nome ou alias da coluna e tipo).

  • Notebook (somente leitura).

  • Tabelas de saída (somente leitura, temporárias).

  • Tabela do sistema de eventos de sala limpa.

  • execução história, inclusive:

    • O nome do Notebook que está sendo executado

    • Colaborador que executa o Notebook (não usuário).

    • O estado da execução do Notebook.

    • O horário de início da execução do Notebook.

O que é compartilhado com a sala de limpeza central?

  • Tudo o que está listado na seção anterior.

  • Tabelas, volumes, visualização e Notebook somente de leitura.

    Tabelas, visualizações e volumes são registrados no metastore da sala limpa central com todos os aliases fornecidos. Os dados ativos são compartilhados durante todo o ciclo de vida da sala limpa.

Limitações

Durante a pré-visualização pública, aplicam-se as seguintes limitações:

  • No serviço credencial Scala biblioteca incluída na versão requerida Databricks Runtime.

Cotas de recursos

Databricks impõe cotas de recurso em todos os objetos seguros do Clean Room. Essas cotas são listadas em limites de recurso. Se o senhor espera exceder esses limites de recurso, entre em contato com a equipe Databricks account .

O senhor pode monitorar o uso da cota usando o recurso Unity Catalog quotas APIs. Consulte Monitorar o uso das cotas de recurso do Unity Catalog .