Pular para o conteúdo principal
Última atualização em

Chave de gerenciamento de clientes para Unity Catalog

info

Visualização

Este recurso está em Pré-visualização Pública.

nota

Este recurso requer o plano Enterprise.

A chave de gerenciamento do cliente (CMK) para Unity Catalog permite proteger os dados gerenciados pelo Databricks com sua própria chave de criptografia. Você pode configurar a criptografia no nível do catálogo, usando uma key separada para cada catálogo com base na sensibilidade dos dados ou nos requisitos compliance .

Para obter informações sobre CMK para serviço gerenciado e armazenamento workspace , consulte Chave gerenciada pelo cliente para serviço gerenciado.

tc

O que é CMK para Unity Catalog?​

O CMK para Unity Catalog permite proteger dados em catálogos Unity Catalog com armazenamento default usando sua própria chave de criptografia do serviço de gerenciamento de chaves AWS (KMS). Para um controle mais preciso, você pode configurar uma key de gerenciamento de cliente separada para catálogos específicos. Para negar o acesso aos dados, revogue a key no AWS KMS.

Benefícios do CMK para Unity Catalog​

  • Controle granular de criptografia: gerencie a criptografia no nível do catálogo, permitindo que diferentes catálogos usem chaves de criptografia diferentes com base na sensibilidade dos dados ou nos requisitos compliance .
  • Proteção com múltiplaskey : CMK protege seus dados contra acesso na camada de armazenamento. Os dados só podem ser acessados em espaços de trabalho autorizados, com base em políticas detalhadas Unity Catalog .
  • Conformidade e auditoria: Atender aos requisitos regulamentares para chaves de criptografia controladas pelo cliente e manter registros de auditoria de acesso e uso key .
  • Revogação da chave: Revogue o acesso à CMK no AWS KMS para manter a propriedade total dos seus dados.
  • Gerenciamento centralizado key : gerencie todas as chaves de criptografia por meio AWS KMS, de forma consistente com suas práticas de segurança existentes.

Como funciona o CMK para Unity Catalog​

O CMK para Unity Catalog na AWS usa a chave AWS KMS , as configurações do CMK e as configurações de criptografia em nível de catálogo para impor a criptografia controlada pelo cliente. Os seguintes componentes são essenciais para o CMK para Unity Catalog na AWS:

  • ChaveAWS KMS : Você cria e gerencia chaves de criptografia no serviço de gerenciamento de chaves AWS . Essas chaves fazem parte de uma hierarquia de criptografia com múltiplaskey que Databricks usa para proteger os dados nos catálogos Unity Catalog .
  • Configurações CMK: Você cria configurações CMK no console account Databricks para registrar sua chave AWS KMS com Databricks. As configurações CMK são objetos de nível accountque devem ser criados antes que você possa aplicar o CMK a um catálogo.
  • PermissõesIAM : Você deve conceder ao ARN raiz Databricks acesso à sua key AWS KMS atualizando a política key ou seguindo as orientações fornecidas no console account .
  • Criptografia em nível de catálogo: você configura a criptografia diretamente em catálogos individuais usando o Catalog Explorer ou a API Unity Catalog . Ao criar ou atualizar um catálogo com configurações CMK, Databricks criptografa todos os dados gravados nesse catálogo usando sua key de gerenciamento do cliente. Isso se aplica somente a catálogos com suporte de armazenamento default .
  • Aplicação dinâmica: Quando os dados são gravados em um catálogo protegido por CMK, Databricks usa sua key KMS para criptografar os dados. Ao ler dados, o Databricks solicita a descriptografia do AWS KMS. Se você revogar o acesso Databricks à key, a descriptografia falhará e os dados ficarão inacessíveis.

Limitações​

  • Você só pode configurar esse recurso usando o console account Databricks ou API REST . O suporte para Terraform não está disponível.
  • Este recurso aplica-se apenas a catálogos com armazenamento default . Isso não se aplica a catálogos com locais de armazenamento externos.

Pré-requisitos​

Antes de configurar o CMK para o Unity Catalog na AWS, verifique se você possui o seguinte:

  • Permissões de administrador da conta: Você precisa ser um administrador account Databricks para criar configurações de CMK no console account .
  • key AWS KMS : Você precisa ter uma key AWS KMS existente em sua account AWS . Esta key deve estar em estado ativo. Copie a key ARN, que tem o formato: arn:aws:kms:<region>:<account-id>:key/<key-id>.
  • PermissõesAWS IAM : Verifique se o ARN raiz Databricks tem acesso à sua key KMS . Siga as orientações em Configurar chave de gerenciamento do cliente ou utilize as instruções geradas na página da conta CMK.
  • PermissõesUnity Catalog : Para criar ou atualizar catálogos com CMK, você deve ter privilégios CREATE CATALOG e USE CATALOG no Unity Catalog.

Configurar CMK para Unity Catalog​

Siga estes passos para configurar a chave de gerenciamento do cliente para catálogos Unity Catalog na AWS.

Passo 1: Crie uma configuração CMK no console account​

Permissões necessárias: administrador da conta

Ao criar uma configuração CMK, registre sua key AWS KMS com Databricks.

  1. No console account Databricks , acesse Segurança > Chave de criptografia .

  2. Clique em Adicionar chave de criptografia .

  3. Configure as definições key de criptografia:

    • Nome : Insira um nome descritivo para sua configuração CMK, como finance-catalog-cmk ou pii-data-cmk.
    • Caso de uso : Escolha serviço gerenciado ou Serviço gerenciado e armazenamento de workspace .
    • ARNda chave : Insira ARN da sua key AWS KMS .

  4. Clique em Adicionar para criar a configuração CMK.

  5. Copie o ID de configuração da CMK do console account . Você usa esse ID ao criar ou atualizar catálogos.

Passo 2: Conceda acesso Databricks à sua key KMS​

Após criar a configuração CMK, você deve conceder ao ARN raiz Databricks acesso à sua key AWS KMS :

  1. No console AWS , acesse sua key KMS .
  2. Atualize a política key para conceder ao ARN raiz Databricks as permissões necessárias (kms:Encrypt, kms:Decrypt, kms:GenerateDataKey*, kms:DescribeKey).
  3. Siga as orientações em Configurar chave de gerenciamento do cliente ou utilize as instruções geradas exibidas no console account Databricks .

o passo 3: Criar um novo catálogo com CMK​

Permissões necessárias: CREATE CATALOG no Unity Catalog

Para criar um novo catálogo com proteção CMK, use a API Unity Catalog :

Bash
curl -X POST \
  -H "Authorization: Bearer <api_token>" \
  -H "Content-Type: application/json" \
  https://<workspace_url>/api/2.1/unity-catalog/catalogs \
  -d '{
    "name": "<catalog_name>",
    "comment": "Catalog with customer-managed encryption",
    "storage_mode": "DEFAULT_STORAGE",
    "encryption_settings": {
      "customer_managed_key_id": "<cmk-id>"
    }
  }'

Substitua os seguintes valores:

  • <workspace_url>: O URL do seu workspace Databricks (por exemplo, https://dbc-1234567-a8b9.cloud.databricks.com)
  • <api_token>Seu access tokenpessoal Databricks
  • <catalog_name>: O nome do seu novo catálogo (por exemplo, finance_data ou customer_pii)
  • <cmk-id>O ID de configuração CMK do passo 1

o passo 4: Atualizar um catálogo existente com CMK​

Permissões necessárias: MANAGE no catálogo ou propriedade do catálogo

Para adicionar ou alterar a proteção CMK em um catálogo existente que usa o armazenamento default :

  1. No Explorador de Catálogos, clique no nome do catálogo.
  2. Clique na tab Detalhes .
  3. Em Avançado , clique em Configurações de criptografia .
  4. Na caixa de diálogo, selecione sua key de gerenciamento de cliente.
  5. Clique em Salvar .

Você pode alterar a key associada a um catálogo a qualquer momento, repetindo esses passos. Não é possível desativar o CMK depois de ele ter sido ativado em um catálogo.

importante

Ao adicionar uma CMK a um catálogo existente, Databricks criptografa apenas os novos dados gravados no catálogo com a sua key de gerenciamento do cliente. Databricks- a chave de gerenciamento continua a criptografar os dados existentes. Para criptografar todos os dados com sua key de gerenciamento de cliente, você deve sobrescrever os dados existentes.

Verificar configuração CMK​

Para verificar se o seu catálogo está configurado com CMK, use a API Unity Catalog para obter os detalhes do catálogo:

Bash
curl -X GET \
  -H "Authorization: Bearer <api_token>" \
  -H "Content-Type: application/json" \
  "https://<workspace_url>/api/2.1/unity-catalog/catalogs/<catalog_name>"

A resposta inclui o campo encryption_settings para catálogos configurados com CMK:

JSON
{
  "name": "<catalog_name>",
  "storage_mode": "DEFAULT_STORAGE",
  "encryption_settings": {
    "customer_managed_key_id": "<cmk-id>"
  }
}

Revogar o acesso a dados criptografados​

Para negar Databricks o acesso a dados criptografados com sua key de gerenciamento do cliente, desative sua key no AWS KMS:

  1. No console AWS , acesse sua key KMS .
  2. Desative a key.

Após desativar a key, Databricks não poderá mais descriptografar dados em catálogos usando essa configuração de CMK. Qualquer tentativa de ler dados desses catálogos falha com um erro de descriptografia.

Pode haver um atraso entre o momento em que você desativa a key e o momento em que o acesso aos dados é negado.

Para restaurar o acesso, reative a key no AWS KMS.