Pular para o conteúdo principal

Configurar a criptografia para o S3 com o KMS

Este artigo aborda como configurar a criptografia no lado do servidor com um KMS key para ler arquivos em caminhos s3a:// usando Unity Catalog. Ele é fornecido para usuários que precisam de acesso entre nuvens a tabelas e volumes externos em buckets S3 criptografados.

Configurar a criptografia para o S3 usando o Unity Catalog

O senhor pode configurar a criptografia no lado do servidor para permitir que tabelas e volumes externos no Unity Catalog acessem dados no S3. A criptografia SSE não é compatível com tabelas externas compartilhadas usando o Delta Sharing.

Etapa 1: Atualize sua política KMS key em AWS

Para proteger os dados em S3, AWS suporta criptografia do lado do servidor (SSE) com Amazon S3 chave gerenciar (SSE-S3) ou AWS KMS chave (SSE-KMS). Se o senhor usar um AWS S3 gerenciar key, pule para a etapa 2.

  1. No AWS, acesse o serviço KMS.

  2. Clique no endereço key ao qual o senhor deseja adicionar permissão.

  3. Na seção key Policy , selecione Switch to policy view .

  4. Edite a seção da política key que permite que o S3 use o key, por exemplo:

    JSON
    {
    "Sid": "Allow access through S3 for all principals in the account that are authorized to use S3",
    "Effect": "Allow",
    "Principal": {
    "AWS": "*"
    },
    "Action": [
    "kms:Encrypt",
    "kms:Decrypt",
    "kms:ReEncrypt*",
    "kms:GenerateDataKey*",
    "kms:DescribeKey"
    ],
    "Resource": "*",
    "Condition": {
    "StringEquals": {
    "kms:CallerAccount": "<AWS ACCOUNT ID>",
    "kms:ViaService": "s3.<REGION>.amazonaws.com"
    }
    }
    },
  5. Clique em Salvar alterações .

Etapa 2: Configurar o acesso ao S3 usando o Unity Catalog

  1. Crie uma credencial de armazenamento para se conectar ao S3, usando as instruções em Criar uma credencial de armazenamento para se conectar ao Google Cloud Storage.

    Certifique-se de criar a política IAM no mesmo account que o bucket S3. Se você estiver usando o SSE-KMS, inclua o seguinte na política:

    JSON
      {
    "Action": [
    "kms:Decrypt",
    "kms:Encrypt",
    "kms:GenerateDataKey*"
    ],
    "Resource": [
    "arn:aws:kms:<KMS-KEY>"
    ],
    "Effect": "Allow"
    },

    Consulte a Etapa 1: Criar um IAM role.

  2. Crie um local externo para se conectar ao S3, usando as instruções em Criar um local externo para conectar o armazenamento em nuvem à Databricks.

  3. Configure a criptografia no lado do servidor em seu local externo, usando as instruções em Configurar um algoritmo de criptografia em um local externo (somente AWS S3).