Perfil de segurança de conformidade

Este artigo descreve o perfil de segurança compliance e seus controles compliance.

Visão geral do perfil de segurança de conformidade

O perfil de segurança compliance permite monitoramento adicional, tipos de instância aplicados para criptografia entre nós, uma imagem compute reforçada e outros recursos e controles no espaço de trabalho Databricks. A ativação do perfil de segurança compliance é necessária para usar o Databricks para processar dados regulamentados pelos seguintes padrões compliance:

• HIPAA

• Programa de avaliadores registrados da Infosec (IRAP)

• PCI-DSS

• FedRAMP Alto

• FedRAMP moderado

• UK Cyber Essentials Plus

• CCCS Medium (Protected B)

O senhor também pode optar por ativar o perfil de segurança compliance para obter recursos de segurança aprimorados sem a necessidade de estar em conformidade com um padrão compliance.

Importante

• O senhor é o único responsável por garantir sua própria compliance com todas as leis e regulamentos aplicáveis.

• O senhor é o único responsável por garantir que o perfil de segurança compliance e os padrões compliance apropriados sejam configurados antes do processamento de dados regulamentados.

• Se o senhor adicionar HIPAA, é de sua responsabilidade, antes de processar dados PHI, ter um contrato BAA com a Databricks.

Quais recursos de computação obtêm segurança aprimorada

Os aprimoramentos do perfil de segurança compliance se aplicam ao recurso compute no plano clássico compute em todas as regiões.

O suporte ao perfil de segurança compliance para serverless compute plane recurso (serverless SQL warehouse, serverless compute for Notebook e fluxo de trabalho, e serverless DLT pipeline) varia de acordo com a região e a seleção do padrão compliance. Veja a tabela abaixo:

padrão de conformidade	Clássico compute suporte de plano	sem servidor compute suporte de plano
Nenhuma	Todas as regiões	Todas as regiões com serverless
HIPAA	Todas as regiões	Todas as regiões com serverless
PCI-DSS	Todas as regiões	us-east-1, ap-southeast-2
FedRAMP moderado	Todas as regiões	us-east-1
IRAP	Todas as regiões	ap-southeast-2
CCCS Medium (Protected B)	Todas as regiões	Nenhuma
UK Cyber Essentials Plus	Todas as regiões	Nenhuma

Veja o perfil de segurança de conformidade compliance padrões com serverless compute disponibilidade.

Para obter mais informações sobre a arquitetura do plano compute, consulte a visão geral da arquiteturaDatabricks .

compliance recurso de perfil de segurança e controles técnicos

Os aprimoramentos de segurança incluem:

• Uma imagem de sistema operacional reforçada e aprimorada baseada no Ubuntu Advantage.

  O Ubuntu Advantage é um pacote de segurança empresarial e suporte para infraestrutura e aplicativos de código aberto que inclui o seguinte:

  • Uma imagem endurecida CIS Nível 1 .

  • Módulos de criptografia validados pelo FIPS 140.

• A atualização automática do cluster é ativada automaticamente.

  Os clusters são reiniciados para obter as atualizações mais recentes periodicamente durante uma janela de manutenção que o senhor pode configurar. Consulte Atualização automática do cluster.

• O monitoramento de segurança aprimorado é ativado automaticamente.

  Os agentes de monitoramento de segurança geram logs que o senhor pode analisar. Para obter mais informações sobre os agentes de monitoramento, consulte os agentes de monitoramento em Databricks compute plane images.

• Uso obrigatório dos tipos de instância doAWS Nitro em cluster e Databricks SQL SQL warehouse.

• As comunicações para saída usam TLS 1.2 ou superior, incluindo conexão com o metastore.

Requisitos

• Sua account do Databricks deve incluir o complemento de Segurança Aprimorada e compliance . Para obter detalhes, consulte a página de preços.

• Seu Databricks workspace está na camada Enterprise preços.

• A autenticação de logon único (SSO ) está configurada para o site workspace.

• Seu bucket de armazenamento Databricks workspace não pode ter um caractere de ponto final (.) em seu nome, como my-bucket-1.0. Se um bucket de armazenamento existente workspace tiver um caractere de ponto final no nome, entre em contato com a equipe Databricks account antes de ativar o perfil de segurança compliance.

• Os tipos de instância são limitados àqueles que fornecem criptografia de rede implementada por hardware entre os nós do cluster e criptografia em repouso para discos locais. Os tipos de instância suportados são:

  • Finalidade geral: M-fleet, Md-fleet, M5dn, M5n, M5zn, M7g, M7gd, M6i, M7i, M6id, M6in, M6idn

  • computar otimizado: C5a, C5ad, C5n, C6gn, C7g, C7gd, C7gn, C6i, C6id, C7i, C6in

  • Memória otimizada: R-fleet, Rd-fleet, R7g, R7gd, R6i, R7i, R7iz, R6id, R6in, R6idn

  • Armazenamento otimizado: D3, D3en, P3dn, R5dn, R5n, I4i, I3en

  • Computação acelerada: G4dn, G5, P4d, P4de, P5

Observação

As instâncias de frota não estão disponíveis em AWS Gov cloud.

o passo 1: Preparar um workspace para o perfil de segurança compliance

Siga estes passos quando o senhor criar um novo espaço de trabalho com o perfil de segurança ativado ou ativá-lo em um espaço existente workspace.

1. Verifique se há long-clusters em execução em seu site workspace antes de ativar o perfil de segurança compliance. Quando o senhor ativa o perfil de segurança compliance, os long-clusters em execução são reiniciados automaticamente durante a frequência e a janela configuradas da atualização automática do cluster. Consulte Atualização automática do cluster.

2. Certifique-se de que a autenticação de logon único (SSO) esteja configurada. Consulte Configurar SSO em Databricks.

3. Adicione as portas de rede necessárias. As portas de rede necessárias dependem do fato de a conexão back-end do PrivateLink para conectividade privada do plano compute clássico estar ativada ou não.

   • Conectividade de back-end do PrivateLink ativada: O senhor deve atualizar seu grupo de segurança de rede para permitir o acesso bidirecional à porta 2443 para conexões de criptografia FIPS. Para obter mais informações, consulte o passo 1: Configure AWS network objects.

   • Não há conectividade de back-end do PrivateLink: O senhor deve atualizar seu grupo de segurança de rede para permitir o acesso de saída à porta 2443 para dar suporte ao endpoint de criptografia FIPS. Consulte Grupos de segurança.

4. Se o seu workspace estiver na região Leste dos EUA, Oeste dos EUA ou Canadá (Central) e estiver configurado para restringir o acesso à rede de saída, o senhor deverá permitir o tráfego para o endpoint adicional para oferecer suporte ao endpoint FIPS para o serviço S3. Isso se aplica ao serviço S3, mas não aos pontos de extremidade STS e Kinesis. AWS ainda não fornece o endpoint FIPS para STS e Kinesis.

   • Para S3, permita o tráfego de saída para o endpoint s3.<region>.amazonaws.com e s3-fips.<region>.amazonaws.com. Por exemplo s3.us-east-1.amazonaws.com e s3-fips.us-east-1.amazonaws.com.

5. Execute os testes a seguir para verificar se as alterações foram aplicadas corretamente:

   1. Inicie clusters Databricks com 1 driver e 1 worker, qualquer versão do DBR e qualquer tipo de instância.

   2. Crie um Notebook anexado aos clusters. Use esses clusters para os testes a seguir.

   3. No Notebook, valide a conectividade DBFS executando:

      %fs ls /
      %sh ls /dbfs
      

      Confirme se uma listagem de arquivos aparece sem erros.

   4. Confirme o acesso à instância do plano de controle para sua região. Obtenha o endereço na tabela de endereços IP e domínios para Databricks serviço e ativo e procure o Webapp endpoint para sua região VPC.

      %sh nc -zv <webapp-domain-name> 443
      

      Por exemplo, para região VPC us-west-2:

      %sh nc -zv oregon.cloud.databricks.com 443
      

      Confirme se o resultado diz que foi bem-sucedido.

   5. Confirme o acesso ao relé SCC de sua região. Obtenha o endereço na tabela de endereços IP e domínios para Databricks serviço e ativo e procure o relé SCC endpoint para sua região VPC.

      %sh nc -zv <scc-relay-domain-name> 2443
      

      Por exemplo, para região VPC us-west-1:

      %sh nc -zv tunnel.cloud.databricks.com 2443
      

      Confirme se os resultados dizem que foi bem-sucedido.

   6. Se o seu workspace estiver na região leste dos EUA, na região oeste dos EUA ou na região do Canadá (Central), confirme o acesso ao endpoint S3 da sua região.

      %sh nc -zv <bucket-name>.s3-fips.<region>.amazonaws.com 443
      

      Por exemplo, para região VPC us-west-1:

      %sh nc -zv acme-company-bucket.s3-fips.us-west-1.amazonaws.com 443
      

      Confirme se os resultados de todos os três comandos indicam sucesso.

   7. No mesmo Notebook, valide se a configuração Spark clusters aponta para os endpoints desejados. Por exemplo:

      >>> spark.conf.get("fs.s3a.stsAssumeRole.stsEndpoint")
      "sts.us-west-1.amazonaws.com"
      
      >>> spark.conf.get("fs.s3a.endpoint")
      "s3-fips.us-west-2.amazonaws.com"
      

6. Confirme se todos os compute existentes em todos os espaços de trabalho afetados usam apenas os tipos de instância compatíveis com o perfil de segurança compliance, listados em Requisitos acima.

   Qualquer carga de trabalho com um tipo de instância fora da lista acima resultaria na falha de compute para startup com um invalid_parameter_exception.

o passo 2: Habilitar o perfil de segurança compliance em um workspace

Observação

Databricks Assistant é desativado por default no espaço de trabalho que ativou o perfil de segurança compliance. Os administradores do espaço de trabalho podem ativá-lo seguindo as instruções Para um account: Desative ou ative o recurso Databricks Assistant .

1. Habilite o perfil de segurança compliance.

   Para habilitar o perfil de segurança compliance em um workspace e, opcionalmente, adicionar padrões compliance, consulte Habilitar segurança aprimorada e compliance recurso em um workspaceexistente.

   Para criar um novo workspace com o perfil de segurança compliance e, opcionalmente, adicionar padrões compliance, consulte Criar um novo workspace com segurança aprimorada e compliance recurso.

   O senhor também pode definir as configurações de nível accountpara ativar o perfil de segurança (com os padrões compliance ) em todos os novos espaços de trabalho. Consulte Definir account-level default para todos os novos espaços de trabalho.

   As atualizações podem levar até seis horas para serem propagadas para todos os ambientes. As cargas de trabalho que estão sendo executadas ativamente continuam com as configurações que estavam ativas no momento em que o compute recurso foi iniciado, e novas configurações serão aplicadas na próxima vez que essas cargas de trabalho forem iniciadas.

2. Reinicie todos os sites em execução compute.

o passo 3: Confirme se o perfil de segurança compliance está ativado para um workspace

Para confirmar se um workspace está usando o perfil de segurança compliance , verifique se ele tem o logotipo de escudo amarelo exibido na interface do usuário.

• Um logotipo de escudo aparece no canto superior direito da página, à esquerda do nome do workspace :

  

• Clique no nome workspace para ver uma lista dos espaços de trabalho aos quais o senhor tem acesso. O espaço de trabalho que habilita o perfil de segurança compliance tem um ícone de escudo seguido do texto "compliance security profile".

  

Também é possível confirmar que um workspace está usando o perfil de segurança compliance em Security and compliance tab na página workspace do console account.

Se os ícones de escudo estiverem faltando para um workspace com o perfil de segurança compliance habilitado, entre em contato com a equipe da sua account do Databricks.