Pular para o conteúdo principal
Última atualização em

Criar um workspace com configurações manuais AWS

Esta página explica como implantar um workspace clássico usando um recurso AWS criado manualmente. Use este método se você quiser criar seu próprio recurso AWS ou precisar implantar um workspace com configurações personalizadas, como sua própria VPC, políticas IAM específicas ou buckets S3 preexistentes.

Para a maioria das implementações, Databricks recomenda o uso da configuração automatizada, que utiliza a delegação temporária AWS IAM para provisionar automaticamente todos os recursos necessários.

Requisitos​

Para criar um workspace com configuração manual, você deve:

  • Seja um account da sua account Databricks .
  • Tenha permissões para provisionar funções IAM , buckets S3 e políticas de acesso em sua account AWS .
  • Tenha uma VPC e um gateway NAT disponíveis em sua account AWS na região do workspace. Você pode view suas cotas disponíveis e solicitar aumentos usando o console de cotas do serviçoAWS.
  • Tenha o endpoint STS ativado para us-west-2. Para obter detalhes, consulte a documentação da AWS.

Crie um workspace Databricks com configurações manuais AWS​

Para criar um workspace com um recurso AWS configurado manualmente:

  1. Vá para o consoleaccount e clique no ícone do espaço de trabalho .
  2. Clique em Criar espaço de trabalho .
  3. No campo Nome do workspace , insira um nome legível por humanos para este workspace. Pode conter espaços.
  4. No campo Região , selecione uma região AWS para a rede e os recursos compute do seu workspace.
  5. Na dropdown de credenciais na nuvem , selecione ou crie uma configuração de credenciais. Se você criar uma nova configuração de credenciais, consulte Criar uma configuração de credenciais.
  6. No dropdown de armazenamento em nuvem , selecione ou crie a configuração de armazenamento que você usará para este workspace. Se você criar uma nova configuração de armazenamento, consulte Criar uma configuração de armazenamento.
  7. (Opcional) Defina todas as configurações avançadas . Consulte Configurações avançadas.
  8. Clique em Avançar .
  9. Revise os detalhes do site workspace e clique em Create workspace .

Crie uma configuração de credencial​

A configuração da credencial dá acesso a Databricks para iniciar compute recurso em seu AWS account. Esta etapa exige que o senhor crie um novo siteaccount IAM role com uma política de acesso.

Etapa 1: Criar um cruzamento -account IAM role​

  1. Obtenha sua ID Databricks account . Consulte Localizar sua account ID.
  2. Faça login no console do AWS como um usuário com privilégios de administrador e acesse o console do IAM .
  3. Clique na guia Funções na barra lateral.
  4. Clique em Criar função .
    1. Em Selecionar tipo de entidade confiável , clique no bloco da conta da AWS .
    2. Marque a caixa de seleção Outra conta AWS .
    3. No campo account ID (ID da conta), digite Databricks account ID 414351767826. Esse não é o ID da conta que o senhor copiou do console Databricks account . Se o senhor estiver usando Databricks on AWS GovCloud use o Databricks account ID 044793339203 para AWS GovCloud ou 170661010020 para AWS GovCloud DoD.
    4. Marque a caixa de seleção Exigir ID externa .
    5. No campo ID externo , digite o ID da sua conta Databricks, que foi copiado do console da conta Databricks.
    6. Clique no botão Avançar .
    7. Na página Adicionar permissões , clique no botão Avançar . Agora você deve estar na página Nome, revisão e criação .
    8. No campo Nome da função , insira um nome de papel.
    9. Clique em Criar papel . A lista de funções é exibida.

Etapa 2: criar uma política de acesso​

A política de acesso que você adiciona à função depende do seu tipo de implantação Amazon VPC (Virtual Private Cloud). Para obter informações sobre como Databricks usa cada permissão, consulte PermissõesIAM para Databricks- gerenciar VPCs.

  1. Na seção Funções do console do IAM , clique no IAM role que você criou na Etapa 1.
  2. Clique no menu suspenso Adicionar permissões e selecione Criar política em linha .
  3. No editor de políticas, clique na guia JSON .
  4. Copie e cole a política de acesso apropriada para o seu tipo de implantação:

Uma única VPC que o Databricks cria e configura em sua conta da AWS.

JSON
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "Stmt1403287045000",
      "Effect": "Allow",
      "Action": [
        "ec2:AllocateAddress",
        "ec2:AssignPrivateIpAddresses",
        "ec2:AssociateDhcpOptions",
        "ec2:AssociateIamInstanceProfile",
        "ec2:AssociateRouteTable",
        "ec2:AttachInternetGateway",
        "ec2:AttachVolume",
        "ec2:AuthorizeSecurityGroupEgress",
        "ec2:AuthorizeSecurityGroupIngress",
        "ec2:CancelSpotInstanceRequests",
        "ec2:CreateDhcpOptions",
        "ec2:CreateFleet",
        "ec2:CreateInternetGateway",
        "ec2:CreateLaunchTemplate",
        "ec2:CreateLaunchTemplateVersion",
        "ec2:CreateNatGateway",
        "ec2:CreateRoute",
        "ec2:CreateRouteTable",
        "ec2:CreateSecurityGroup",
        "ec2:CreateSubnet",
        "ec2:CreateTags",
        "ec2:CreateVolume",
        "ec2:CreateVpc",
        "ec2:CreateVpcEndpoint",
        "ec2:DeleteDhcpOptions",
        "ec2:DeleteFleets",
        "ec2:DeleteInternetGateway",
        "ec2:DeleteLaunchTemplate",
        "ec2:DeleteLaunchTemplateVersions",
        "ec2:DeleteNatGateway",
        "ec2:DeleteRoute",
        "ec2:DeleteRouteTable",
        "ec2:DeleteSecurityGroup",
        "ec2:DeleteSubnet",
        "ec2:DeleteTags",
        "ec2:DeleteVolume",
        "ec2:DeleteVpc",
        "ec2:DeleteVpcEndpoints",
        "ec2:DescribeAvailabilityZones",
        "ec2:DescribeFleetHistory",
        "ec2:DescribeFleetInstances",
        "ec2:DescribeFleets",
        "ec2:DescribeIamInstanceProfileAssociations",
        "ec2:DescribeInstanceStatus",
        "ec2:DescribeInstances",
        "ec2:DescribeInternetGateways",
        "ec2:DescribeLaunchTemplates",
        "ec2:DescribeLaunchTemplateVersions",
        "ec2:DescribeNatGateways",
        "ec2:DescribePrefixLists",
        "ec2:DescribeReservedInstancesOfferings",
        "ec2:DescribeRouteTables",
        "ec2:DescribeSecurityGroups",
        "ec2:DescribeSpotInstanceRequests",
        "ec2:DescribeSpotPriceHistory",
        "ec2:DescribeSubnets",
        "ec2:DescribeVolumes",
        "ec2:DescribeVpcs",
        "ec2:DetachInternetGateway",
        "ec2:DisassociateIamInstanceProfile",
        "ec2:DisassociateRouteTable",
        "ec2:GetLaunchTemplateData",
        "ec2:GetSpotPlacementScores",
        "ec2:ModifyFleet",
        "ec2:ModifyLaunchTemplate",
        "ec2:ModifyVpcAttribute",
        "ec2:ReleaseAddress",
        "ec2:ReplaceIamInstanceProfileAssociation",
        "ec2:RequestSpotInstances",
        "ec2:RevokeSecurityGroupEgress",
        "ec2:RevokeSecurityGroupIngress",
        "ec2:RunInstances",
        "ec2:TerminateInstances"
      ],
      "Resource": ["*"]
    },
    {
      "Effect": "Allow",
      "Action": ["iam:CreateServiceLinkedRole", "iam:PutRolePolicy"],
      "Resource": "arn:aws:iam::*:role/aws-service-role/spot.amazonaws.com/AWSServiceRoleForEC2Spot",
      "Condition": {
        "StringLike": {
          "iam:AWSServiceName": "spot.amazonaws.com"
        }
      }
    }
  ]
}
  1. Clique em Revisar política .
  2. No campo Nome , insira um nome de política.
  3. Clique em Criar política .
  4. (Opcional) Se o senhor usar Políticas de controle de serviço para negar determinadas ações no nível AWS account , certifique-se de que sts:AssumeRole esteja na lista de permissões para que o Databricks possa assumir a função cruzadaaccount.
  5. No resumo da função, copie o ARNda função para colar na configuração de credenciais ou passo.

Etapa 3: criar a configuração da credencial​

A configuração de credenciais é um objeto de configuração Databricks que representa a IAM role que você criou na etapa anterior.

Para criar uma configuração de credencial:

  1. Ao criar o novo workspace, no menu dropdown de credenciais na nuvem , selecione Adicionar credencial cloud .
  2. Selecione Adicionar manualmente .
  3. No campo "Nome da credencial na nuvem" , insira um nome legível para sua nova configuração de credencial.
  4. No campo ARNda função , cole o ARN da função que você copiou na etapa anterior.
  5. Clique em OK .

A Databricks valida a configuração da credencial durante essa etapa. Os possíveis erros podem incluir um ARN inválido ou permissões incorretas para a função, entre outros.

Crie uma configuração de armazenamento​

Na configuração de armazenamento, você cria um bucket de armazenamento para guardar seu workspace ativo Databricks , como dados, biblioteca e logs. É também aqui que o catálogo default do workspace é armazenado. Como parte da configuração de armazenamento, você também cria uma IAM role que Databricks usa para acessar o local de armazenamento.

Etapa 1: Criar um bucket S3​

  1. Faça login no console AWS como usuário com privilégios de administrador e acesse o serviço S3 .

  2. Clique no botão Criar bucket .

  3. Insira um nome para o bucket.

  4. Selecione a região AWS que o senhor usará para sua implementação Databricks workspace .

  5. Clique em Criar bucket .

  6. Clique na guia Permissões .

  7. Na seção Política de bucket , clique em Editar .

  8. Adicione a seguinte política de bucket, substituindo <BUCKET-NAME> pelo nome do seu bucket e <YOUR-DATABRICKS-ACCOUNT-ID> pelo seu ID Databricks account .

    JSON
    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Sid": "Grant Databricks Access",
          "Effect": "Allow",
          "Principal": {
            "AWS": "arn:aws:iam::414351767826:root"
          },
          "Action": [
            "s3:GetObject",
            "s3:GetObjectVersion",
            "s3:PutObject",
            "s3:DeleteObject",
            "s3:ListBucket",
            "s3:GetBucketLocation"
          ],
          "Resource": ["arn:aws:s3:::<BUCKET-NAME>/*", "arn:aws:s3:::<BUCKET-NAME>"],
          "Condition": {
            "StringEquals": {
              "aws:PrincipalTag/DatabricksAccountId": ["<YOUR-DATABRICKS-ACCOUNT-ID>"]
            }
          }
        },
        {
          "Sid": "Prevent DBFS from accessing Unity Catalog metastore",
          "Effect": "Deny",
          "Principal": {
            "AWS": "arn:aws:iam::414351767826:root"
          },
          "Action": ["s3:*"],
          "Resource": ["arn:aws:s3:::<BUCKET-NAME>/unity-catalog/*"]
        }
      ]
    }

  9. Salve o bucket.

Etapa 2: Criar um IAM role com uma política de confiança personalizada​

Essa política de confiança e IAM role estabelece uma relação de confiança entreaccount para que Databricks possa acessar dados no bucket S3 em nome de usuários Databricks. O ARN na seção Principal é um valor estático que faz referência a uma função criada pela Databricks. O site ARN é ligeiramente diferente se o senhor usar Databricks on AWS GovCloud.

  1. Em seu site AWS account, crie um IAM role com uma política de confiança personalizada .

  2. No campo Custom Trust Policy (Política de confiança personalizada ), cole o JSON da política a seguir:

    A política define a ID externa como 0000 como espaço reservado. O senhor atualiza isso para o ID account do seu Databricks account em uma etapa posterior.

JSON
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": ["arn:aws:iam::414351767826:role/unity-catalog-prod-UCMasterRole-14S5ZJVKOTYTL"]
      },
      "Action": "sts:AssumeRole",
      "Condition": {
        "StringEquals": {
          "sts:ExternalId": "0000"
        }
      }
    }
  ]
}

  1. Salve a IAM role.

    Agora que você criou a função, atualize sua política de confiança para torná-la presunçosa.

  2. No site IAM role que o senhor acabou de criar, acesse Trust Relationships tab e edite a política de relacionamento de confiança da seguinte forma, substituindo os valores <YOUR-AWS-ACCOUNT-ID>, <THIS-ROLE-NAME> e <YOUR-DATABRICKS-ACCOUNT-ID>.

JSON
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": [
          "arn:aws:iam::414351767826:role/unity-catalog-prod-UCMasterRole-14S5ZJVKOTYTL",
          "arn:aws:iam::<YOUR-AWS-ACCOUNT-ID>:role/<THIS-ROLE-NAME>"
        ]
      },
      "Action": "sts:AssumeRole",
      "Condition": {
        "StringEquals": {
          "sts:ExternalId": "<YOUR-DATABRICKS-ACCOUNT-ID>"
        }
      }
    }
  ]
}

  1. Ignore a configuração da política de permissões. Você voltará para adicionar isso em uma etapa posterior.

  2. Copie o ARN IAM role , que você colará na configuração de armazenamento o passo.

Etapa 3: Crie uma política de IAM para conceder acesso de leitura e gravação​

  1. Crie uma política IAM no mesmo account que o bucket S3, substituindo os seguintes valores:

    • <BUCKET>: nome do depósito S3.
    • <AWS-ACCOUNT-ID>: ID de account da sua account da AWS (não da sua account do Databricks).
    • <AWS-IAM-ROLE-NAME>: nome da IAM role AWS que você criou na passo anterior.
    • <KMS-KEY> (Opcional): Se a criptografia estiver ativada, forneça o nome do KMS key que criptografa o conteúdo do bucket S3. Se a criptografia estiver desativada, remova toda a seção KMS da política de IAM.

    Esta policy de IAM concede acesso de leitura e gravação. Você também pode criar uma policy que conceda acesso somente de leitura. No entanto, isso pode ser desnecessário, pois você pode marcar a credencial de armazenamento como somente leitura, e qualquer acesso de gravação concedido por essa IAM role será ignorado.

    JSON
    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Effect": "Allow",
          "Action": ["s3:GetObject", "s3:PutObject", "s3:DeleteObject"],
          "Resource": "arn:aws:s3:::<BUCKET>/unity-catalog/*"
        },
        {
          "Effect": "Allow",
          "Action": ["s3:ListBucket", "s3:GetBucketLocation"],
          "Resource": "arn:aws:s3:::<BUCKET>"
        },
        {
          "Action": ["kms:Decrypt", "kms:Encrypt", "kms:GenerateDataKey*"],
          "Resource": ["arn:aws:kms:<KMS-KEY>"],
          "Effect": "Allow"
        },
        {
          "Action": ["sts:AssumeRole"],
          "Resource": ["arn:aws:iam::<AWS-ACCOUNT-ID>:role/<AWS-IAM-ROLE-NAME>"],
          "Effect": "Allow"
        }
      ]
    }
nota

Se você precisar de uma policy de IAM mais restritiva para o Unity Catalog, entre em contato com a equipe da sua account do Databricks para obter ajuda.

  1. Crie uma política IAM separada para eventos de arquivo no mesmo account que o bucket S3.
nota

Essa etapa é opcional, mas altamente recomendada. Se o senhor não conceder acesso ao Databricks para configurar eventos de arquivo em seu nome, deverá configurar os eventos de arquivo manualmente para cada local. Se não o fizer, o senhor terá acesso limitado aos recursos críticos que o site Databricks liberará no futuro.

A política de IAM concede à Databricks permissão para atualizar a configuração de notificação de eventos do seu bucket, criar um tópico de SNS, criar uma fila de SQS e assinar a fila de SQS no tópico de SNS. Esses são recursos necessários para os recursos que usam eventos de arquivo. Substitua <BUCKET> pelo nome do bucket S3.

JSON
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "ManagedFileEventsSetupStatement",
      "Effect": "Allow",
      "Action": [
        "s3:GetBucketNotification",
        "s3:PutBucketNotification",
        "sns:ListSubscriptionsByTopic",
        "sns:GetTopicAttributes",
        "sns:SetTopicAttributes",
        "sns:CreateTopic",
        "sns:TagResource",
        "sns:Publish",
        "sns:Subscribe",
        "sqs:CreateQueue",
        "sqs:DeleteMessage",
        "sqs:ReceiveMessage",
        "sqs:SendMessage",
        "sqs:GetQueueUrl",
        "sqs:GetQueueAttributes",
        "sqs:SetQueueAttributes",
        "sqs:TagQueue",
        "sqs:ChangeMessageVisibility",
        "sqs:PurgeQueue"
      ],
      "Resource": ["arn:aws:s3:::<BUCKET>", "arn:aws:sqs:*:*:*", "arn:aws:sns:*:*:*"]
    },
    {
      "Sid": "ManagedFileEventsListStatement",
      "Effect": "Allow",
      "Action": ["sqs:ListQueues", "sqs:ListQueueTags", "sns:ListTopics"],
      "Resource": "*"
    },
    {
      "Sid": "ManagedFileEventsTeardownStatement",
      "Effect": "Allow",
      "Action": ["sns:Unsubscribe", "sns:DeleteTopic", "sqs:DeleteQueue"],
      "Resource": ["arn:aws:sqs:*:*:*", "arn:aws:sns:*:*:*"]
    }
  ]
}

  1. Retorne ao site IAM role que o senhor criou na Etapa 2.

  2. Em Permission tab, anexe as políticas IAM que o senhor acabou de criar.

Etapa 4: criar a configuração de armazenamento​

Agora, retorne ao fluxo de criação workspace para que você possa criar manualmente a configuração de armazenamento no Databricks:

  1. No menu dropdown de armazenamento em nuvem , selecione Adicionar novo armazenamento cloud .
  2. Selecione Adicionar manualmente .
  3. No campo Nome da configuração de armazenamento , insira um nome legível para a configuração de armazenamento.
  4. No campo Nome do bucket , insira o nome do bucket S3 que você criou em sua account AWS .
  5. No campo ARNIAM role , cole o ARN da IAM role que você criou na etapa 2.
  6. Clique em OK .

Configurações avançadas​

As configurações a seguir são opcionais quando o senhor cria um novo workspace. Para view essas configurações, clique em Advanced configurations (Configurações avançadas ) dropdown na etapa Credentials (Credenciais ).

  • Metastore : Confirme a atribuição do metastore para seu workspace. O metastore é selecionado automaticamente se já existir um metastore Unity Catalog na região do workspace e se o metastore estiver configurado para ser atribuído automaticamente ao novo espaço de trabalho. Se este for o primeiro workspace que o senhor estiver implantando em uma região, o metastore será criado automaticamente. Os metastores são criados sem armazenamento em nível de metastore pelo site default. Se você quiser armazenamento em nível de metástore, você pode adicioná-lo. Consulte Adicionar armazenamento gerenciar a um metastore existente.
  • Configuração de rede : Para criar o workspace em sua própria VPC, selecione ou adicione uma configuração de rede . Para obter instruções sobre como configurar sua própria VPC, consulte Configurar uma VPCde gerenciamento de clientes. Se você estiver usando uma VPC gerenciadora de clientes, certifique-se de que sua IAM role utilize uma política de acesso que suporte VPCs gerenciadoras de clientes.
  • Link privado : para ativar o PrivateLink, selecione ou adicione uma configuração de acesso privado. Para isso, é necessário que o senhor crie o endpoint VPC regional correto, registre-o e faça referência a ele na configuração da rede.
  • Chave de gerenciamento do cliente : Você pode adicionar uma chave de criptografia à sua implantação workspace para o serviço de gerenciamento e o armazenamento workspace . A key para o serviço gerenciado criptografa Notebooks, segredos e dados de consulta Databricks SQL no plano de controle. A key para o armazenamento workspace criptografa o bucket de armazenamento workspace e os volumes EBS do recurso compute no plano compute clássico. Para obter mais orientações, consulte Configurar chave de gerenciamento do cliente para criptografia.
  • Segurança e compliance : Essas caixas de seleção permitem que o senhor ative o perfil de segurança compliance, adicione padrões compliance e ative o monitoramento de segurança aprimorado para o seu workspace. Para obter mais informações, consulte Configure enhanced security and compliance settings.

Ver o status do site workspace​

Depois de criar um workspace, você pode visualizar seu status na página Workspaces .

  • Provisionamento : em andamento. Aguarde alguns minutos e atualize a página.
  • Em execução : implantação bem-sucedida do workspace.
  • Falha : falha na implantação.
  • Conta banida : entre em contato com a equipe da sua account Databricks .
  • Cancelamento : em processo de cancelamento.

fazer login em um workspace​

  1. Vá para o consoleaccount e clique no ícone do espaço de trabalho .
  2. Na linha com seu workspace, clique em Abrir .
  3. Para log in como administrador de workspace, log in com seu endereço e senha de proprietário ou administrador de account account email . Se o senhor configurou o login único, clique no botão Single Sign On .

Próximas etapas​

Agora que o senhor implantou o site workspace, pode começar a desenvolver sua estratégia de dados. A Databricks recomenda os seguintes artigos: