Configure um data warehouse SQL serverless .
Esta página explica como configurar um repositório SQL serverless para seu workspace.
O armazém sem servidor SQL não tem endereços IP públicos. Para obter mais informações sobre arquitetura, consulte Arquitetura de alto nível.
Visão geral da habilitação de computação sem servidor
O recurso serverless está habilitado por default na maioria das contas. O modelo serverless pode não estar habilitado nos seguintes cenários:
- O espaço de trabalho não atende aos requisitos: O workspace deve atender a todos os requisitos listados nesta página. Os espaços de trabalho inelegíveis mostram serverless como desativado, com uma dica explicando o motivo.
- Se uma account tiver um adiamento concedido, serverless não estará ativado por default e os novos espaços de trabalho nessa account herdarão o status de adiamento. Você pode solicitar a ativação em nível de workspacesem ativar a account inteira. Entre em contato com a equipe da sua account Databricks para cancelar o adiamento.
- A conta não aceitou os Termos de Serviço: o modelo sem servidor exige a aceitação de termos adicionais no console account . Consulte Ativar compute serverless na sua account.
Requisitos
- Sua conta da Databricks não deve estar em um trial grátis.
- Seu espaço de trabalho do Databricks deve estar no plano Premium ou superior.
- O armazenamento de dados SQL sem servidor é compatível com todas as regiões AWS . Veja a disponibilidade sem servidor.
- Seu workspace não deve usar políticas de acesso S3.
- Seu workspace não deve usar um metastore legado externo do Hive. Consulte Remover as credenciais de Hive metastore para habilitar serverless.
Seu workspace pode usar AWS Glue como o metastore legado workspace. Consulte Use AWS Glue catálogo de dados como um metastore (legado).
Habilite o site serverless compute em seu account
Se sua account foi criada após 28 de março de 2022, compute serverless já está habilitado para seu espaço de trabalho elegível. Você pode verificar o status na tab de ativação de recursos da página de configurações do console account.
- Acesse a guia de ativação de recursos da página de configurações do console da conta.
- Um banner na parte superior da página solicita que você aceite os termos adicionais. Leia os termos e clique em Aceitar . Se você não vir o banner, esta etapa já foi concluída.
Após aceitar os termos, sua account será habilitada para serverless.
Atualize instance profile para serverless compute (opcional)
Se o seu workspace utiliza um instance profile criado antes de 24 de junho de 2022 para acesso a dados, atualize a relação de confiança do instance profile para habilitar o serverless. Consulte Confirmar ou configurar um instance profile AWS para usar com seu data warehouse SQL serverless.
Você não precisa concluir esta etapa se estiver usando Unity Catalog para governança de dados.
Remova as credenciais do site Hive metastore para habilitar serverless
Não é possível implantar um warehouse SQL serverless se as credenciais Hive metastore estiverem definidas no nível workspace . Para remover as credenciais legadas Hive metastore :
- Clique no seu nome de usuário na barra superior do workspace e selecione Configurações no menu suspenso.
- Clique na aba Compute .
- Clique em Gerenciar ao lado de SQL warehouses .
- No campo Configuração de acesso a dados , localize e exclua as credenciais do Hive metastore.
- Clique em Salvar alterações .
Monitore o uso com tags
Como qualquer outro recurso compute em Databricks, o senhor pode aplicar tags ao depósito serverless SQL para monitorar o uso e o custo. O senhor pode usar o view no console account ou acessar o logs para download. Consulte Painéis de uso.
Limitações
Os warehouses serverless têm as seguintes limitações:
- Políticas de cluster, incluindo políticas de instâncias spot, não são suportadas. Consulte Criar e gerenciar políticas compute.
- Os VPCs para gerenciar clientes não se aplicam a compute recurso para serverless SQL warehouse. Consulte Configurar um gerenciador de clientes VPC.
- Os SQL warehouses serverless utilizam conectividade privada entre o plano de controle Databricks e o plano de computação serverless em quase todos os casos. Alguns workspaces antigos da região
us-east-1usam uma conexão de rede segura alternativa. - Embora o plano de computação serverless não use o relé de conectividade segura do cluster para o plano de computação clássico, os SQL warehouses serverless não possuem endereços IP públicos.
- Os data warehouses SQL sem servidor não usam chave gerenciável pelo cliente para criptografia de armazenamento EBS. Consulte compute sem servidor e chave de gerenciamento de clientes.