SQL warehouse tipos
Databricks SQL suporta os tipos serverless, pro e classic. Este artigo descreve os recursos disponíveis para cada tipo e compara o desempenho e o recurso.
Recursos de desempenho por tipo
Cada tipo de SQL warehouse tem diferentes capacidades de desempenho. A tabela a seguir mostra o desempenho recurso suportado por cada tipo de SQL warehouse.
Tipo de armazém |
Photon Motor |
IO preditivo |
Gerenciamento inteligente da Workload |
---|---|---|---|
Serverless |
X |
X |
X |
Pro |
X |
X |
|
Clássico |
X |
A lista a seguir descreve cada recurso de desempenho:
Photon: O mecanismo de consulta vetorizada integrada em Databricks. Ele agiliza suas chamadas de API SQL e DataFrame existentes e reduz o custo total por carga de trabalho.
IO preditivo: Um conjunto de recursos para acelerar as operações de varredura seletiva em SQL queries. A E/S preditiva pode fornecer uma ampla variedade de acelerações.
Gerenciamento inteligente de carga de trabalho (IWM): Um conjunto de recursos que aprimora a capacidade do Databricks SQL serverless de processar um grande número de consultas de forma rápida e econômica. Usando as técnicas de previsão e gerenciamento dinâmico do AI, o IWM trabalha para verificar se as cargas de trabalho têm a quantidade certa de recursos rapidamente. A key diferença do está nos AI recursos do Databricks SQL para responder dinamicamente às demandas de carga de trabalho em vez de usar limites estáticos.
Observação
Para obter os preços de cada tipo de warehouse e uma comparação detalhada de recursos, consulte Databricks SQL. Para saber mais sobre os recursos mais recentes do Databricks SQL, consulte as notas de versão do Databricks SQL.
desempenho diferenças entre os tipos de SQL warehouse
Cada tipo de SQL warehouse tem características de desempenho diferentes.
sem servidor SQL warehouse
Usando a Databricks serverless arquitetura, um serverless SQL warehouse suporta todo o desempenho recurso Databricks SQL de. Com um serverless SQL warehouse e seu desempenho recurso, o senhor obtém:
Tempo rápido de startup (normalmente entre 2 e 6 segundos).
Aumento rápido de escala para adquirir mais compute quando necessário para manter a baixa latência.
A admissão de consultas está mais próxima da limitação do hardware do que a máquina virtual.
Redimensionamento rápido para minimizar os custos quando a demanda é baixa, proporcionando desempenho consistente com custos e recursos otimizados.
Escolha um serverless SQL warehouse para obter o melhor desempenho do startup, a E/S mais eficiente, um tratamento mais inteligente da demanda de consultas que varia muito ao longo do tempo e uma rápida autoescala quando ocorre enfileiramento de consultas. Consulte escala automática sem servidor e enfileiramento de consultas.
O site serverless SQL warehouse tem um bom desempenho com esses tipos de cargas de trabalho:
ETL
Business Intelligence
Análise exploratória
Importante
Os SQL warehouses não oferecem suporte à passagem de credenciais. O Databricks recomenda a utilização do Unity Catalog para governação de dados. Consulte O que é Unity Catalog?.
Pro SQL warehouse
Um pro SQL warehouse suporta Photon e Predictive IO, mas não suporta Intelligent Workload Management. Com um pro SQL warehouse (diferente de um serverless SQL warehouse), a camada compute existe em seu AWS account account em vez de em seu Databricks account. Sem o Gerenciamento Inteligente de Carga de Trabalho, os armazéns são menos responsivos à demanda de consulta que varia muito ao longo do tempo e não podem autoscale tão rapidamente quanto um serverless SQL warehouse. Um SQL warehouse profissional leva vários minutos para ser iniciado (normalmente cerca de 4 minutos) e sobe e desce com menos capacidade de resposta do que um serverless SQL warehouse. Consulte Enfileiramento e escala automática para o armazém pro e clássico SQL .
Use um profissional SQL warehouse quando o senhor quiser:
sem servidor SQL warehouse não estão disponíveis em uma região.
O senhor tem uma rede personalizada e deseja se conectar a bancos de dados em sua rede em cloud ou on-premises para federação ou uma arquitetura de tipo híbrido. Por exemplo, use um pro SQL warehouse se quiser colocar outros serviços em sua rede, como um barramento de eventos ou bancos de dados, ou se quiser conectar sua rede à rede on-premises.
Clássico SQL warehouse
Um SQL warehouse clássico suporta Photon, mas não suporta Predictive IO ou Intelligent Workload Management. Com um SQL warehouse clássico (diferente de um serverless SQL warehouse), a camada compute existe em seu AWS account account e não em seu Databricks account. Sem suporte para Predictive IO ou Intelligent Workload Management, um SQL warehouse clássico oferece apenas desempenho de nível básico e menos desempenho do que um serverless ou um SQL warehouse profissional. Um SQL warehouse clássico também leva vários minutos para iniciar (normalmente, aproximadamente 4 minutos) e sobe e desce com menos capacidade de resposta do que um serverless SQL warehouse. Consulte Enfileiramento e escala automática para o armazém pro e clássico SQL .
Use o clássico SQL warehouse para executar consultas interativas para exploração de dados com desempenho de nível básico e Databricks SQL recurso.
Observação
Para obter informações sobre o dimensionamento do site SQL warehouse e como ele escala em resposta ao enfileiramento de consultas, consulte Enfileiramento e escala automática para o armazém pro e clássico SQL .
Quais são os padrões do tipo de warehouse?
Para espaço de trabalho em regiões que suportam o armazém serverless SQL e satisfazem os requisitos:
Usando a UI, o tipo de SQL warehouse padrão é serverless.
Se o seu account precisar de termos de uso atualizados, os administradores do workspace serão solicitados na UI do Databricks SQL.
Usando o depósitoSQL APIcom parâmetros default, o tipo default SQL warehouse é clássico. Para usar o serverless, defina o parâmetro
enable_serverless_compute
comotrue
ewarehouse_type
comopro
. Se esse workspace tiver usado o depósito SQL API para criar um depósito entre 1º de setembro de 2022 e 30 de abril de 2023 e atender aos requisitos do depósito serverless SQL , o default permanecerá definido comotrue
. Para evitar ambiguidade, especialmente em organizações com muitos espaços de trabalho, o site Databricks recomenda sempre definir esse campo.Se o site workspace usar um armazém externo legado Hive metastore, serverless SQL não são compatíveis. O tipo default SQL warehouse é o mesmo que se o serverless compute estivesse desativado, o que é a favor da interface do usuário e do clássico usando o API. Além disso, entre em contato com sua equipe Databricks account para saber mais sobre Unity Catalog ou outras opções.
Para workspaces que não oferecem suporte a SQL warehouses serverless:
Usando a UI, o tipo de SQL warehouse padrão é pro.
Usando o depósitoSQL APIcom parâmetros default, o tipo default SQL warehouse é clássico.
Observação
Se o seu account precisar de termos de uso atualizados, os administradores do workspace serão solicitados na UI do Databricks SQL.