SQL warehouse tipos
O Databricks SQL oferece suporte aos tipos serverless, pro e classic. As seções a seguir comparam os recursos e o desempenho de cada tipo.
Além disso, o Lakehouse em Tempo Real (Beta) é um tipo de warehouse serverless especializado para consultas de leitura de alta simultaneidade e com tempo de resposta inferior a um segundo. Consulte lakehouse SQL warehouse em tempo real.
Recursos de desempenho por tipo
Cada tipo de SQL warehouse tem diferentes capacidades de desempenho. A tabela a seguir mostra o desempenho recurso suportado por cada tipo de SQL warehouse.
Tipo de armazém | Photon Motor | IO preditivo | Gerenciamento inteligente da Workload |
|---|---|---|---|
Serverless | ✓ | ✓ | ✓ |
Pro | ✓ | ✓ | |
Clássico | ✓ |
A lista a seguir descreve cada recurso de desempenho:
-
Photon : O mecanismo de consulta vetorizada integrada em Databricks. Ele agiliza suas chamadas de API SQL e DataFrame existentes e reduz o custo total por carga de trabalho.
-
IO preditivo : Um conjunto de recursos para acelerar as operações de varredura seletiva em SQL queries. A E/S preditiva pode fornecer uma ampla variedade de acelerações.
-
Gerenciamento inteligente de carga de trabalho (IWM) : Um conjunto de recursos que aprimora a capacidade do Databricks SQL serverless de processar um grande número de consultas de forma rápida e econômica. Usando as técnicas de previsão e gerenciamento dinâmico do AI, o IWM trabalha para verificar se as cargas de trabalho têm a quantidade certa de recursos rapidamente. A key diferença do está nos AI recursos do Databricks SQL para responder dinamicamente às demandas de carga de trabalho em vez de usar limites estáticos.
Para obter os preços de cada tipo de armazém e uma comparação detalhada dos recursos, consulte Databricks SQL. Para saber mais sobre o recurso Databricks SQL mais recente, consulte Databricks SQL notas sobre a versão.
desempenho diferenças entre os tipos de SQL warehouse
Cada tipo de SQL warehouse tem características de desempenho diferentes.
Depósito SQL sem servidor
Usando a Databricks serverlessarquitetura, um serverless SQL warehouse suporta todo o desempenho recurso Databricks SQL de. Com um serverless SQL warehouse e seu desempenho recurso, o senhor obtém:
- Tempo rápido de startup (normalmente entre 2 e 6 segundos).
- Aumento rápido de escala para adquirir mais compute quando necessário para manter a baixa latência.
- A admissão de consultas está mais próxima da limitação do hardware do que a máquina virtual.
- Redimensionamento rápido para minimizar os custos quando a demanda é baixa, proporcionando desempenho consistente com custos e recursos otimizados.
Escolha um serverless SQL warehouse para obter o melhor desempenho do startup, a E/S mais eficiente, um tratamento mais inteligente da demanda de consultas que varia muito ao longo do tempo e uma rápida autoescala quando ocorrer enfileiramento de consultas. Consulte Gerenciamento inteligente de carga de trabalho e autoscale.
O site serverless SQL warehouse tem um bom desempenho com esses tipos de cargas de trabalho:
- ETL
- Business Intelligence
- Análise exploratória
Pro SQL warehouse
Um SQL warehouse pro suporta Photon e IO Preditivo, mas não suporta Gerenciamento de Workload Inteligente. Ao contrário de um SQL Warehouse Serverless, sua camada de compute existe nos seus recursos do Google Cloud e não na sua account da Databricks. Sem o Gerenciamento de Workload Inteligente, um SQL Warehouse pro é menos responsivo à demanda por query que varia muito ao longo do tempo, não pode fazer autoscale tão rapidamente quanto um SQL Warehouse Serverless e leva vários minutos para fazer o start-up (normalmente cerca de 4 minutos). Consulte Lógica de enfileiramento e autoscale.
Use um profissional SQL warehouse quando o senhor quiser:
- sem servidor SQL warehouse não estão disponíveis em uma região.
- O senhor tem uma rede personalizada e deseja se conectar a bancos de dados em sua rede na nuvem ou no local para federação ou uma arquitetura do tipo híbrida. Por exemplo, use um pro SQL warehouse se quiser colocar outros serviços em sua rede, como um barramento de eventos ou bancos de dados, ou se quiser conectar sua rede à rede local.
Clássico SQL warehouse
Um SQL warehouse clássico suporta Photon, mas não suporta Predictive IO ou Gerenciamento Inteligente de Workload. Ao contrário de um SQL Warehouse Serverless, sua camada de compute existe em seus recursos do Google Cloud e não em sua account da Databricks. Sem esses recursos, um SQL warehouse clássico fornece apenas desempenho de nível básico, abaixo de um SQL warehouse Serverless ou pro. Também leva vários minutos para iniciar (normalmente cerca de 4 minutos) e escala para cima e para baixo com menos capacidade de resposta do que um SQL Warehouse Serverless. Consulte Lógica de enfileiramento e autoscale.
Use o clássico SQL warehouse para executar consultas interativas para exploração de dados com desempenho de nível básico e Databricks SQL recurso.
Para obter informações sobre o dimensionamento do site SQL warehouse e como ele escala em resposta ao enfileiramento de consultas, consulte Lógica de enfileiramento e autoescala.
SQL warehouses do lakehouse em tempo real
Beta
Lakehouse Tempo Real (Lakehouse//RT) está em Beta.
Lakehouse em Tempo Real (Lakehouse//RT) é um tipo de warehouse serverless construído para cargas de trabalho de baixa latência e alta simultaneidade. Ele fornece queries de leitura SQL em menos de um segundo em tabelas do Unity Catalog, tornando-o adequado para servir dados analíticos a aplicações, executar analítica operacional e impulsionar dashboards de BI com centenas a milhares de usuários concorrentes.
O Lakehouse//RT é compatível com queries de leitura (SELECT) e CREATE TABLE AS SELECT (CTAS). Para detalhes, requisitos e limitações, veja Lakehouse Real-Time.
Identificar o tipo de um SQL warehouse
Para ver o tipo de um SQL warehouse existente, consulte seu rótulo de tipo. O rótulo mostra Serverless , Pro , Classic ou Tempo real , e aparece na página SQL Warehouses e na página de detalhes do warehouse. Tempo real significa que o warehouse é um warehouse Lakehouse//RT.
Quais são os tipos de depósito padrão?
Para espaço de trabalho em regiões que suportam o armazém serverless SQL e satisfazem os requisitos:
-
Usando a UI, o tipo de SQL warehouse padrão é serverless.
- Se o seu account precisar de termos de uso atualizados, os administradores do workspace serão solicitados na UI do Databricks SQL.
-
Usando o depósitoSQL APIcom parâmetros default, o tipo default SQL warehouse é clássico. Para usar o serverless, defina o parâmetro
enable_serverless_computecomotrueewarehouse_typecomopro. Se esse workspace tiver usado o depósito SQL API para criar um depósito entre 1º de setembro de 2022 e 30 de abril de 2023 e atender aos requisitos do depósito serverless SQL , o default permanecerá definido comotrue. Para evitar ambiguidade, especialmente em organizações com muitos espaços de trabalho, o site Databricks recomenda sempre definir esse campo. -
Se o site workspace usar um armazém externo legado Hive metastore, serverless SQL não são compatíveis. O tipo default SQL warehouse é o mesmo que se o serverless compute estivesse desativado, o que é a favor da interface do usuário e do clássico usando o API. Além disso, entre em contato com sua equipe Databricks account para saber mais sobre Unity Catalog ou outras opções.
Para workspaces que não oferecem suporte a SQL warehouses serverless:
- Usando a UI, o tipo de SQL warehouse padrão é pro.
- Usando o depósitoSQL APIcom parâmetros default, o tipo default SQL warehouse é clássico.
Se o seu account precisar de termos de uso atualizados, os administradores do workspace serão solicitados na UI do Databricks SQL.