Pular para o conteúdo principal

SQL warehouse tipos

O Databricks SQL oferece suporte aos tipos serverless, pro e classic. As seções a seguir comparam os recursos e o desempenho de cada tipo.

Além disso, o Lakehouse em Tempo Real (Beta) é um tipo de warehouse serverless especializado para consultas de leitura de alta simultaneidade e com tempo de resposta inferior a um segundo. Consulte lakehouse SQL warehouse em tempo real.

Recursos de desempenho por tipo​

Cada tipo de SQL warehouse tem diferentes capacidades de desempenho. A tabela a seguir mostra o desempenho recurso suportado por cada tipo de SQL warehouse.

Tipo de armazém

Photon Motor

IO preditivo

Gerenciamento inteligente da Workload

Serverless

✓

✓

✓

Pro

✓

✓

Clássico

✓

Tipo de armazém

Photon Motor

IO preditivo

Gerenciamento inteligente da Workload

Serverless

✓

✓

✓

Pro

✓

✓

Clássico

✓

A lista a seguir descreve cada recurso de desempenho:

  • Photon : O mecanismo de consulta vetorizada integrada em Databricks. Ele agiliza suas chamadas de API SQL e DataFrame existentes e reduz o custo total por carga de trabalho.

  • IO preditivo : Um conjunto de recursos para acelerar as operações de varredura seletiva em SQL queries. A E/S preditiva pode fornecer uma ampla variedade de acelerações.

  • Gerenciamento inteligente de carga de trabalho (IWM) : Um conjunto de recursos que aprimora a capacidade do Databricks SQL serverless de processar um grande número de consultas de forma rápida e econômica. Usando as técnicas de previsão e gerenciamento dinâmico do AI, o IWM trabalha para verificar se as cargas de trabalho têm a quantidade certa de recursos rapidamente. A key diferença do está nos AI recursos do Databricks SQL para responder dinamicamente às demandas de carga de trabalho em vez de usar limites estáticos.

nota

Para obter os preços de cada tipo de armazém e uma comparação detalhada dos recursos, consulte Databricks SQL. Para saber mais sobre o recurso Databricks SQL mais recente, consulte Databricks SQL notas sobre a versão.

desempenho diferenças entre os tipos de SQL warehouse​

Cada tipo de SQL warehouse tem características de desempenho diferentes.

Depósito SQL sem servidor​

Usando a Databricks serverlessarquitetura, um serverless SQL warehouse suporta todo o desempenho recurso Databricks SQL de. Com um serverless SQL warehouse e seu desempenho recurso, o senhor obtém:

  • Tempo rápido de startup (normalmente entre 2 e 6 segundos).
  • Aumento rápido de escala para adquirir mais compute quando necessário para manter a baixa latência.
  • A admissão de consultas está mais próxima da limitação do hardware do que a máquina virtual.
  • Redimensionamento rápido para minimizar os custos quando a demanda é baixa, proporcionando desempenho consistente com custos e recursos otimizados.

Escolha um serverless SQL warehouse para obter o melhor desempenho do startup, a E/S mais eficiente, um tratamento mais inteligente da demanda de consultas que varia muito ao longo do tempo e uma rápida autoescala quando ocorrer enfileiramento de consultas. Consulte Gerenciamento inteligente de carga de trabalho e autoscale.

O site serverless SQL warehouse tem um bom desempenho com esses tipos de cargas de trabalho:

  • ETL
  • Business Intelligence
  • Análise exploratória
importante

SQL O warehouse não suporta a passagem de credenciais. A Databricks recomenda o uso do Unity Catalog para governança de dados. Consulte O que é o Unity Catalog?

Pro SQL warehouse​

Um pro SQL warehouse oferece suporte a Photon e Predictive IO, mas não oferece suporte a Intelligent Workload Management. Ao contrário de um Serverless SQL Warehouse, sua camada de compute existe em sua conta da AWS, e não em sua conta da Databricks. Sem o Intelligent Workload Management, um pro SQL Warehouse é menos responsivo à demanda por queries que varia muito com o tempo, não pode fazer autoscale tão rapidamente quanto um Serverless SQL Warehouse e leva vários minutos para fazer o start-up (normalmente cerca de 4 minutos). Consulte Lógica de enfileiramento e autoscale.

Use um profissional SQL warehouse quando o senhor quiser:

  • sem servidor SQL warehouse não estão disponíveis em uma região.
  • O senhor tem uma rede personalizada e deseja se conectar a bancos de dados em sua rede na nuvem ou no local para federação ou uma arquitetura do tipo híbrida. Por exemplo, use um pro SQL warehouse se quiser colocar outros serviços em sua rede, como um barramento de eventos ou bancos de dados, ou se quiser conectar sua rede à rede local.

Clássico SQL warehouse​

Um SQL Warehouse clássico oferece suporte ao Photon, mas não ao Predictive IO ou ao Gerenciamento de Workload Inteligente. Ao contrário de um Serverless SQL Warehouse, sua camada de compute existe em sua account da AWS em vez de em sua account da Databricks. Sem esses recursos, um SQL Warehouse clássico fornece apenas desempenho básico, abaixo de um SQL Warehouse Serverless ou profissional. Também leva vários minutos para iniciar (normalmente cerca de 4 minutos) e escala para cima e para baixo com menos capacidade de resposta do que um SQL Warehouse Serverless. Consulte Lógica de enfileiramento e autoscale.

Use o clássico SQL warehouse para executar consultas interativas para exploração de dados com desempenho de nível básico e Databricks SQL recurso.

nota

Para obter informações sobre o dimensionamento do site SQL warehouse e como ele escala em resposta ao enfileiramento de consultas, consulte Lógica de enfileiramento e autoescala.

SQL warehouses do lakehouse em tempo real​

info

Beta

Lakehouse Tempo Real (Lakehouse//RT) está em Beta.

Lakehouse em Tempo Real (Lakehouse//RT) é um tipo de warehouse serverless construído para cargas de trabalho de baixa latência e alta simultaneidade. Ele fornece queries de leitura SQL em menos de um segundo em tabelas do Unity Catalog, tornando-o adequado para servir dados analíticos a aplicações, executar analítica operacional e impulsionar dashboards de BI com centenas a milhares de usuários concorrentes.

O Lakehouse//RT é compatível com queries de leitura (SELECT) e CREATE TABLE AS SELECT (CTAS). Para detalhes, requisitos e limitações, veja Lakehouse Real-Time.

Identificar o tipo de um SQL warehouse​

Para ver o tipo de um SQL warehouse existente, consulte seu rótulo de tipo. O rótulo mostra Serverless , Pro , Classic ou Tempo real , e aparece na página SQL Warehouses e na página de detalhes do warehouse. Tempo real significa que o warehouse é um warehouse Lakehouse//RT.

Quais são os tipos de depósito padrão?​

Para espaço de trabalho em regiões que suportam o armazém serverless SQL e satisfazem os requisitos:

  • Usando a UI, o tipo de SQL warehouse padrão é serverless.

    • Se o seu account precisar de termos de uso atualizados, os administradores do workspace serão solicitados na UI do Databricks SQL.
  • Usando o depósitoSQL APIcom parâmetros default, o tipo default SQL warehouse é clássico. Para usar o serverless, defina o parâmetro enable_serverless_compute como true e warehouse_type como pro. Se esse workspace tiver usado o depósito SQL API para criar um depósito entre 1º de setembro de 2022 e 30 de abril de 2023 e atender aos requisitos do depósito serverless SQL , o default permanecerá definido como true. Para evitar ambiguidade, especialmente em organizações com muitos espaços de trabalho, o site Databricks recomenda sempre definir esse campo.

  • Se o site workspace usar um armazém externo legado Hive metastore, serverless SQL não são compatíveis. O tipo default SQL warehouse é o mesmo que se o serverless compute estivesse desativado, o que é a favor da interface do usuário e do clássico usando o API. Além disso, entre em contato com sua equipe Databricks account para saber mais sobre Unity Catalog ou outras opções.

Para workspaces que não oferecem suporte a SQL warehouses serverless:

nota

Se o seu account precisar de termos de uso atualizados, os administradores do workspace serão solicitados na UI do Databricks SQL.