SQL warehouse tipos

O Databricks SQL é compatível com os seguintes tipos de SQL warehouse:

  • Serverless

  • Pro

  • Clássico

Cada tipo de SQL warehouse tem diferentes capacidades de desempenho. A tabela a seguir mostra o recurso de desempenho suportado por cada tipo de SQL warehouse.

Tipo de armazém

Photon Motor

IO preditivo

Gerenciamento inteligente da carga de trabalho

Serverless

X

X

X

Pro

X

X

Clássico

X

A lista a seguir descreve cada recurso de desempenho:

  • Photon: O mecanismo de consulta vetorizada nativo no Databricks. Ele agiliza suas chamadas de API SQL e DataFrame existentes e reduz o custo total por carga de trabalho.

  • IO preditivo: Um conjunto de recursos para acelerar as operações de varredura seletiva em consultas SQL. O IO preditivo pode proporcionar uma ampla gama de acelerações.

  • Gerenciamento inteligente de carga de trabalho (IWM): Um conjunto de recursos que aprimora a capacidade do Databricks SQL serverlessde processar um grande número de consultas de forma rápida e econômica. Usando técnicas de previsão e gerenciamento dinâmico com tecnologia de IA, o IWM trabalha para garantir que as cargas de trabalho tenham a quantidade certa de recursos rapidamente. A diferença do key está nos recursos de IA do Databricks SQL para responder dinamicamente às demandas de carga de trabalho em vez de usar limites estáticos.

    Observação

    Para obter os preços de cada tipo de warehouse e uma comparação detalhada de recursos, consulte Databricks SQL. Para saber mais sobre os recursos mais recentes do Databricks SQL, consulte as notas de versão do Databricks SQL.

Diferenças de desempenho entre os tipos de SQL warehouse

Cada tipo de SQL warehouse tem características de desempenho diferentes.

Armazém SQL sem servidor

Usando a arquitetura Databricks serverless , um serverless SQL warehouse suporta todo o desempenho recurso de Databricks SQL. Com um serverless SQL warehouse e seu desempenho recurso, o senhor obtém:

  • Tempo rápido de startup (normalmente entre 2 e 6 segundos).

  • Aumento rápido de escala para adquirir mais compute quando necessário para manter a baixa latência.

  • A admissão de consultas está mais próxima da limitação do hardware do que da máquina virtual.

  • Redimensionamento rápido para minimizar os custos quando a demanda é baixa, proporcionando um desempenho consistente com custos e recursos otimizados.

Para obter o melhor desempenho do site startup, a E/S mais eficiente, o tratamento mais inteligente da demanda de consulta que varia muito ao longo do tempo e a rápida autoescala quando ocorre enfileiramento de consultas, escolha um site serverless SQL warehouse. Consulte Escala automática sem servidor e enfileiramento de consultas.

O site serverless SQL warehouse tem um bom desempenho com esses tipos de cargas de trabalho:

  • ETL

  • Business Intelligence

  • Análise exploratória

Importante

Os SQL warehouses não oferecem suporte à passagem de credenciais. O Databricks recomenda a utilização do Unity Catalog para governação de dados. Consulte O que é o Unity Catalog?.

Armazém Pro SQL

A versão pro SQL warehouse é compatível com o Photon e o Predictive IO, mas não com o Intelligent Workload Management. Com um pro SQL warehouse (diferente de um serverless SQL warehouse), a camada compute existe no seu AWS account account em vez de no seu Databricks account. Como resultado, um pro SQL warehouse não oferece suporte ao Gerenciamento Inteligente de Carga de Trabalho, tornando-o menos responsivo à demanda de consulta que varia muito ao longo do tempo e incapaz de autoscale tão rapidamente quanto um serverless SQL warehouse. Um SQL warehouse profissional leva vários minutos para ser iniciado (normalmente cerca de 4 minutos) e sobe e desce com menos capacidade de resposta do que um serverless SQL warehouse. Consulte Enfileiramento e dimensionamento automático para o SQL warehouse profissional e clássico.

Use um profissional SQL warehouse quando o senhor quiser:

  • serverless Os depósitos SQL não estão disponíveis em uma região.

  • O senhor tem uma rede personalizada e deseja se conectar a bancos de dados em sua rede na nuvem ou em on-premises para federação ou uma arquitetura do tipo híbrida. Por exemplo, use um pro SQL warehouse se quiser colocar outros serviços em sua rede, como um barramento de eventos ou bancos de dados, ou se quiser conectar sua rede à rede on-premises.

Armazém SQL clássico

Um SQL warehouse clássico é compatível com o Photon, mas não é compatível com Predictive IO ou Intelligent Workload Management. Com um SQL warehouse clássico (diferente de um serverless SQL warehouse), a camada compute existe em seu AWS account account e não em seu Databricks account. Sem suporte para Predictive IO ou Intelligent Workload Management, um SQL warehouse clássico oferece apenas desempenho de nível básico e menos desempenho do que um serverless ou um SQL warehouse profissional. Um SQL warehouse clássico também leva vários minutos para iniciar (normalmente, aproximadamente 4 minutos) e sobe e desce com menos capacidade de resposta do que um serverless SQL warehouse. Consulte Enfileiramento e dimensionamento automático para o SQL warehouse profissional e clássico.

Use o clássico SQL warehouse para executar consultas interativas para exploração de dados com desempenho de nível básico e Databricks SQL recurso.

Observação

Para obter informações sobre o dimensionamento do site SQL warehouse e como o SQL warehouse escala em resposta ao enfileiramento de consultas, consulte Enfileiramento e escala automática para warehouses SQL profissionais e clássicos.

Quais são os padrões do tipo de warehouse?

Para o espaço de trabalho em regiões que suportam o SQL warehouse sem servidor e atendem aos requisitos:

  • Usando a UI, o tipo de SQL warehouse padrão é serverless.

    • Se o seu account precisar de termos de uso atualizados, os administradores do workspace serão solicitados na UI do Databricks SQL.

  • Usando a API do SQL warehouse com parâmetros default, o tipo default SQL warehouse é clássico. Para usar o serverless, defina o parâmetro enable_serverless_compute como true e também warehouse_type como pro. Se esse workspace tiver usado a API de depósito SQL para criar um depósito entre 1º de setembro de 2022 e 30 de abril de 2023 e atender aos requisitos do serverless SQL warehouse, o default permanecerá definido como true. Para evitar ambiguidade, especialmente para organizações com muitos espaços de trabalho, a Databricks recomenda que o senhor sempre defina esse campo.

  • Se o workspace usar um armazém externo legado Hive metastore, o serverless SQL warehouse não será compatível. O tipo default SQL warehouse é o mesmo que se serverless compute estivesse desativado, o que é profissional na UI e clássico usando a API. Além disso, entre em contato com a equipe da Databricks account para saber mais sobre o Unity Catalog ou outras opções.

Para workspaces que não oferecem suporte a SQL warehouses serverless:

  • Usando a UI, o tipo de SQL warehouse padrão é pro.

  • Usando a API do SQL warehouse com parâmetros default, o tipo default SQL warehouse é clássico.

Observação

Se o seu account precisar de termos de uso atualizados, os administradores do workspace serão solicitados na UI do Databricks SQL.