armazenamento de dados em Databricks
Databricks SQL é um cloud data warehouse construído com base na arquitetura lakehouse . Ele executa diretamente no seu data lake, suporta ANSI SQL com extensões Delta Lake e fornece as ferramentas para construir um data warehouse de alto desempenho e custo-benefício sem precisar mover seus dados.
Interfaces e ferramentas
Databricks SQL em um banco de dadosSQL e é acessível por meio de múltiplas interfaces para consulta, visualização, gerenciamento pipeline e automação.
-
- Editor de SQL
- Escreva e execute consultas SQL com assistência integrada AI , comentários de código e história de versão.
-
- cadernos
- Execução SQL juntamente com Python, Scala ou R, conectando um Notebook a um SQL warehouse.
-
- AI/BI
- Crie painéis de controle com AIe Genie spaces para análise de dados autônoma e exploração de dados conversacional.
-
- visão métrica
- Defina métricas de negócios reutilizáveis com cálculos consistentes usando uma camada semântica.
-
- Alertas
- Monitore os resultados das consultas, avalie as condições e envie notificações automaticamente.
-
- Jobs
- programar consultas SQL para processamento automatizado de dados e relatórios de fluxo de trabalho.
-
- ETL
- Defina e refresh tabelas de transmissão e visualizações materializadas diretamente no Databricks SQL para um pipeline ETL incremental.
-
- API REST
- Automatize e gerencie objetos Databricks SQL programaticamente.
Monitorar e otimizar
-
- Histórico de consultas
- Analise a execução de consultas anteriores, os tempos de execução e a utilização de recursos em todo o seu data warehouse.
-
- Perfil de consulta
- Analise o plano de execução de uma consulta para identificar gargalos e oportunidades de otimização.
-
- Desempenho da consulta
- Obtenha percepções e recomendações automáticas quando a execução de consultas for ineficiente.
Começar
Se você é iniciante no Databricks SQL, comece pelos conceitos e depois siga um passo a passo prático.
-
- Conceitos do Databricks SQL
- Aprenda os principais conceitos, incluindo consultas, SQL warehouse, painéis e gerenciamento de dados.
-
- arquitetura de armazenamento de dados
- Compreenda a arquitetura lakehouse, as camadas medallion e as abordagens de modelagem de dados para Databricks SQL.
-
- Comece a usar data warehousing
- Siga um passo a passo completo que abrange painéis de exemplo, Notebook, Job, ingestão de dados e configuração SQL warehouse .
-
- Visualização Unity Catalog
- Defina métricas de negócios consistentes e reutilizáveis com uma camada semântica para uso em consultas e painéis.
-
- Crie um AI/BI dashboard
- Crie e publique seu primeiro painel com conjunto de dados, visualizações e filtros usando a autoria assistida AI .