Entreposage des données sur Databricks
Databricks SQL est un data warehouse cloud reposant sur une architecture lakehouse. Il s'exécute directement sur votre data lake, prend en charge ANSI SQL avec les extensions Delta Lake et fournit les outils nécessaires pour créer des data warehouses hautement performants et rentables sans déplacer vos données.
Interfaces et outils
Databricks SQL s'exécute sur des SQL Warehouse et est accessible à partir de plusieurs interfaces pour les requêtes, la visualisation, la gestion des pipelines et l'automatisation.
-
- Éditeur SQL
- Écrivez et exécutez des queries SQL avec une assistance IA intégrée, des commentaires de code et un historique des versions.
-
- Notebooks
- Attachez un Notebook à un SQL Warehouse pour exécuter du SQL aux côtés de Python, Scala ou R. Consultez Notebooks et SQL Warehouses pour les limitations.
-
- Jobs
- Planifiez des queries SQL en tant de Jobs pour l'automatisation du traitement des données et des workflows de reporting.
-
- Tableaux de bord
- Créez des tableaux de bord interactifs AI/BI avec une création assistée par l'IA pour partager des insights au sein de votre organisation.
-
- Vues métriques
- Définir les métriques métier avec des calculs cohérents à l'aide d'une couche sémantique. Réutiliser les métriques dans les requêtes et les tableaux de bord.
-
- Alertes
- Surveiller les résultats de la query, évaluer les conditions et fournir des notifications automatiquement.
-
- etl
- Définir et refresh les tables en streaming et les vues matérialisées directement dans Databricks SQL pour des pipelines ETL incrémentiels.
-
- API REST
- Automatisez et gérez les objets Databricks SQL par programme.
Superviser et optimiser
-
- Historique des requêtes
- Examinez les exécutions de query précédentes, les temps d'exécution et l'utilisation des ressources dans votre warehouse.
-
- Profil de requête
- Inspectez le plan d'exécution pour une query afin d'identifier les goulots d'étranglement et les opportunités d'optimisation.
-
- Insights sur les performances des queries
- Obtenez des insights et des recommandations automatiques lorsque les query s'exécutent de manière inefficace.
Get start
Si vous débutez avec Databricks SQL, start par les concepts, puis suivez une présentation pratique.
-
- Concepts Databricks SQL
- Découvrez les concepts fondamentaux, notamment les queries, les SQL Warehouses, les tableaux de bord et la gestion de données.
-
- Architecture d'entreposage des données
- Comprendre l'architecture lakehouse, les couches en médaillon et les approches de modélisation des données pour Databricks SQL.
-
- Démarrez avec l'entreposage des données
- Suivez une présentation complète couvrant des exemples de tableaux de bord, de Notebook, de Job, l'ingestion de données et la configuration de SQL Warehouse.
-
- Vues de métriques Unity Catalog
- Définissez des métriques métier cohérentes et réutilisables avec une couche sémantique à utiliser pour les query et les tableaux de bord.
-
- Créez un AI/BI dashboard
- Construisez et publiez votre premier tableau de bord avec des datasets, des visualisations et des filtres grâce à la création assistée par IA.