Aller au contenu principal
Dernière mise à jour le

Lakehouse Real-Time

info

Bêta

Cette fonctionnalité est en Bêta. Contactez l'équipe de votre compte Databricks pour activer cette fonctionnalité dans votre compte.

Lakehouse//RT est en cours de développement actif. Les caractéristiques de performance et l'ensemble des fonctionnalités prises en charge changeront avant la disponibilité générale.

Lakehouse Real-Time (Lakehouse//RT) est un compute serverless conçu pour les cas d'utilisation à faible latence et à high concurrency, tels que la diffusion de données analytiques à des applications personnalisées, l'exécution d'analyses opérationnelles ou l'alimentation de tableaux de bord BI qui nécessitent des réponses en moins d'une seconde pour des centaines à des milliers d'utilisateurs simultanés.

Lakehouse//RT offre une latence inférieure à la seconde sur les requêtes de lecture SQL sur vos tables Unity Catalog qui utilisent les formats Delta Lake ou Apache Iceberg dans le stockage cloud. Vous créez et gérez Lakehouse//RT comme vous le faites pour d'autres SQL Warehouse. Un administrateur de workspace ou un utilisateur privilégié en crée un ou plusieurs par workspace et attribue des autorisations aux utilisateurs.

Exigences​

Pour utiliser Lakehouse//RT, vous devez :

  • Assurez-vous d'être dans une région prise en charge.
  • Faites activer la version Bêta de Lakehouse//RT dans votre workspace.

Activez Lakehouse//RT dans votre workspace​

Les administrateurs du Workspace peuvent activer la version bêta de Lakehouse//RT dans votre Workspace :

  1. Dans le menu de votre workspace (coin supérieur droit), accédez à Aperçus .
  2. Recherchez Lakehouse RT .
  3. Activez l'aperçu.

Après avoir activé l'aperçu, le type de warehouse temps réel devient disponible dans le flux de création de SQL Warehouse pour votre Workspace.

Créer un warehouse Lakehouse//RT​

Pour créer un warehouse Lakehouse//RT :

  1. Accéder à Compute > SQL Warehouses > Créer un SQL Warehouse .
  2. Select temps réel .
  3. Sélectionnez une taille : petite , moyenne , grande ou X-Large , en fonction des performances que vos queries exigent.
  4. Saisissez un nom pour le warehouse.
  5. Cliquez sur Créer .

Pour attribuer des autorisations, accordez Peut utiliser , Peut surveiller ou Peut gérer aux utilisateurs et aux groupes, de la même manière qu'un SQL Warehouse.

remarque

Vous ne pouvez pas actuellement mettre à niveau un SQL warehouse existant vers Lakehouse//RT ou rétrograder un warehouse Lakehouse//RT existant vers un autre type de warehouse.

Surveiller l'activité de Lakehouse//RT​

Vous pouvez surveiller les queries Lakehouse//RT de la même manière que toute query exécutée sur un SQL Warehouse :

  • Historique des query : Les query Lakehouse//RT apparaissent dans l'UI de l'historique des query et la table système de l'historique des query.
  • Profils de query : ouvrez une query Lakehouse//RT dans l'interface utilisateur de l'historique des queries pour afficher son profil de query.
  • Page de monitoring : surveillez le throughput des queries, les queries en attente et l'historique des queries sur la page de monitoring de chaque warehouse Lakehouse//RT.
  • Facturation : l'utilisation de Lakehouse//RT apparaît dans les tables du système de facturation avec un sku_name de Lakehouse_Serverless.

Bonnes pratiques​

Pour obtenir les meilleurs résultats de Lakehouse//RT : préparez vos charges de travail avant de les déplacer.

  • Validez d'abord sur SQL Serverless. Exécutez vos requêtes sur un SQL Warehouse serverless et confirmez qu'elles s'exécutent en quelques secondes.
  • Utilisez les tables gérées par Unity Catalog. Les tables gérées avec l'optimisation prédictive et le clustering liquide garantissent que vos données sont bien clusterisées pour vos modèles de charge de travail.
  • Vérifiez que les queries sont sélectives. Pour une latence inférieure à la seconde, vérifiez que vos query analysent de moindres quantités de données. Filtrez tôt avec les clauses WHERE, sélectionnez uniquement les colonnes dont vous avez besoin et appuyez-vous sur les agrégations. La jointure de tables est prise en charge, mais si votre query devient complexe ou lente, envisagez d'utiliser des vues matérialisées qui pré-agrègent vos données pour des latences plus rapides.
  • Vérifiez la couverture SQL. Lakehouse//RT ne prend en charge que les queries en lecture conformes à ANSI. Confirmez que vos workloads sont conformes à la norme ANSI et évitez les instructions, fonctions et types de données non pris en charge répertoriés sous Limitations.

Fonctionnalités prises en charge​

Outils et interfaces​

Vous pouvez sélectionner Lakehouse//RT à partir du sélecteur compute dans l'une des fonctionnalités Databricks suivantes :

  • Éditeur SQL
  • Notebooks SQL
  • Tableaux de bord AI/BI
  • Explorateur de catalogue
  • Alertes

Types de table​

Lakehouse//RT interroge uniquement les données du Unity Catalog. Pour de meilleures performances, utilisez les tables gérées Unity Catalog, qui fournissent au moteur le layout de données dont il a besoin pour une faible latence.

Lakehouse//RT prend en charge les types de table suivants :

  • Tables gérées (tables Delta Lake et Apache Iceberg)
  • Vues matérialisées et tables de streaming
  • Vues métriques

Connectivité​

Lakehouse//RT n'accepte que les connexions qui utilisent l'API d'exécution des instructions. Il ne prend pas en charge le protocole Thrift hérité, donc un Driver qui se connecte sans utiliser explicitement l'API d'exécution des instructions reçoit une erreur 501.

Vous pouvez vous connecter à un warehouse Lakehouse//RT des manières suivantes :

Tarifs​

Pour les informations sur les tarifs, consultez la page des tarifs de Lakehouse Real-Time.

Limitations​

Lorsqu’une query utilise une fonctionnalité non prise en charge, Lakehouse//RT renvoie une erreur nommant la fonctionnalité. Pour exécuter la query avec succès, utilisez un SQL Warehouse Serverless à la place.

Outils et fonctionnalités​

Lakehouse//RT ne prend pas encore en charge les fonctionnalités suivantes :

  • Genie
  • Agents Genie
  • Tâches de jobs

Types de table​

Les types de table suivants ne sont pas encore pris en charge :

  • Tables système
  • Tables Delta Sharing
  • Tables dans le stockage default d'Unity Catalog
  • Tables externes dans Unity Catalog

Lakehouse//RT ne prend pas en charge les types de table suivants :

  • Tables du Hive metastore (gérées ou externes)
  • Tables externes et fédération de requêtes (Lakehouse Federation)
  • Tables temporaires
  • Tables qui utilisent d'autres formats de données (CSV, JSON, Avro, Parquet, ORC et texte)

Drivers et connecteurs​

Lakehouse//RT ne prend pas en charge les drivers et connecteurs suivants :

  • ADBC
  • ODBC
  • Aller

Langage SQL​

Lakehouse//RT exécute les queries SQL en mode ANSI uniquement. Il évalue toutes les coercitions et conversions de type implicites selon des règles SQL ANSI strictes, et ce comportement ne peut pas être désactivé. Selon la sémantique ANSI, les requêtes qui s'appuyaient sur un comportement non-ANSI pourraient :

  • Signaler une erreur d'environnement d'exécution au lieu de produire silencieusement NULL. Par exemple, convertir une chaîne non numérique en nombre.
  • Déclenchez une erreur d'analyse-temps lorsqu'il n'y a pas de type commun sûr. Par exemple, COALESCE, CASE, IN ou des opérations d'ensemble entre types incompatibles.
  • Renvoie un type de résultat différent du mode hérité, car la promotion de chaîne ANSI et l'élargissement numérique choisissent des types sûrs et sans perte.

Pour obtenir des résultats prévisibles, utilisez des expressions CAST explicites lorsque les conversions implicites en mode ANSI ne produisent pas le comportement attendu.

Lakehouse//RT ne prend pas en charge ce qui suit :

  • Types de données : les types de données GEOGRAPHY et GEOMETRY.
  • Fonctions : fonctions IA, UDF Python, fonctions SQL spatiales et fonctions XPath et XML.
  • Gouvernance : contrôle d'accès basé sur les attributs (ABAC), y compris la sécurité au niveau des lignes et le masquage des colonnes.

Lakehouse//RT est uniquement destiné aux requêtes de lecture (SELECT). Les commandes d'écriture et ETL ne sont pas prises en charge, notamment :

  • Opérations d'écriture : INSERT, UPDATE, DELETE, MERGE et CREATE TABLE AS SELECT (CTAS).
  • DDL : CREATE, ALTER, DROP et autres instructions qui créent ou modifient des objets.
  • **Déclarations de sécurité :** GRANT REVOKEet.
  • Scripting, procédures stockées, tables temporaires et transactions multi-déclarations.
  • Maintenance de Delta Lake : OPTIMIZE, ANALYZE, VACUUM et REFRESH.

Sécurité du réseau​

Lakehouse//RT ne prend pas encore en charge les configurations réseau suivantes :

conformité​

Les profils de sécurité de conformité ne sont actuellement pas pris en charge.

Sur cette page