Aller au contenu principal
Dernière mise à jour le

Utilisez Lakehouse Real-Time avec les tableaux de bord AI/BI

info

Bêta

Lakehouse Real-Time (Lakehouse//RT) est en version bêta et fait l’objet d’un développement actif. Les caractéristiques de performance et l’ensemble des fonctionnalités prises en charge évolueront avant la disponibilité générale. Pour l’activer dans votre compte, contactez l’équipe de votre compte Databricks.

Vous pouvez utiliser un warehouse Lakehouse//RT pour alimenter des tableaux de bord AI/BI nécessitant des réponses en moins d’une seconde pour des centaines à des milliers d’utilisateurs simultanés. Utilisez Lakehouse//RT pour créer de nouveaux tableaux de bord qui respectent les limitations actuelles. La migration d’un tableau de bord existant n’est pas recommandée, car les tableaux de bord existants dépendent souvent de fonctionnalités que Lakehouse//RT ne prend pas encore en charge, telles que Genie, les tables externes ou la matérialisation des vues métriques.

Utilisation prévue​

Lakehouse//RT offre une latence inférieure à la seconde pour les query sélectives qui lisent une petite quantité de données. Il n’accélère pas les query coûteuses, comme celles qui analysent de grandes quantités de données ou effectuent des jointures entre de grandes tables.

Les garde-fous de Lakehouse//RT (voir Garde-fous) imposent des limites strictes plutôt que de se dégrader progressivement ; préparez donc vos charges de travail avant de les déplacer vers un warehouse Lakehouse//RT :

  • Optimisez les requêtes coûteuses en les filtrant en amont pour qu’elles scannent moins de données.
  • Pré-agrégez les résultats avec des vues matérialisées lorsqu’un tableau de bord lit bien moins de données qu’il n’en analyse.

Configurez un tableau de bord sur un warehouse Lakehouse//RT​

Pour publier un AI/BI dashboard qui s’exécute sur Lakehouse//RT, créez le warehouse et sélectionnez-le comme warehouse du tableau de bord :

  1. Créez un warehouse Lakehouse//RT, comme n’importe quel autre SQL warehouse. Voir Lakehouse Real-Time.
  2. Accordez aux utilisateurs l’autorisation Can use ou une autorisation supérieure sur le warehouse. Le warehouse apparaît alors dans le sélecteur de compute de création du tableau de bord pour ces utilisateurs.
  3. Dans votre tableau de bord, sélectionnez le warehouse Lakehouse//RT comme warehouse du tableau de bord.
  4. Publiez le tableau de bord comme d’habitude.

Garde-fous​

Pour protéger le service partagé à faible latence, Lakehouse//RT applique des limites de ressources par query. Une query de tableau de bord qui dépasse un garde-fou renvoie une erreur au lieu de s’exécuter lentement ; concevez donc vos queries pour rester largement dans ces limites.

Ces valeurs ont été définies pendant les tests bêta et peuvent changer avant la disponibilité générale :

  • Durée d’exécution de la query : 2 minutes. Lakehouse//RT annule une query de widget dont l’exécution est plus longue. Une query qui approche cette limite n’atteindra pas l’objectif de moins d’une seconde, même si elle se termine, et sera plus susceptible d’atteindre les limites de shuffle ou de spill ci-dessous. Considérez cela comme un signal indiquant qu’il faut davantage filtrer ou préagréger.
  • Délai d’expiration de l’instruction : 1 minute par default. Vous pouvez configurer le délai d’expiration par instruction jusqu’à la limite d’exécution de la query de 2 minutes.
  • Octets écrits lors du shuffle par étape : 300 GB. Les jointures ou agrégations étendues sur de grandes tables peuvent dépasser cette limite. Si une query la dépasse, effectuez une pré-agrégation avec des vues matérialisées au lieu de joindre de grandes tables au moment de l’exécution de la query.
  • Taille du spill : 30 Go, lorsque le spill est activé.
  • Liste des fichiers après élagage : 10 000 fichiers, ajustable jusqu’à 50 000. Si une query dépasse cette limite, filtrez sur les colonnes de partition ou de clustering liquide afin que le tableau de bord ne lise que les fichiers dont il a besoin.

Limitations​

Les tableaux de bord situés sur un warehouse Lakehouse//RT héritent de toutes les limitations de Lakehouse//RT, y compris de la prise en charge exclusive des tables gérées par Unity Catalog et des query SELECT conformes à la norme ANSI. Convertissez les autres types de tables, telles que les tables externes, en tables gérées avant de les query.

The following limitations are specific to dashboards published with a Lakehouse//RT warehouse:

  • Genie n’est pas pris en charge.
  • La matérialisation des vues métriques locales n’est pas prise en charge.

Obtenir de l’aide​

Si vous continuez à rencontrer des problèmes avec un tableau de bord sur Lakehouse//RT, collectez les informations suivantes et contactez le support Databricks :

  • Les messages d’erreur que vous voyez.
  • Exportation de votre profil de query, y compris le texte brut de la query.
  • Un Link vers votre tableau de bord.
  • Confirmation que la même erreur ne se produit pas sur un SQL warehouse Serverless.
Sur cette page