Aller au contenu principal

Lakehouse Real-Time

info

Bêta

Cette fonctionnalité est en Bêta. Contactez l'équipe de votre compte Databricks pour activer cette fonctionnalité dans votre compte.

Lakehouse//RT est en développement actif. Les caractéristiques de performance et l’ensemble des fonctionnalités prises en charge peuvent changer.

Lakehouse Real-Time (Lakehouse//RT) est un type de SQL Warehouse serverless conçu pour les charges de travail à faible latence et à high concurrency, telles que la fourniture de données analytiques aux applications personnalisées et aux agents d’IA, l’exécution d’analytiques opérationnelles ou l’alimentation de tableaux de bord BI nécessitant des réponses en moins d’une seconde pour des centaines à des milliers d’utilisateurs simultanés.

Lakehouse//RT offre une latence inférieure à la seconde sur les requêtes de lecture SQL sur vos tables Unity Catalog qui utilisent les formats Delta Lake ou Apache Iceberg dans le stockage cloud. Il query vos tables en place, vous n'avez donc pas besoin de copier des données dans une base de données de service à faible latence distincte pour obtenir des réponses rapides. Vous créez et gérez Lakehouse//RT de la même manière que d'autres SQL Warehouse. Un administrateur de workspace ou un utilisateur privilégié en crée un ou plusieurs par workspace et attribue des autorisations aux utilisateurs.

Quand utiliser Lakehouse//RT​

Lakehouse//RT convient aux charges de travail qui envoient de nombreuses queries de lecture sélectives et concurrentes, et qui nécessitent que chacune renvoie un résultat en moins d’une seconde. Utilisez le tableau suivant pour choisir le compute adapté à une charge de travail :

Workload

Compute recommandé

Queries SELECT sélectives qui nécessitent des réponses inférieures à la seconde à high concurrency, comme les backends d'application et les outils d'agent IA

Lakehouse//RT

Requêtes de longue durée, jointures sur de grandes tables, jobs d’extraction, transformation et chargement (ETL), écritures ou requêtes reposant sur un comportement SQL non ANSI

SQL Warehouse Serverless

Charges de travail transactionnelles avec des insertions, des mises à jour et des suppressions fréquentes au niveau des lignes

Lakebase

Workload

Compute recommandé

Queries SELECT sélectives qui nécessitent des réponses inférieures à la seconde à high concurrency, comme les backends d'application et les outils d'agent IA

Lakehouse//RT

Requêtes de longue durée, jointures sur de grandes tables, jobs d’extraction, transformation et chargement (ETL), écritures ou requêtes reposant sur un comportement SQL non ANSI

SQL Warehouse Serverless

Charges de travail transactionnelles avec des insertions, des mises à jour et des suppressions fréquentes au niveau des lignes

Lakebase

Exigences​

Pour utiliser Lakehouse//RT, vous devez :

  • Assurez-vous d'être dans une région prise en charge.
  • Faites activer la version Bêta de Lakehouse//RT dans votre workspace.

Activez Lakehouse//RT dans votre workspace​

Les administrateurs du Workspace peuvent activer la version bêta de Lakehouse//RT dans votre Workspace :

  1. Dans le menu de votre workspace (coin supérieur droit), accédez à Aperçus .
  2. Recherchez Lakehouse RT .
  3. Activez l'aperçu.

Après avoir activé l'aperçu, le type de warehouse temps réel devient disponible dans le flux de création de SQL Warehouse pour votre Workspace.

Créer un warehouse Lakehouse//RT​

Pour créer un warehouse Lakehouse//RT :

  1. Accéder à Compute > SQL Warehouses > Créer un SQL Warehouse .
  2. Select temps réel .
  3. Sélectionnez une taille de query : Small , Medium , Large ou X-Large , en fonction des performances requises par vos requêtes.
  4. Configurez la mise à l’échelle automatique pour déterminer le nombre maximal de DBU qui peuvent vous être facturés par heure.
  5. Définissez Arrêt automatique pour contrôler le moment où un warehouse inactif s'arrête.
  6. Saisissez un nom pour le warehouse.
  7. Cliquez sur Créer .

Pour attribuer des autorisations, accordez Can use , Can monitor ou Can manage aux utilisateurs et aux groupes, comme pour un SQL warehouse. Voir ACL SQL warehouse. Pour les paramètres qui s'appliquent à chaque type de SQL warehouse, consultez Créer un SQL warehouse.

remarque

Vous ne pouvez pas mettre à niveau un SQL warehouse existant vers Lakehouse//RT ni rétrograder un warehouse Lakehouse//RT existant vers un autre type de warehouse.

Dimensionner et monter en charge un warehouse Lakehouse//RT​

Lakehouse//RT dispose de paramètres qui contrôlent les performances et les coûts :

  • La taille de la query contrôle le compute disponible pour une seule query.
  • La mise à l’échelle automatique contrôle la mesure dans laquelle le warehouse monte en charge pour servir des requêtes simultanées.
  • L’arrêt automatique contrôle la durée pendant laquelle un idle warehouse continue de fonctionner avant de s’arrêter.

La taille et la mise à l’échelle automatique des query fonctionnent différemment des paramètres de taille et de mise à l’échelle d’un Serverless SQL Warehouse.

Taille de la query​

La taille de la query définit le compute maximal qu’une seule query peut utiliser, ce qui détermine la vitesse d’exécution d’une query individuelle. Elle définit également le compute minimal sur lequel l’entrepôt (warehouse) fonctionne, ainsi que le minimum qui vous est facturé pendant que l’entrepôt (warehouse) est actif.

Vous définissez la taille de la query lors de la création du warehouse. Choisissez Small , Medium , Large ou X-Large . Une taille plus importante offre à chaque query davantage de compute pour des résultats plus rapides, moyennant un coût minimum plus élevé.

Ce paramètre est similaire dans son concept à la taille d’un entrepôt SQL Serverless, qui définit également le compute disponible pour une seule query.

Dimensionnement automatique​

L'autoscaling permet à un warehouse d'ajouter du compute pour servir plus de query simultanées, puis de le libérer lorsque la demande diminue. Vous définissez le compute maximal vers lequel le warehouse peut monter en charge, mesuré en DBU. Vous pouvez définir le maximum jusqu'à 960 DBU par heure.

L'autoscaling sur Lakehouse//RT diffère du scaling de cluster sur un SQL warehouse serverless de plusieurs manières :

  • Il est mesuré en DBU, et non en clusters.
  • Le maximum est indépendant de la taille de la query. Voir Taille pour la simultanéité.
  • La mise à l’échelle automatique de Lakehouse//RT ajoute et supprime uniquement le compute nécessaire, au lieu de procéder par incréments de clusters.

Pour voir dans quelle mesure un warehouse effectue un scaling, utilisez sa page de monitoring.

Taille pour la simultanéité​

Pour servir un grand nombre de queries simultanées, montez en charge avec la mise à l'échelle automatique plutôt que de choisir une taille de query plus importante :

  1. Choisissez la taille de query la plus petite possible qui répond à votre objectif de latence pour une seule query.
  2. Définissez le maximum de mise à l’échelle automatique suffisamment haut pour répondre à votre nombre maximal de queries simultanées.
  3. Surveillez les query en file d’attente sur la page de monitoring. Si des query sont mises en file d’attente lors d’un pic de charge, augmentez le maximum de mise à l’échelle automatique.

Un seul warehouse Lakehouse//RT avec un maximum d'autoscaling élevé peut monter en charge pour servir de nombreuses queries simultanées sans que vous ayez à ajouter des warehouse. Si vous avez besoin d’une high concurrency plus élevée, contactez l’équipe de votre compte Databricks.

Arrêt automatique​

L'arrêt automatique met fin au warehouse après un nombre défini de minutes d'inactivité, afin qu'un warehouse inactif ne continue pas à générer des frais. Vous définissez le délai d'inactivité lors de la création du warehouse.

L’arrêt automatique sur Lakehouse//RT fonctionne de la même manière que sur un SQL Warehouse Serverless. Pour les valeurs default et minimales, consultez Configurer les paramètres de SQL Warehouse.

Surveiller l'activité de Lakehouse//RT​

Vous pouvez surveiller les warehouse Lakehouse//RT et les queries qu’ils exécutent de la même manière que n’importe quel autre SQL Warehouse :

Évaluer votre charge de travail​

Avant de transférer une charge de travail vers Lakehouse//RT, testez-la avec vos propres queries et comparez la latence par rapport à votre warehouse actuel :

  1. Choisissez les queries que votre application ou votre dashboard exécute le plus souvent, et confirmez qu'ils s'exécutent en quelques secondes sur un SQL warehouse serverless.
  2. Créez un warehouse Lakehouse//RT et exécutez les mêmes queries dessus. Utilisez les mêmes tables afin d'éviter tout déplacement de données.
  3. Corrigez toute query qui échoue car elle utilise une fonctionnalité non prise en charge ou dépasse une limite.
  4. Comparez la latence entre les deux warehouses dans la table système de l'historique des query.

Pour comparer la latence médiane et celle du 90e centile entre les deux warehouses, exécutez la query suivante et remplacez les ID d'espace réservé par vos ID de warehouse. Vous avez besoin du privilège SELECT sur la table system.query.history :

SQL
SELECT
compute.warehouse_id,
count(*) AS queries,
percentile(total_duration_ms, 0.5) AS p50_ms,
percentile(total_duration_ms, 0.9) AS p90_ms
FROM system.query.history
WHERE compute.warehouse_id IN ('<serverless-warehouse-id>', '<real-time-warehouse-id>')
AND execution_status = 'FINISHED'
AND start_time >= current_timestamp() - INTERVAL 1 DAY
GROUP BY compute.warehouse_id;

La query compare chaque query terminée sur chaque warehouse au cours de la dernière journée, de sorte que les résultats ne sont comparables que lorsque les deux warehouses ont exécuté la même charge de travail. Pour limiter la comparaison à vos queries de test, définissez un tag de query sur celles-ci et filtrez sur la colonne query_tags. Voir Référence de la table système de l'historique des query.

Garde-fous​

Pour protéger la faible latence de toutes les queries, Lakehouse//RT impose des limites de ressources par query. Une query qui dépasse une garde-fou renvoie une erreur au lieu de s'exécuter lentement, alors concevez les queries pour qu'elles restent bien dans ces limites.

Garde-fou

Limite

Erreur

Runtime de la query

2 minutes

QUERY_RESOURCE_LIMIT_EXCEEDED avec la sous-classe QUERY_RUNTIME

Délai d'expiration de l'instruction

1 minute par default. Vous pouvez le configurer jusqu’à la limite d’exécution de query de 2 minutes.

QUERY_EXECUTION_TIMEOUT_EXCEEDED

Octets de mélange écrits par étape

300 Go

QUERY_RESOURCE_LIMIT_EXCEEDED avec la sous-classe SHUFFLE_SIZE

Taille de spill

30 Go, lorsque le spill est activé

QUERY_RESOURCE_LIMIT_EXCEEDED avec la sous-classe SPILL_SIZE

Fichiers listés après élimination

10 000 fichiers, réglable jusqu’à 50 000

QUERY_RESOURCE_LIMIT_EXCEEDED avec la sous-classe FILE_LIMIT

Garde-fou

Limite

Erreur

Runtime de la query

2 minutes

QUERY_RESOURCE_LIMIT_EXCEEDED avec la sous-classe QUERY_RUNTIME

Délai d'expiration de l'instruction

1 minute par default. Vous pouvez le configurer jusqu’à la limite d’exécution de query de 2 minutes.

QUERY_EXECUTION_TIMEOUT_EXCEEDED

Octets de mélange écrits par étape

300 Go

QUERY_RESOURCE_LIMIT_EXCEEDED avec la sous-classe SHUFFLE_SIZE

Taille de spill

30 Go, lorsque le spill est activé

QUERY_RESOURCE_LIMIT_EXCEEDED avec la sous-classe SPILL_SIZE

Fichiers listés après élimination

10 000 fichiers, réglable jusqu’à 50 000

QUERY_RESOURCE_LIMIT_EXCEEDED avec la sous-classe FILE_LIMIT

Databricks peut modifier ces limites. L’erreur QUERY_RESOURCE_LIMIT_EXCEEDED renvoie le SQLSTATE 53400.

Utilisez les approches suivantes pour respecter les limites :

  • Durée d'exécution de la query : une query qui approche de la limite n'atteint pas l'objectif de moins d'une seconde même si elle est terminée. Filtrez davantage ou pré-agrégez.
  • Octets de mélange : les jointures larges ou les agrégations sur de grandes tables peuvent dépasser la limite. Pré-agrégez avec des vues matérialisées au lieu de joindre de grandes tables au moment de la query.
  • Fichiers listés : Filtrez sur les colonnes de partition ou de liquid clustering pour que la query ne lise que les fichiers dont elle a besoin.

Récence des données​

Pour maintenir une faible latence, Lakehouse//RT réutilise les métadonnées de table récemment mises en cache. Les résultats des query peuvent avoir quelques secondes de retard sur les derniers commits d'une table.

Préparez vos charges de travail pour Lakehouse//RT​

Préparez vos charges de travail avant de les déplacer vers Lakehouse//RT. Pour tester une charge de travail de bout en bout, consultez Évaluer votre charge de travail.

  • Utilisez des tables gérées par Unity Catalog. Les tables gérées avec l’optimisation prédictive et le clustering liquide conservent vos données en cluster selon vos modèles de query.
  • Vérifiez que les queries sont sélectives. Pour une latence inférieure à la seconde, vérifiez que vos queries analysent moins de données. Filtrez tôt avec des clauses WHERE, sélectionnez uniquement les colonnes dont vous avez besoin et appuyez-vous sur les agrégations. La jointure entre les tables est prise en charge, mais si vous trouvez que votre query devient complexe ou lente, envisagez d’utiliser des vues matérialisées qui pré-agrègent vos données pour des latences plus rapides.
  • Vérifiez la couverture SQL. Lakehouse//RT prend uniquement en charge les query de lecture conformes à ANSI et CREATE TABLE AS SELECT (CTAS). Confirmez que vos charges de travail sont conformes aux normes ANSI et évitez les instructions, fonctions et types de données non pris en charge répertoriés dans les Limites.

Fonctionnalités prises en charge​

Cette section répertorie les outils, les types de table et les méthodes de connexion pris en charge par Lakehouse//RT. Pour ce qui n'est pas pris en charge, consultez les Limitations.

Outils et interfaces​

Vous pouvez sélectionner Lakehouse//RT dans le sélecteur de compute pour l'une des fonctionnalités Databricks suivantes :

Pour créer des tableaux de bord AI/BI sur un warehouse Lakehouse//RT, y compris des garde-fous et des limitations spécifiques aux tableaux de bord, consultez Créer des tableaux de bord AI/BI sur Lakehouse Real-Time.

Types de table​

Les query Lakehouse//RT interrogent uniquement les données du Unity Catalog. Pour des performances optimales, utilisez des tables managées Unity Catalog, qui fournissent au moteur le layout de données dont il a besoin pour une faible latence.

Lakehouse//RT prend en charge les types de table suivants :

Connectivité​

Lakehouse//RT accepte uniquement les connexions qui utilisent l'API Statement Execution. Il ne prend pas en charge le protocole Thrift hérité. Un Driver qui envoie des query à un warehouse Lakehouse//RT via Thrift reçoit une erreur avec SQLSTATE KP001.

Pour connecter une application personnalisée ou un agent IA, voir Construire des applications et des agents sur Lakehouse Real-Time.

Vous pouvez vous connecter à un warehouse Lakehouse//RT des manières suivantes :

  • API d’exécution d’instruction : Appelez l’API directement depuis des applications externes. Voir API d’exécution d’instruction : exécuter du SQL sur des warehouse. Deux versions sont disponibles :

    • Statement Execution API version 2: utilisez cette version pour obtenir les meilleures performances de Lakehouse//RT. Il est optimisé pour les warehouse Lakehouse//RT, avec une latence plus faible et une high concurrency plus élevée, et prend warehouse_id comme parameter de chemin à chaque appel. Il ne prend actuellement en charge que les warehouse Lakehouse//RT.
    • Statement Execution API version 1: fonctionne avec tous les types de SQL warehouse. Vous pouvez également exécuter des instructions sur les SQL warehouse Lakehouse//RT avec la version 1, mais la version 2 est optimisée pour eux.
  • Drivers Databricks : pointez le chemin HTTP du driver vers votre warehouse Lakehouse//RT et utilisez au moins la version indiquée pour le driver. À partir de ces versions, le driver détecte automatiquement Lakehouse//RT et utilise le chemin de connexion optimisé pour celui-ci, sans aucun paramètre requis. Les versions antérieures peuvent se connecter avec le paramètre indiqué, mais avec des performances inférieures. Databricks recommande la dernière version du driver pour bénéficier de toutes les fonctionnalités et des meilleures performances.

remarque

Un driver explicitement configuré pour utiliser Thrift, avec use_kernel=False, useKernel: false, WithUseKernel(false) ou UseThriftClient=1, échoue avec un warehouse Lakehouse//RT avec SQLSTATE KP001.

  • Outils pris en charge : les outils suivants se connectent à Lakehouse//RT via leurs propres connecteurs :

Géospatial​

Lakehouse//RT prend en charge les types de données GEOGRAPHY et GEOMETRY ainsi que les fonctions st_ et h3_, à l'exception de celles énumérées sous Limitations.

Contrôle d'accès granulaire​

Lakehouse//RT prend en charge les requêtes en lecture sur les tables, les vues matérialisées et les tables de streaming protégées par des filtres de ligne et des masques de colonne, y compris les filtres et les masques intégrés à Unity Catalog. Les filtres et les masques peuvent être assignés directement à une table ou appliqués par le biais de politiques de contrôle d'accès basé sur les attributs (ABAC). Voir Filtres de ligne et masques de colonne et Contrôle d'accès basé sur les attributs dans Unity Catalog.

Utilisez un compute qui prend en charge la gestion des politiques, comme un SQL warehouse serverless, pour créer ou modifier des filtres de ligne, des masques de colonne et des politiques ABAC. Lakehouse//RT applique les politiques existantes lors de la lecture des tables. Il ne prend pas en charge les instructions de gestion des politiques ou les écritures dans des tables avec des politiques. Pour les restrictions de query, voir Limitations du contrôle d’accès granulaire.

Types de résultat de masque de colonne​

Lakehouse//RT convertit le résultat d'un masque de colonne en type de données déclaré de la colonne en utilisant la sémantique ANSI. Cela s'applique à la fois aux masques au niveau de la table et aux masques ABAC. Si le résultat ne peut pas être converti en type de la colonne, la query échoue.

Par exemple :

  • Un masque qui retourne la chaîne 'REDACTED' pour une colonne BOOLEAN entraîne l'échec de la query car la chaîne ne peut pas être castée en BOOLEAN.
  • Un masque qui retourne FALSE pour une colonne INT produit l’entier 0.

Sur Databricks Runtime, un masque de colonne au niveau de la table expose le type de retour du masque à la query. Le déplacement de la même query vers Lakehouse//RT peut modifier son type de résultat ou provoquer une erreur de conversion. Les masques ABAC convertissent les résultats en type de colonne à la fois sur Databricks Runtime et Lakehouse//RT. Databricks recommande les fonctions de masquage qui renvoient le même type que la colonne.

Plans de query et profils pour les tables protégées​

Pour les query qui utilisent des filtres de ligne ou des masques de colonne, Lakehouse//RT limite les détails affichés dans la sortie EXPLAIN et les profils de query afin de protéger les information sur les données sous-jacentes et la logique de stratégie :

  • EXPLAIN la sortie masque les étapes de query qui lisent des données protégées ou appliquent des politiques. Elle omet également les statistiques de plan.
  • Les profils de query masquent ces étapes de query et omettent les statistiques des tables protégées.

Dépannage​

Le tableau suivant liste les erreurs courantes et la manière de les résoudre :

Erreur

Cause

Résolution

Erreur de protocole Thrift (SQLSTATE KP001)

Le driver se connecte via Thrift.

Configurez le driver pour utiliser l’API Statement Execution. Voir Connectivité.

UNSUPPORTED_FEATURE (SQLSTATE 0A000)

La query utilise une instruction, une fonction, un type de données ou un type de table que Lakehouse//RT ne prend pas en charge. Le message nomme la fonctionnalité.

Réécrivez la query pour éviter la fonctionnalité ou exécutez-la sur un SQL warehouse serverless. Voir Limites.

QUERY_RESOURCE_LIMIT_EXCEEDED (SQLSTATE 53400)

La query dépasse une garde-fou. La sous-classe d'erreur (QUERY_RUNTIME, SHUFFLE_SIZE, SPILL_SIZE ou FILE_LIMIT) nomme la limite.

Filtrez plus tôt, sélectionnez moins de colonnes ou pré-agrégez avec des vues matérialisées. Voir Garde-fous.

QUERY_EXECUTION_TIMEOUT_EXCEEDED

La query s'exécute plus longtemps que le délai d'expiration de l'instruction.

Optimisez la query ou augmentez le délai d’expiration de l’instruction jusqu’à la limite de durée d’exécution de la query.

Erreur de cast sur une table avec un masque de colonne

Le masque retourne une valeur qui ne peut pas être convertie en type de colonne.

Utilisez une fonction de masquage qui renvoie le type de données de la colonne. Voir Types de résultats de masque de colonne.

403 Forbidden lors de la lecture du stockage

Un pare-feu de stockage bloque le compute serverless.

Configurez votre pare-feu pour le compute serverless. Voir Configuration du pare-feu pour le compute serverless.

Erreur

Cause

Résolution

Erreur de protocole Thrift (SQLSTATE KP001)

Le driver se connecte via Thrift.

Configurez le driver pour utiliser l’API Statement Execution. Voir Connectivité.

UNSUPPORTED_FEATURE (SQLSTATE 0A000)

La query utilise une instruction, une fonction, un type de données ou un type de table que Lakehouse//RT ne prend pas en charge. Le message nomme la fonctionnalité.

Réécrivez la query pour éviter la fonctionnalité ou exécutez-la sur un SQL warehouse serverless. Voir Limites.

QUERY_RESOURCE_LIMIT_EXCEEDED (SQLSTATE 53400)

La query dépasse une garde-fou. La sous-classe d'erreur (QUERY_RUNTIME, SHUFFLE_SIZE, SPILL_SIZE ou FILE_LIMIT) nomme la limite.

Filtrez plus tôt, sélectionnez moins de colonnes ou pré-agrégez avec des vues matérialisées. Voir Garde-fous.

QUERY_EXECUTION_TIMEOUT_EXCEEDED

La query s'exécute plus longtemps que le délai d'expiration de l'instruction.

Optimisez la query ou augmentez le délai d’expiration de l’instruction jusqu’à la limite de durée d’exécution de la query.

Erreur de cast sur une table avec un masque de colonne

Le masque retourne une valeur qui ne peut pas être convertie en type de colonne.

Utilisez une fonction de masquage qui renvoie le type de données de la colonne. Voir Types de résultats de masque de colonne.

403 Forbidden lors de la lecture du stockage

Un pare-feu de stockage bloque le compute serverless.

Configurez votre pare-feu pour le compute serverless. Voir Configuration du pare-feu pour le compute serverless.

Si un problème persiste, collectez les informations suivantes et contactez le support Databricks :

  • Le message d'erreur.
  • Une exportation du profil de la query, y compris le texte brut de la query.
  • Si la query s'exécute dans un AI/BI dashboard, un link vers le tableau de bord.
  • Confirmation que la même query s’exécute sur un SQL warehouse serverless.

Tarifs​

Pour des informations sur les tarifs, consultez la page de Tarifs de Databricks.

Limitations​

Lorsqu’une query utilise une fonctionnalité non prise en charge, Lakehouse//RT renvoie une erreur nommant la fonctionnalité. Pour exécuter la query avec succès, utilisez un SQL Warehouse Serverless à la place.

Outils et fonctionnalités​

Lakehouse//RT ne prend pas en charge les fonctionnalités suivantes :

  • Genie, y compris les agents Genie
  • Tâches de jobs

Types de table​

Lakehouse//RT ne prend pas en charge les types de table suivants :

  • Tables dans le stockage default d'Unity Catalog
  • Tables externes dans Unity Catalog
  • Tables du Hive metastore (gérées ou externes)
  • Tables externes et fédération de requêtes (Lakehouse Federation)
  • Tables Delta Sharing
  • Tables temporaires
  • Tables qui utilisent d'autres formats de données (CSV, JSON, Avro, Parquet, ORC et texte)

Limitations du contrôle d'accès précis​

Les queries impliquant des filtres de ligne ou des masques de colonne ont les limitations suivantes :

  • Les lectures du flux de données utilisant table_changes ne sont pas prises en charge sur les tables protégées.
  • Les politiques ABAC attachées aux vues ne sont pas prises en charge.
  • Plusieurs ensembles d'arguments DISTINCT dans un agrégat à l'intérieur d'une fonction de politique échouent avec UNSUPPORTED_FEATURE. Les agrégats qui partagent les mêmes arguments DISTINCT et les agrégats dans la query externe restent supportés.

Drivers et connecteurs​

Lakehouse//RT ne prend pas en charge le driver Simba Spark ODBC ni le driver ODBC Databricks. Utilisez plutôt le driver ODBC OSS Databricks.

Langage SQL​

Lakehouse//RT exécute les queries SQL en mode ANSI uniquement. Il évalue toutes les coercitions et conversions de type implicites selon des règles SQL ANSI strictes, et ce comportement ne peut pas être désactivé. Selon la sémantique ANSI, les requêtes qui s'appuyaient sur un comportement non-ANSI pourraient :

  • Signaler une erreur d'environnement d'exécution au lieu de produire silencieusement NULL. Par exemple, convertir une chaîne non numérique en nombre.
  • Déclenchez une erreur d'analyse-temps lorsqu'il n'y a pas de type commun sûr. Par exemple, COALESCE, CASE, IN ou des opérations d'ensemble entre types incompatibles.
  • Renvoie un type de résultat différent du mode hérité, car la promotion de chaîne ANSI et l'élargissement numérique choisissent des types sûrs et sans perte.

Pour obtenir des résultats prévisibles, utilisez des expressions CAST explicites lorsque les conversions implicites en mode ANSI ne produisent pas le comportement attendu.

Lakehouse//RT ne prend pas en charge ce qui suit :

  • Fonctions : fonctions IA, UDF Python et fonctions XPath et XML.
  • Fonctions spatiales : st_buffer, st_concavehull, st_simplify, st_envelope_agg et st_union_agg.
  • Fonctions H3 : h3_tessellateaswkb, h3_try_tessellateaswkb et h3_getpentagoncellids.

Lakehouse//RT est destiné aux requêtes en lecture (SELECT) et à CREATE TABLE AS SELECT (CTAS). Les autres commandes d'écriture et ETL ne sont pas prises en charge, notamment :

  • Opérations d’écriture : INSERT, UPDATE, DELETE et MERGE.
  • DDL : CREATE (autre que CTAS), ALTER, DROP et les autres instructions qui créent ou modifient des objets.
  • Instructions de sécurité : GRANT et REVOKE.
  • Scripting, procédures stockées, tables temporaires et transactions multi-déclarations.
  • Maintenance de Delta Lake : OPTIMIZE, ANALYZE, VACUUM et REFRESH.

conformité​

Lakehouse//RT ne prend pas en charge les profils de sécurité de conformité.