Notes de publication de Compute Serverless

S'applique à : AWS GCP Azure

Cette section inclut les notes de version pour le compute serverless. Les notes de version sont organisées par année et semaine de l'année. Le compute serverless s'exécute toujours à l'aide de la version la plus récemment publiée répertoriée ici.

6 juillet 2026

Cette version de compute Serverless comprend des mises à jour de SAP Databricks Runtime 18.

Nouvelles fonctionnalités

• Fonctions d'adresse IP (Preview) : De nouvelles fonctions SQL sont disponibles pour travailler avec les adresses IPv4 et IPv6 et les blocs CIDR, y compris les variantes ip_host, ip_cidr, ip_version, ip_prefix_length, ip_network, ip_network_last, ip_cidr_contains, ip_as_binary, ip_as_string et try_* pour un comportement null-safe.

• Repartitionnement d'état à la demande (préversion) : Structured Streaming prend désormais en charge la modification du nombre de partitions de brassage pour les query avec état sans perdre l'état du point de contrôle.

Changements de comportement

• CREATE OR REPLACE TABLE préserve les commentaires : CREATE OR REPLACE TABLE préserve désormais les commentaires de colonne et de table existants par default. Auparavant, les commentaires étaient supprimés lors de la recréation d'une table.

• **Les écritures de DataFrame par nom effectuent le transtypage des colonnes writeTo().append()``writeTo().overwrite()``writeTo().overwritePartitions()compatibles** :,, et write.mode("append").saveAsTable() effectuent désormais automatiquement le transtypage des colonnes compatibles en termes de type (par exemple, int longvers) afin de correspondre au schéma de la table Delta cible. Auparavant, ces opérations échouaient avec une erreur DELTA_FAILED_TO_MERGE_FIELDS lorsque les types de colonnes étaient compatibles mais pas identiques. Le comportement correspond désormais à SQL INSERT INTO ... BY NAME.

• ALTER TABLE SET TBLPROPERTIES for pipelines.pipelineId : ALTER TABLE <table> SET TBLPROPERTIES('pipelines.pipelineId' = '<pipeline-id>') tente maintenant de rendre la table spécifiée éligible aux écritures par le pipeline. Auparavant, la définition de cette propriété sur une table normale n'avait aucun effet. Si la table n'est pas éligible aux écritures du pipeline, la commande lève SETTING_PIPELINES_PIPELINE_ID_NOT_SUPPORTED.

• DESCRIBE EXTENDED AS JSON inclut les résultats d'optimisation prédictive : DESCRIBE EXTENDED ... AS JSON inclut désormais les résultats d'évaluation de l'optimisation prédictive dans sa sortie. Auparavant, ces informations n'étaient pas renvoyées dans la sortie JSON.

• Les mesures de fenêtre d'affichage des métriques renvoient des résultats corrects : les mesures de fenêtre d'affichage des métriques renvoient désormais des résultats corrects lorsque les queries utilisent des filtres GROUP BY, IN/BETWEEN ou des prédicats mixtes sur la colonne d'ordre de la fenêtre. Auparavant, ces modèles de filtre pouvaient générer des résultats incorrects.

• Déduplication Structured Streaming avec des clés NaN : La déduplication Structured Streaming traite désormais les valeurs NaN (non numériques) qui ont des modèles de bits différents comme des doublons lorsqu'une colonne double ou float est utilisée comme clé de déduplication. Auparavant, les valeurs NaN avec des représentations internes différentes étaient traitées comme distinctes et n'étaient pas dédupliquées.

• Mise en correspondance des colonnes insensible à la casseNATURAL JOIN : NATURAL JOIN fait désormais correspondre les colonnes communes de manière insensible à la casse, conformément à la jointure USING équivalente. Auparavant, la mise en correspondance des colonnes était sensible à la casse, ce qui entraînait que les colonnes qui ne différaient que par la casse (par exemple, ID contre id) n'étaient pas reconnues comme des colonnes communes, ce qui entraînait une jointure croisée silencieuse au lieu de l'équi-jointure attendue.

Version 18.2

13 mai 2026

Cette version de compute serverless correspond globalement à SAP Databricks Runtime 18.2.

Nouvelles fonctionnalités

• Prise en charge deCREATE OR REPLACE pour les tables temporaires : la syntaxe CREATE OR REPLACE TEMP TABLE est maintenant prise en charge, vous permettant de créer ou de remplacer des tables temporaires en une seule instruction. Ceci élimine le besoin de supprimer et de recréer explicitement les tables temporaires.

• Aliasagg() pour la fonction measure() : agg() est maintenant disponible en tant qu'alias pour la fonction measure(). Ce changement est entièrement rétrocompatible. Les requêtes existantes qui utilisent measure() continuent de fonctionner sans modification, et agg() produit des résultats identiques lorsqu'il est utilisé avec les mêmes arguments.

• **L'historique de la table Delta comprend des indicateurs d'option d'écriture** : L'historique de la table DeltaDESCRIBE HISTORY () comprend désormais des indicateurs d'option d'écriture dans la operationParameters colonne pour WRITE les REPLACE TABLE opérations et. Lorsque les options suivantes sont explicitement activées, elles apparaissent sous forme d'indicateurs booléens dans l'historique (uniquement incluses lorsque true):

  Pour les WRITE et REPLACE TABLE opérations :

  • isDynamicPartitionOverwrite: présent lorsque le mode d'écrasement de partition dynamique était utilisé
  • canOverwriteSchema: présent lorsque la surcharge de schéma (overwriteSchema) était activée
  • canMergeSchema: présent lorsque la Merge de schémas (mergeSchema) était activée

  Pour REPLACE TABLE opérations :

  • predicate: présent lorsque replaceWhere a été utilisé
  • isV1WriterSaveAsTableOverwrite: présent lorsque le remplacement était déclenché par un écrasement .saveAsTable

• Remplacer sélectivement des données avec les APIs DataFrame replaceOn et replaceUsing : Les options replaceOn et replaceUsing des APIs DataFrame Scala et Python sont désormais généralement disponibles. Utilisez ces options pour remplacer une partie de la table par le résultat d’un DataFrame. replaceOn remplace les lignes qui correspondent à une condition définie par l'utilisateur. replaceUsing remplace les lignes lorsque les colonnes spécifiées sont égales. Ces APIs complètent les instructions SQL INSERT REPLACE ON et INSERT REPLACE USING.

Changements de comportement

• Préservation de la structure NULL dans les écritures INSERT, MERGE et en streaming avec évolution des schémas : Pour INSERT, MERGE et les écritures en streaming qui utilisent l'évolution des schémas, une structure NULL dans la source est désormais stockée comme NULL dans la cible. Auparavant, cette valeur était incorrectement matérialisée comme une structure non nulle avec chaque champ défini sur NULL, tandis que les mêmes opérations sans évolution des schémas préservaient correctement les structures NULL. Si votre code s'appuyait sur la réception d'une structure non nulle dont tous les champs étaient NULL, mettez à jour votre code pour gérer une structure NULL à la place.

• Correction pour la suppression de lignes LEFT OUTER JOIN LATERAL : Un bug qui supprimait incorrectement des lignes des requêtes LEFT OUTER JOIN LATERAL est maintenant corrigé. Les requêtes utilisant ce constructeur renvoient désormais les résultats corrects. Pour revenir temporairement à l'ancien comportement, définissez spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantic sur true.

• NATURAL JOIN respecte la correspondance de colonnes insensible à la casse : NATURAL JOIN utilise désormais correctement la correspondance de colonnes insensible à la casse lorsque spark.sql.caseSensitive est défini sur false (le default). Auparavant, NATURAL JOIN utilisait une comparaison sensible à la casse pour identifier les colonnes communes, ce qui empêchait les colonnes qui ne différaient que par la casse (par exemple, ID versus id) d'être reconnues comme correspondantes. Cela a fait en sorte que NATURAL JOIN produise silencieusement des résultats de jointure croisée. Ce correctif aligne le comportement de NATURAL JOIN avec les jointures USING, qui géraient déjà correctement l'insensibilité à la casse. Les requêtes affectées par ce bug retournent maintenant des résultats corrects avec des colonnes correctement jointes.

• Validation des dépendances des UDF SQL dans Unity Catalog : Unity Catalog applique désormais la validation des dépendances pour les fonctions définies par l'utilisateur (UDF) SQL afin d'éviter le contournement du contrôle d'accès. Auparavant, les fonctions SQL créées via l'API REST pouvaient référencer des dépendances auxquelles l'utilisateur n'avait pas accès. Les UDF SQL avec des configurations de dépendances non valides sont désormais bloquées à l'exécution.

• Les dépendances AWS SDK v1 sont masquées : Les dépendances AWS SDK v1 regroupées avec le SAP Databricks Runtime sont désormais masquées et ne sont plus directement disponibles sur le classpath. Si votre code dépend des bibliothèques AWS SDK v1 précédemment fournies par le Databricks Runtime SAP, ajoutez-les en tant que dépendances explicites dans votre projet. Ce changement prépare la migration vers le SDK AWS v2, suite à la fin du support d'AWS pour le SDK v1.

• **Correction ESRI:102100 de l'autorité EPSG incorrecte pour le SRID 102100 défini par ESRI** : le mappage du système de référence de coordonnées (CRS) pour le SRID 102100 utilise désormais correctement au lieu EPSG:102100 de. Cette correction garantit que les données géospatiales sont stockées avec l'autorité correcte pour une meilleure interopérabilité avec d'autres systèmes.

Version 18.1

20 avril 2026

Cette version de compute serverless correspond grosso modo à SAP Databricks Runtime 18.1.

Nouvelles fonctionnalités

• Évolution des schémas avec les instructions INSERT : utilisez la clause WITH SCHEMA EVOLUTION avec les instructions SQL INSERT pour faire automatiquement évoluer le schéma de la table cible pendant les opérations d'insertion. La clause est prise en charge pour les formes INSERT INTO, INSERT OVERWRITE et INSERT INTO ... REPLACE.

• Valeurs de struct NULL préservées dans les opérations INSERT : les opérations INSERT avec évolution des schémas ou transtypage implicite préservent les valeurs de struct NULL lorsque les tables source et cible ont des ordres de champs de struct différents.

• Fonction SQLparse_timestamp : La fonction SQL parse_timestamp analyse les chaînes de caractères d'horodatage à l'aide de plusieurs modèles. La fonction s'exécute sur le moteur Photon pour des performances améliorées.

• max_by et min_by avec limite facultative : les fonctions d'agrégation max_by et min_by acceptent désormais un troisième argument facultatif limit (jusqu'à 100 000), renvoyant un tableau de valeurs K les plus élevées ou les plus faibles sans fonctions de fenêtre ni CTE.

• **Fonctions d'agrégation vectorielle et scalaire** : De nouvelles fonctions SQL opèrent sur ARRAY<FLOAT> vecteurs pour les charges de travail d'incorporation et de similarité,vector_avg vector_sum``vector_cosine_similaritynotamment,,,,,, vector_inner_product vector_l2_distance``vector_norm vector_normalizeet.

• Prise en charge du curseur SQL dans les instructions composées : Les instructions composées de scriptage SQL prennent désormais en charge le traitement des curseurs. Utilisez DECLARE CURSOR pour définir un curseur, puis ouvrir, extraire et fermer les déclarations pour exécuter la query et consommer les lignes une par une.

• Fonctions d'esquisse top-k approximatives : de nouvelles fonctions permettent de construire et de combiner des esquisses top-K approximatives pour l'agrégation top-K distribuée : approx_top_k_accumulate, approx_top_k_combine et approx_top_k_estimate.

• Fonctions Tuple sketch : de nouvelles fonctions d'agrégation et scalaires pour les tuple sketch prennent en charge le comptage distinct et l'agrégation sur les paires clé-résumé.

• Nouvelles fonctions géospatiales : Les fonctions géospatiales suivantes sont désormais disponibles :

  • st_estimatesrid: Estime le meilleur identifiant de référence spatiale projetée (SRID) pour une géométrie d'entrée.
  • st_force2d: Convertit une géographie ou une géométrie en sa représentation 2D.
  • st_nrings: Compte le nombre total d'anneaux dans un polygone ou un multipolygone, y compris les anneaux extérieurs et intérieurs.
  • st_numpoints: Compte le nombre de points non vides dans une géographie ou une géométrie.

• Prise en charge de Photon pour les fonctions géospatiales : st_difference, st_intersection et st_union fonctionnent désormais sur le moteur Photon pour des performances plus rapides.

Changements de comportement

• Les erreurs de métriques d'observation ne font plus échouer les query : Les erreurs lors de la collecte des métriques d'observation ne provoquent plus d'échecs d'exécution de query. Auparavant, des erreurs dans les clauses OBSERVE (telles qu'une division par zéro) pouvaient bloquer ou faire échouer l'intégralité de la query. Désormais, la query s'exécute avec succès et l'erreur est déclenchée lorsque vous appelez observation.get.

• Mot-clé réservéDESCRIBE FLOW : La commande DESCRIBE FLOW est désormais disponible. Si vous avez une table nommée flow, utilisez DESCRIBE schema.flow, DESCRIBE TABLE flow, ou DESCRIBE `flow` avec des apostrophes inversées.

• Opérations d'ensemble booléennes SpatialSQL : ST_Difference, ST_Intersection et ST_Union utilisent une nouvelle implémentation offrant des performances environ 2x plus rapides. Les géométries d'entrée valides produisent toujours un résultat. Les résultats sont normalisés pour une sortie cohérente et peuvent différer après la 15e décimale pour les intersections de segments de ligne en raison de différentes formules et de l'ordre des opérations.

• Types d'exception pour SQLSTATE : Les types d'exception sont mis à jour pour prendre en charge SQLSTATE. Si votre code analyse les exceptions par correspondance de chaînes ou intercepte des types d'exception spécifiques, mettez à jour votre logique de gestion des erreurs.

Version 18.0

27 février 2026

Cette version de compute serverless correspond approximativement à SAP Databricks Runtime 18.0.

Nouvelles fonctionnalités

• Le scripting SQL est en disponibilité générale : le scripting SQL est désormais généralement disponible sur le compute serverless.
• Isolation partagée pour les UDF Python d'Unity Catalog : Les UDF Python d'Unity Catalog s'exécutent désormais en mode d'isolation partagée sur du compute serverless.
• Fonctions de fenêtre SQL dans les vues de métriques : Vous pouvez désormais utiliser des fonctions de fenêtre SQL dans les vues de métriques.
• **Ajustement dynamique des partitions de brassage dans les requêtes de streaming sans état** : le compute Serverless ajuste désormais dynamiquement les partitions de brassage pour les requêtes de streaming sans état afin d'optimiser les performances.
• Regroupement des littéraux de chaîne partout : les littéraux de chaîne sont désormais regroupés dans tous les contextes SQL.
• Marqueurs de paramètre partout : Les marqueurs de paramètre sont désormais pris en charge dans tous les contextes SQL.
• Clause IDENTIFIER partout : la clause IDENTIFIER est désormais prise en charge dans tous les contextes SQL.
• Nouvelle fonction BITMAP_AND_AGG : Une nouvelle fonction d'agrégation pour les opérations bitmap AND.
• **Nouvelles fonctions d'esquisse Theta** : nouvelles fonctions pour le comptage distinct approximatif d'esquisse Theta.
• Nouvelle bibliothèque de fonctions KLL Sketch : Nouvelles fonctions pour l'estimation des quantiles KLL Sketch.
• Apache Parquet mis à niveau vers la version 1.16.0 : La bibliothèque Apache Parquet a été mise à niveau vers la version 1.16.0.
• Nouvelles fonctions géospatiales : st_azimuth, st_boundary, st_closestpoint, st_geogfromewkt, st_geomfromewkt.
• Performances améliorées des jointures spatiales : les jointures spatiales s'exécutent désormais plus rapidement sur le compute serverless.
• Amélioration des performances des fonctions géospatiales : les fonctions géospatiales ont été optimisées pour de meilleures performances.

Changements de comportement

• FSCK REPAIR TABLE inclut la réparation des métadonnées default.
• Exécution unifiée d'UDF Python (modification du comportement du fuseau horaire TIMESTAMP).
• Restrictions de time travel et comportement de rétention de VACUUM mis à jour.
• BinaryType est mappé en octets par default dans PySpark.
• Colonnes de partition matérialisées dans des fichiers Parquet.
• DESCRIBE TABLE La sortie inclut une colonne de métadonnées.

La version 5 de l'environnement Serverless est désormais disponible

25 février 2026

La version 5 de l’environnement Serverless est désormais disponible et comprend des bibliothèques système et des correctifs de sécurité mis à jour.

Version 17.3

28 octobre 2025

Cette version du compute serverless correspond globalement à Databricks Runtime 17.3 LTS.

Nouvelles fonctionnalités

• Prise en charge de LIMIT ALL pour les CTE récursives : Vous pouvez désormais utiliser la clause LIMIT ALL avec des expressions de table commune récursives (CTE récursives) pour spécifier explicitement qu'aucune limite de lignes ne doit être appliquée aux résultats de la query.

• L'ajout à des fichiers dans les volumes Unity Catalog renvoie une erreur correcte : Tenter d'ajouter à des fichiers existants dans les volumes Unity Catalog renvoie désormais un message d'erreur plus descriptif pour vous aider à comprendre et à résoudre le problème.

• Prise en charge de la fonctionst_dump : vous pouvez désormais utiliser la fonction st_dump pour décomposer un objet géométrique en ses parties constitutives, renvoyant un ensemble de géométries plus simples.

• Les fonctions d'anneau intérieur de polygone sont désormais prises en charge : Vous pouvez désormais utiliser les fonctions suivantes pour travailler avec les anneaux intérieurs de polygone :

  • st_numinteriorrings: Obtenez le nombre de limites internes (anneaux) d'un polygone.
  • st_interiorringn: Extrayez la n-ième limite interne d’un polygone et la retournez sous forme de linestring.

• EXECUTE IMMEDIATE using constant expressions : L'instruction EXECUTE IMMEDIATE prend désormais en charge l'utilisation d'expressions constantes dans la chaîne de requête, permettant une exécution SQL dynamique plus flexible.

• Autoriser spark.sql.files.maxPartitionBytes dans le compute Serverless : Vous pouvez maintenant configurer le paramètre de configuration Spark spark.sql.files.maxPartitionBytes sur le compute Serverless pour contrôler le nombre maximal d'octets à regrouper dans une seule partition lors de la lecture des fichiers.

Changements de comportement

• Ajout d'une colonne de métadonnées à DESCRIBE QUERY et DESCRIBE TABLE : Les commandes DESCRIBE QUERY et DESCRIBE TABLE incluent désormais une colonne de métadonnées dans leur sortie, fournissant des informations supplémentaires sur les propriétés et les caractéristiques de chaque colonne.

• Changement de mode default pour la commande FSCK REPAIR TABLE : Le mode default de la commande FSCK REPAIR TABLE a changé pour fournir un comportement plus cohérent lors de la réparation des métadonnées de la table.

• Gestion correcte des structures de type nul lors de la suppression des colonnes de type nul : SAP Databricks gère désormais correctement les valeurs de structure nulles lors de la suppression des colonnes NullType avec, ce qui empêche la corruption potentielle des données ou un comportement inattendu.

• Gestion améliorée des structures nulles dans Parquet : cette version inclut des améliorations sur la manière dont les valeurs de structure nulles sont traitées lors de la lecture et de l'écriture de fichiers Parquet, garantissant un comportement plus cohérent et correct.

• Mise à niveau de la bibliothèque aws-msk-iam-auth pour Kafka : La bibliothèque aws-msk-iam-auth utilisée pour l'authentification Amazon MSK IAM a été mise à niveau vers la dernière version, offrant une sécurité et une compatibilité améliorées.

Version 17.2

25 septembre 2025

Cette version de compute serverless correspond globalement à Databricks Runtime 17.2.

Nouvelles fonctionnalités

• La fonction ST_ExteriorRing est désormais prise en charge : vous pouvez désormais utiliser la fonction ST_ExteriorRing pour extraire la limite extérieure d'un polygone et la renvoyer sous forme de linestring.

• Prise en charge du mot-clé TEMPORARY pour la création de vues métriques : Vous pouvez désormais utiliser le mot-clé TEMPORARY lors de la création d'une vue métrique. Les vues de métriques temporaires ne sont visibles que dans la session qui les a créées et sont supprimées lorsque la session se termine.

• Utiliser l’E/S native pour LokiFileSystem.getFileStatus sur S3 : LokiFileSystem.getFileStatus utilise désormais la pile d’E/S native pour le trafic Amazon S3 et renvoie org.apache.hadoop.fs.FileStatus les objets au lieu des shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus objets.

• Auto Loader déduit les colonnes de partition en mode singleVariantColumn : Auto Loader déduit désormais les colonnes de partition à partir des chemins de fichier lors de l'ingestion de données en tant que type de variante semi-structuré à l'aide de l'option singleVariantColumn. Auparavant, les colonnes de partition n'étaient pas automatiquement détectées.

Changements de comportement

• DESCRIBE CONNECTION affiche les paramètres d'environnement pour les connexions JDBC : SAP Databricks inclut désormais des paramètres d'environnement définis par l'utilisateur dans la sortie DESCRIBE CONNECTION pour les connexions JDBC qui prennent en charge les Drivers personnalisés et s'exécutent de manière isolée. D'autres types de connexion restent inchangés.

• **Option de tronquer l'historique uniforme pendant la migration des tables gérées** : Vous pouvez maintenant tronquer l'historique uniforme lors de la migration de tables avec Uniform/Iceberg activé en ALTER TABLE...SET MANAGED utilisant. Cela simplifie les migrations et réduit les temps d'arrêt par rapport à la désactivation et à la réactivation manuelle d'Uniform.

• **Résultats corrects pour split avec regex vide et limite positive** : SAP Databricks renvoie désormais des résultats corrects lors de l'utilisation de split function avec un regex vide et une limite positive. Auparavant, la fonction tronquait incorrectement la chaîne restante au lieu de l'inclure dans le dernier élément.

• **Correction de la gestion des erreurs et dans Photon** url_decode try_url_decode : Dans Photon, try_url_decode() et url_decode() avec failOnError = false renvoient désormais NULL pour les chaînes d'URL encodées non valides au lieu de faire échouer la query.

• Environnement d'exécution partagé pour les UDTF Python d'Unity Catalog : SAP Databricks partage désormais l'environnement d'exécution pour les fonctions de table définies par l'utilisateur Python (UDTF) du même propriétaire et de la même session Spark. Une clause facultative STRICT ISOLATION est disponible pour désactiver le partage pour les UDTF avec des effets secondaires, tels que la modification des variables d'environnement ou l'exécution de code arbitraire.

Version 17.1

19 août 2025

Cette version de compute serverless correspond globalement à Databricks Runtime 17.1.

Nouvelles fonctionnalités

• Réduction de l'utilisation de la mémoire pour les schémas larges dans l'enregistreur Photon : des améliorations ont été apportées au moteur Photon qui réduisent considérablement l'utilisation de la mémoire pour les schémas larges, résolvant ainsi les scénarios qui entraînaient auparavant des erreurs de mémoire insuffisante.

Changements de comportement

• **Erreur levée pour les CHECK contraintes non valides** : SAP Databricks lève désormais une AnalysisException si une CHECK expression de contrainte ne peut pas être résolue lors de la validation de la contrainte.

• **Le connecteur Pulsar n'expose plus Bouncy Castle** : La bibliothèque Bouncy Castle est désormais masquée dans le connecteur Pulsar afin d'éviter les conflits de classpath. En conséquence, les Jobs Spark ne peuvent plus accéder aux classes org.bouncycastle.* du connecteur. Si votre code dépend de Bouncy Castle, installez la bibliothèque manuellement dans un environnement serverless.

Version 4 de l’environnement Serverless

13 août 2025

La version 4 de l'environnement est maintenant disponible dans vos Notebooks et Jobs Serverless. Cette version de l'environnement inclut des mises à niveau de bibliothèque et des mises à jour d'API.

Version 17.0

24 juillet 2025

Cette version de compute serverless correspond approximativement à Databricks Runtime 17.0.

Nouvelles fonctionnalités

• Prise en charge des procédures SQL : Les scripts SQL peuvent désormais être encapsulés dans une procédure stockée comme asset réutilisable dans Unity Catalog. Vous pouvez créer une procédure à l'aide de la commande CREATE PROCEDURE, puis l'appeler à l'aide de la commande CALL.

• Définir une collation par default pour les fonctions SQL : L'utilisation de la nouvelle clause DEFAULT COLLATION dans la commande CREATE FUNCTION définit la collation par default utilisée pour les STRING parameters, le type de retour et les STRING littéraux dans le corps de la fonction.

• Prise en charge des expressions de table commune récursives (rCTE) : SAP Databricks prend désormais en charge la navigation des données hiérarchiques à l'aide d'expressions de table commune récursives (rCTE). Utilisez un CTE auto-référencement avec UNION ALL pour suivre la relation récursive.

• PySpark et Spark Connect prennent désormais en charge l'API df.mergeInto DataFrames : PySpark et Spark Connect prennent désormais en charge l'API df.mergeInto.

• Prise en charge de ALL CATALOGS dans SHOW SCHEMAS : La syntaxe SHOW SCHEMAS est mise à jour pour accepter ALL CATALOGS, vous permettant d'itérer à travers tous les catalogues actifs qui prennent en charge les espaces de noms. Les attributs de sortie incluent désormais une colonne catalog indiquant le catalogue de l'espace de noms correspondant.

• Le clustering liquide compacte désormais les vecteurs de suppression plus efficacement : les tables Delta avec clustering liquide appliquent désormais les changements physiques des vecteurs de suppression plus efficacement lorsque OPTIMIZE est en cours d'exécution.

• Autoriser les expressions non déterministes dans les valeurs de colonne UPDATE/INSERT pour les Opérations MERGE : SAP Databricks permet désormais l'utilisation d'expressions non déterministes dans les valeurs de colonne mises à jour et insérées des Opérations MERGE. Par exemple, vous pouvez maintenant générer des valeurs dynamiques ou aléatoires pour les colonnes en utilisant des expressions comme rand().

• Modification des API Python Delta MERGE pour renvoyer un DataFrame au lieu d'une unité : Les API Python MERGE (telles que DeltaMergeBuilder) renvoient désormais également un DataFrame, comme le fait l'API SQL, avec les mêmes résultats.