Aller au contenu principal
Dernière mise à jour le

Notes de version de Databricks SQL 2024

Voici un aperçu des améliorations et mises à jour de Databricks SQL de janvier à décembre 2024.

21 novembre 2024​

Tables système SQL Warehouse (Aperçu public)

  • La table system.compute.warehouses enregistre quand les SQL Warehouse sont créés, modifiés et supprimés. Vous pouvez utiliser la table pour surveiller les modifications apportées aux paramètres du warehouse, y compris le nom du warehouse, le type, la taille, le Canal de distribution, les balises, l'arrêt automatique et les paramètres de dimensionnement automatique. Consultez la référence de la table système des warehouses.

Découverte des données

  • L'onglet **tab** dans Catalog Explorer a été repensé avec une interface utilisateur améliorée pour le filtrage des entités.

13 novembre 2024​

Tableaux de bord hérités :

  • Un problème où les info-bulles basées sur des modèles n'affichaient pas de contenu détaillé pour les graphiques à double axe et à plusieurs champs d'axe a été résolu.

31 octobre 2024​

Mises à jour de l'interface utilisateur​

Nouvel éditeur SQL (aperçu public)

  • Vous pouvez maintenant exécuter la query SQL active à l'aide du raccourci clavier Command (ou Ctrl) + Shift + Enter.
  • La zone de saisie des paramètres affiche désormais une barre de défilement lorsque le texte dépasse de la fenêtre d'affichage.
  • Un problème qui empêchait la page des détails du profil de query de s'ouvrir complètement a été corrigé.
  • Vous pouvez maintenant renommer les queries en saisissant le nouveau nom dans le titre du tab.
  • Le bouton Planifier est désormais désactivé pour les requêtes qui n'ont jamais été enregistrées auparavant.

24 octobre 2024​

Notes de version pour les outils AI/BI​

Les notes de version pour les tableaux de bord AI/BI et les Genie Agents (anciennement Genie Spaces) ont été déplacées vers les notes de version AI/BI et Genie One. Les futures versions et mises à jour y seront documentées.

17 octobre 2024​

Les destinations de notification sont désormais généralement disponibles​

Vous pouvez créer et configurer des destinations de notification que les utilisateurs du Workspace peuvent ajouter à certains workflows, comme les alertes, les Lakeflow Jobs et les planifications de l'AI/BI dashboard, pour envoyer des e-mails ou des webhooks lorsqu'un événement s'exécute. Consultez Gérer les destinations de notification.

10 octobre 2024​

Query insight

3 octobre 2024​

Mises à jour de l'interface utilisateur​

Les fonctionnalités listées dans cette section sont indépendantes des versions de compute SQL Warehouse décrites ci-dessus.

Explorateur de catalogue

  • Les commentaires générés par l'IA sont désormais pris en charge pour les catalogues, les schémas, les volumes, les modèles et les fonctions, et les utilisateurs peuvent utiliser l'assistant de chat intégré pour modifier leurs commentaires.

26 septembre 2024​

11 septembre 2024​

Mises à jour de l'interface utilisateur​

Les fonctionnalités énumérées dans cette section sont indépendantes des versions de compute du SQL Warehouse décrites ci-dessus.

Éditeur SQL

Vous pouvez désormais utiliser la syntaxe des marqueurs de paramètre nommés dans l'éditeur SQL. La syntaxe des marqueurs de paramètre nommés peut être utilisée dans l'éditeur SQL, les notebooks et les tableaux de bord AI/BI. Consultez Utiliser les marqueurs de paramètre nommés.

Requêtes et tableaux de bord hérités

Pour les requêtes SQL et les anciens tableaux de bord, les éléments supprimés n'apparaissent plus dans les pages de liste. Recherchez les éléments supprimés dans le dossier Corbeille du Workspace. Les administrateurs du Workspace peuvent consulter les éléments supprimés dans les dossiers Corbeille de tous les utilisateurs.

SQL Warehouse

La table system.compute.warehouse_events enregistre quand les SQL Warehouse démarrent, s'arrêtent, montent et descendent en charge. Vous pouvez utiliser le tableau pour surveiller les SQL Warehouse dans vos Workspace. Voir la référence de la table système des événements de warehouse.

5 septembre 2024.​

Modifications en 2024,40​

La version 2024.40 de Databricks SQL inclut les changements de comportement, les nouvelles fonctionnalités et les améliorations suivants.

Changements de comportement​

  • Passer au mode de liaison de schéma par default pour les vues

    Les vues s'adaptent désormais aux modifications de schéma dans la query sous-jacente en utilisant la compensation de schéma avec des règles de cast régulières. Ceci est un changement par rapport au mode default précédent de BINDING, qui générait des erreurs lorsqu'un cast sûr ne pouvait pas être effectué lors du référencement de la vue.

    Consultez CREATE VIEW et la fonctioncast.

  • Interdire l'utilisation de la syntaxe ! non documentée au lieu de NOT en dehors des expressions booléennes.

    Avec cette version, l'utilisation de ! comme synonyme de NOT en dehors des expressions booléennes n'est plus autorisée. Par exemple, les instructions suivantes : CREATE ... IF ! EXISTS, IS ! NULL, une propriété de colonne ou de champ ! NULL, ! IN et ! BETWEEN, doivent être remplacées par : CREATE ... IF NOT EXISTS, IS NOT NULL, une propriété de colonne ou de champ NOT NULL, NOT IN et NOT BETWEEN.

    Cette modification assure la cohérence, s'aligne sur la norme SQL et rend votre SQL plus portable.

    L'opérateur de préfixe booléen ! (par exemple, !is_mgr ou !(true AND false)) n'est pas affecté par ce changement.

  • Interdire la syntaxe de définition de colonne non documentée dans les vues

    Databricks prend en charge CREATE VIEW avec des colonnes nommées et des commentaires de colonne. Auparavant, la spécification des types de colonne, des contraintes NOT NULL, ou DEFAULT était autorisée. Avec cette version, vous ne pouvez plus utiliser cette syntaxe.

    Cette modification assure la cohérence, s'aligne sur la norme SQL et prend en charge les améliorations futures.

  • L’ajout d’une contrainte CHECK sur une colonne non valide renvoie désormais la classe d’erreur UNRESOLVED_COLUMN.WITH_SUGGESTION

    Pour fournir des messages d'erreur plus utiles, dans Databricks Runtime 15.3 et versions ultérieures, une instruction ALTER TABLE ADD CONSTRAINT qui inclut une contrainte CHECK référençant un nom de colonne non valide renvoie la classe d'erreur UNRESOLVED_COLUMN.WITH_SUGGESTION. Auparavant, un INTERNAL_ERROR a été renvoyé.

Nouvelles fonctionnalités et améliorations​

  • Activer UniForm Iceberg à l'aide d'ALTER TABLE

    Vous pouvez maintenant activer UniForm Iceberg sur les tables existantes sans réécrire les fichiers de données. Voir Sur une table existante.

  • Fonctions de validation UTF-8

    Cette version introduit les fonctions suivantes pour la validation des chaînes UTF-8 :

    • is_valid_utf8 a vérifié si une chaîne est une chaîne UTF-8 valide.
    • make_valid_utf8 convertit une chaîne UTF-8 potentiellement non valide en une chaîne UTF-8 valide à l'aide de caractères de substitution
    • validate_utf8 déclenche une erreur si l'entrée n'est pas une chaîne UTF-8 valide.
    • try_validate_utf8 renvoie NULL si l'entrée n'est pas une chaîne UTF-8 valide.

  • fonctions to_avro et from_avro

    Les fonctions to_avro et from_avro permettent la conversion des types SQL en données binaires Avro et inversement.

  • fonction try_url_decode

    Cette version introduit la fonction try_url_decode, qui décode une chaîne encodée en URL. Si la chaîne n'est pas dans le bon format, la fonction renvoie NULL au lieu de déclencher une erreur.

  • Permettre éventuellement à l'optimiseur de s'appuyer sur des contraintes de clé étrangère non appliquées

    Pour améliorer les performances des query, vous pouvez désormais spécifier le mot-clé RELY sur les contraintes FOREIGN KEY lorsque vous CRÉEZ ou MODIFIEZ une table.

  • Prise en charge de la suppression de la fonctionnalité de table des contraintes de vérification

    Les remplacements sélectifs utilisant replaceWhere exécutent désormais des Jobs qui suppriment les données et insèrent de nouvelles données en parallèle, améliorant les performances de query et l'utilisation des clusters.

  • Exécutions de job parallélisées pour les remplacements sélectifs

    Les remplacements sélectifs utilisant replaceWhere exécutent désormais des Jobs qui suppriment les données et insèrent de nouvelles données en parallèle, améliorant les performances de query et l'utilisation des clusters.

  • Performances améliorées pour l'alimentation en données de modification avec des remplacements sélectifs

    Les remplacements sélectifs utilisant replaceWhere sur les tables avec flux de données de modification n'écrivent plus de fichiers de données de modification distincts pour les données insérées. Ces opérations utilisent une colonne _change_type masquée présente dans les fichiers de données Parquet sous-jacents pour enregistrer les modifications sans amplification d'écriture.

  • Amélioration de la latence des requêtes pour la commande COPY INTO

    Cette version inclut un changement qui améliore la latence de la query pour la commande COPY INTO. Cette amélioration est implémentée en rendant asynchrone le chargement de l'état par le magasin d'état RocksDB. Avec ce changement, vous devriez voir une amélioration des temps de start pour les queries avec des états volumineux, telles que les queries avec un grand nombre de fichiers déjà ingérés.

Mises à jour de l'interface utilisateur​

Les fonctionnalités énumérées dans cette section sont indépendantes des versions de compute du SQL Warehouse décrites ci-dessus.

Visualisations

  • Les totaux d'infobulles s'affichent désormais uniquement pour les graphiques empilés.

22 août 2024​

Visualisations

Pour les configurations groupées et multi-champs, les info-bulles affichent désormais les totaux lorsque vous passez la souris sur les éléments du graphique.

15 août 2024​

Visualisations

Correction d'un problème où les numéros de ligne dans les visualisations de tableau ne se mettaient pas à jour après avoir modifié la taille de la page.

Découverte des données

La possibilité de développer et de réduire les types de colonnes complexes imbriquées dans les tables Unity Catalog est désormais prise en charge.

1er août 2024​

Outils API

Visualisations :

  • Le tri des tables est maintenant préservé lorsque les données changent en raison du filtrage.

Éditeur SQL :

  • Lisibilité améliorée en ajoutant un espacement supplémentaire entre la dernière ligne d'une query et la sortie du résultat.

25 juillet 2024​

API REST Databricks :

  • Les APIs pour la gestion des requêtes, des alertes, des sources de données et des autorisations ont changé. La version héritée continuera d'être prise en charge pendant six mois. Cette période de transition est destinée à vous laisser suffisamment de temps pour migrer vos applications et intégrations vers la nouvelle version avant que l'ancienne ne soit supprimée progressivement. Consultez Mise à jour vers la dernière version de l'API Databricks SQL

18 juillet 2024​

Mises à jour de l'interface utilisateur​

Explorateur de catalogue :

  • Un nouvel assistant de configuration de catalogue est maintenant disponible pour configurer les liaisons de workspace, les privilèges de catalogue et les métadonnées lors de la création d'un catalogue.

SQL Warehouse monitoring :

  • L'autorisation CAN MONITOR est désormais généralement disponible. Il permet aux utilisateurs privilégiés de surveiller les SQL warehouses, y compris l'historique et les profils des query associés. Consultez les ACLs du SQL warehouse.

11 juillet 2024​

Databricks SQL Version 2024.35 Disponible​

Calendrier de déploiement : Déploiement en préversion pour 2024.35 : Entre le 9 et le 15 juillet

Modifications dans la version 2024.35​

Désactiver le mappage de colonnes avec la fonction de suppression​

Vous pouvez maintenant utiliser DROP FEATURE pour désactiver le mappage de colonnes sur les tables Delta et rétrograder le protocole de table. Consulter Maintenir la compatibilité.

Syntaxe de type variant et fonctions en préversion publique​

Le support intégré d'Apache Spark pour travailler avec des données semi-structurées en tant que type VARIANT est désormais disponible dans les Spark DataFrames et SQL. Voir les données de variante de query.

Prise en charge du type de variante pour Delta Lake en Public Preview​

Vous pouvez désormais utiliser VARIANT pour stocker des données semi-structurées dans des tables adossées à Delta Lake. Voir la prise en charge des types de variantes pour Apache Iceberg et Delta Lake.

Prise en charge de différents modes d'évolution des schémas dans les vues​

CREATE VIEW et ALTER VIEW permettent désormais de définir un mode de liaison de schéma, améliorant la façon dont les vues gèrent les changements de schéma dans les objets sous-jacents. Cette fonctionnalité permet aux vues de tolérer ou de s'adapter aux changements de schéma dans les objets sous-jacents. Elle aborde les changements dans le schéma de query résultant des modifications des définitions d'objets.

Amélioration des performances pour certaines fonctions de fenêtre​

Cette version inclut une modification qui améliore les performances de certaines fonctions de fenêtre Spark, spécifiquement les fonctions qui n'incluent pas une clause ORDER BY ou un parameter window_frame. Dans ces cas, le système peut réécrire la query pour l'exécuter en utilisant une fonction d'agrégation. Cette modification permet à la query de s'exécuter plus rapidement en utilisant l'agrégation partielle et en évitant la surcharge liée à l'exécution des fonctions de fenêtre. Le paramètre de configuration Spark spark.databricks.optimizer.replaceWindowsWithAggregates.enabled contrôle cette optimisation et est défini par default sur true. Pour désactiver cette optimisation, définissez spark.databricks.optimizer.replaceWindowsWithAggregates.enabled sur false.

Prise en charge de la fonction try_mod ajoutée​

Cette version ajoute la prise en charge de la fonction PySpark try_mod(). Cette fonction prend en charge le calcul compatible ANSI SQL du reste entier en divisant deux valeurs numériques. Si l'argument du diviseur est 0, la fonction try_mod() renvoie la valeur null au lieu de générer une exception. Vous pouvez utiliser la fonction try_mod() au lieu de mod ou %, qui génère une exception si l'argument du diviseur est 0 et que ANSI SQL est activé.

Mises à jour de l'interface utilisateur​

Éditeur SQL :

L'assistant intégré est maintenant disponible dans l'éditeur SQL. Cliquez sur l'icône de l'assistant dans la boîte de l'éditeur pour activer/désactiver la saisie. Saisissez une question ou un commentaire en anglais, puis appuyez sur Entrée (pas Maj+Entrée, qui exécute une requête) pour générer une réponse avec une vue différente directement dans l'éditeur.

Plateforme :

Une API pour les destinations de notification est maintenant disponible. Vous pouvez désormais gérer par programmation les destinations de webhook et d'e-mail pour vos alertes et notifications d'exécution de Job. Voir Destinations de la notification.

4 juillet 2024​

Databricks SQL version 2024.30 disponible​

**Calendrier de déploiement** : Déploiement de la préversion pour 2024.30 : Entre le 9 et le 15 juillet

Modifications en 2024.30​

Lakehouse Federation est généralement disponible (GA)​

Les connecteurs Lakehouse Federation pour les types de bases de données suivants sont désormais généralement disponibles (GA) :

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snowflake
  • Microsoft SQL Server
  • Azure Synapse (SQL Data Warehouse)
  • Databricks

Cette version introduit également les améliorations suivantes :

  • Prise en charge de l'authentification Single Sign On (SSO) dans les connecteurs Snowflake et Microsoft SQL Server.

  • Prise en charge de rapports supplémentaires (fonctions de chaîne, fonctions mathématiques, fonctions diverses).

  • Taux de réussite amélioré du pushdown pour différentes formes de requêtes.

  • Fonctionnalités de debugging pushdown supplémentaires :

    • La sortie EXPLAIN FORMATTED affiche le texte de la query transférée.
    • L'interface utilisateur du profil de query affiche le texte de query poussée, les identifiants de nœuds fédérés et les temps d'exécution de query JDBC (en mode détaillé). Voir Afficher les requêtes fédérées générées par le système.

DESCRIBE HISTORY affiche désormais les colonnes de clustering pour les tables qui utilisent le clustering fluide​

Lorsque vous exécutez une DESCRIBE HISTORY query, la colonne operationParameters affiche un champ clusterBy Timestamp par default pour les CREATE OR REPLACE et OPTIMIZE Opérations. Pour une table Delta qui utilise le clustering liquide, le champ clusterBy est rempli avec les colonnes de clustering de la table. Si la table n'utilise pas le clustering liquide, le champ est vide.

La prise en charge des clés primaires et étrangères est généralement disponible​

La prise en charge des clés primaires et étrangères dans Databricks Runtime est généralement disponible. La version GA inclut les modifications suivantes concernant les privilèges requis pour utiliser les clés primaires et étrangères :

  • Pour définir une clé étrangère, vous devez disposer du privilège SELECT sur la table avec la clé primaire à laquelle la clé étrangère fait référence. Vous n'avez pas besoin de posséder la table avec la clé primaire, ce qui était auparavant requis.
  • La suppression d'une clé primaire à l'aide de la clause CASCADE ne nécessite pas de privilèges sur les tables qui définissent des clés étrangères qui référencent la clé primaire. Auparavant, vous deviez posséder les tables de référence.
  • La suppression d'une table qui inclut des contraintes nécessite désormais les mêmes privilèges que la suppression de tables qui n'en incluent pas.

Pour savoir comment utiliser les clés primaires et étrangères avec les tables ou les vues, consultez la clause CONSTRAINT, la clause ADD CONSTRAINT et la clause DROP CONSTRAINT.

Le clustering liquide est GA​

Le support du clustering liquide est désormais généralement disponible avec Databricks Runtime 15.2 et versions ultérieures. Voir Utiliser le clustering liquide pour les tables.

L'élargissement de type est en préversion publique.​

Vous pouvez désormais activer l'élargissement de type sur les tables prises en charge par Delta Lake. Les tables avec élargissement de type activé permettent de modifier le type des colonnes vers un type de données plus large sans réécrire les fichiers de données sous-jacents. Voir élargissement du type.

Clause d'évolution des schémas ajoutée à la syntaxe de Merge SQL​

Vous pouvez désormais ajouter la clause WITH SCHEMA EVOLUTION à une instruction Merge SQL pour activer l'évolution des schémas pour l'Opération. Voir MERGE avec évolution des schémas à l’aide de SQL, Python et Scala.

Prise en charge de l'inventaire vacuum​

Vous pouvez désormais spécifier un inventaire de fichiers à prendre en compte lors de l'exécution de la commande VACUUM sur une table Delta. Consultez la documentation OSS Delta.

Prise en charge des fonctions de compression Zstandard​

Vous pouvez maintenant utiliser les fonctions zst_compress, zstd_decompress et try_zstd_decompress pour compresser et décompresser les données BINARY.

Les plans de requête dans l'interface utilisateur SQL s'affichent désormais correctement PhotonWriteStage​

Lorsqu'elles sont affichées dans l'interface utilisateur SQL, les commandes write dans les plans de requête affichaient incorrectement PhotonWriteStage comme un opérateur. Avec cette version, l'interface utilisateur est mise à jour pour afficher PhotonWriteStage comme une étape. Il s'agit uniquement d'un changement de l'interface utilisateur qui n'affecte pas la façon dont les requêtes sont exécutées.

Les SQL Warehouse Serverless sont désormais généralement disponibles.​

Les entrepôts SQL Warehouse Serverless sont désormais généralement disponibles dans les régions prises en charge. Ils offrent un compute instantané, une gestion minimale et une optimisation des coûts pour les query SQL. Créez des SQL Warehouse Serverless ou convertissez des SQL Warehouse pro ou classiques en Serverless.

Mises à jour de l'interface utilisateur​

Prise en charge de l'API :

27 juin 2024​

Mises à jour de l'interface utilisateur​

Visualisations :

  • Interactivité améliorée dans l'affichage des infobulles lors du survol de diagrammes circulaires, de nuages de points et de cartes thermiques comportant de nombreux points de données.

Explorateur de catalogue :

  • Une interface utilisateur repensée de l'explorateur de catalogue facilite la découverte et la mise en favoris des récents assets Unity Catalog depuis la vue Accès rapide . L'expérience de navigation a également été simplifiée, vous permettant d'explorer les détails de compute, de stockage, d'identifiants, de connexions, de DBFS et de gestion à l'aide des Icône des paramètres Paramètres dans le coin supérieur gauche de l'écran. Delta Sharing, les salles blanches et les données externes ont désormais des pages dédiées.

6 juin 2024​

Mises à jour de l'interface utilisateur​

Tableaux de bord :

  • Les utilisateurs du compte peuvent désormais download les données de visualisation à partir des tableaux de bord publiés
  • Les tableaux de bord non publiés peuvent maintenant être publiés à l'aide du menu déroulant Brouillon/Publier en haut d'un tableau de bord.
  • Correction d'un problème où les paramètres nommés **limit** n'étaient pas détectés.

Visualisations :

  • Rendu amélioré des boîtes à moustaches en mode sombre.

Informations sur les requêtes :

  • Pour tous les Notebooks attachés aux SQL Warehouses, vous pouvez accéder au profil de la query en cliquant sur **Voir les performances** sous la cellule qui contient la query. Si la cellule inclut plusieurs queries, un Link vers le profil de query pour chacune est fourni pour chaque instruction.

30 mai 2024​

Les Serverless SQL Warehouse sont en aperçu public dans les régions suivantes :​

  • us-west1
  • us-east4
  • europe-west2
  • asia-southeast1
  • Asie du Sud 1

Nouveau niveau d'autorisation pour les SQL warehouses​

L'autorisation Peut surveiller permet aux utilisateurs de surveiller les SQL warehouses, y compris l'historique des requêtes associé et les profils de requêtes. L'autorisation Peut surveiller est désormais en aperçu public. Consultez les ACLs de SQL Warehouse.

Mises à jour de l'interface utilisateur​

Améliorations du tableau de bord :

  • Ajout d'un menu kebab aux widgets de tableau de bord pour download des images et des données.
  • Les utilisateurs peuvent migrer les paramètres basés sur les requêtes des tableaux de bord hérités et les paramètres de liste déroulante vers des tableaux de bord.

23 mai 2024​

Nouvel outil de tableau de bord​

Les tableaux de bord (précédemment appelés tableaux de bord Lakeview) sont désormais en aperçu public. Ils sont appelés Tableaux de bord dans l'interface utilisateur. Les tableaux de bord Databricks SQL sont désormais appelés **Tableaux de bord hérités**. Les noms des outils API associés n'ont pas changé.

Mises à jour de l'interface utilisateur​

  • Vous pouvez désormais sélectionner plusieurs éléments dans le workspace à déplacer ou à supprimer. Lorsque plusieurs objets sont sélectionnés, une barre d'actions apparaît et propose des options pour déplacer ou supprimer des éléments. De plus, vous pouvez sélectionner plusieurs éléments à l'aide de votre souris et les faire glisser vers un nouvel emplacement. Les autorisations existantes sur les objets s'appliquent toujours lors des opérations de déplacement et de suppression en masse.
  • Vous pouvez maintenant marquer les assets Unity Catalog comme favoris dans l'explorateur de catalogue et le navigateur de schémas. Cela inclut les catalogues, les schémas, les tables, les modèles, les volumes et les fonctions. Les assets Unity Catalog que vous marquez comme favoris sont facilement accessibles depuis la page d'accueil Databricks.

Mises à jour du tableau de bord :

  • Les graphiques combinés à deux axes affichent désormais correctement les légendes des barres sur l'axe de droite et les légendes des lignes en conséquence.
  • Les graphiques à deux axes affichent désormais correctement les étiquettes sur les barres.

Mises à jour des visualisations :

  • Les étiquettes de format conditionnel de l'éditeur de tables pour **if** et **then** prennent désormais en charge le mode sombre.
  • L'icône redondante **Ouvrir le Link** a été supprimée des infobulles de format de l'éditeur de tableau.
  • L'étiquette de la couleur de police par default dans l'éditeur de table s'aligne désormais automatiquement.

16 mai 2024​

Calendrier de déploiement

  • Prévisualisation du déploiement pour 2024.25 : Terminé le 1er mai
  • Déploiement actuel pour 2024.25 : Entre le 14 et le 21 mai
remarque

Une mise à niveau de la bibliothèque Python panda (version 2,0,3) a causé un changement majeur dans Databricks SQL version 2024.20. Databricks n'a pas déployé la version 2024.20 sur le canal actuel. Au lieu de cela, le canal d'aperçu a été mis à niveau vers 2024.25 le 1er mai 2025. Le déploiement sur le canal actuel passe directement de 2024.15 à 2024.25.

Modifications en 2024.25​

Fonctionnalités du langage SQL​

La clause * (étoile) est désormais prise en charge dans la clause WHERE.

Vous pouvez maintenant utiliser la clause étoile (*) dans la clause WHERE pour référencer toutes les colonnes de la liste SELECT. Par exemple, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Prise en charge du stockage Cloudflare R2 pour éviter les frais de sortie interrégionaux depuis 2024,15.​

Vous pouvez maintenant utiliser Cloudflare R2 comme stockage cloud pour les données enregistrées dans Unity Catalog. Cloudflare R2 est principalement destiné aux cas d'utilisation de Delta Sharing dans lesquels vous souhaitez éviter les frais de sortie de données facturés par les fournisseurs de cloud lorsque les données traversent les régions.

Le stockage Cloudflare R2 prend en charge tous les assets de données et d'IA Databricks pris en charge dans Google Cloud Storage.

Consultez Use Cloudflare R2 replicas or migrate storage to R2 et Connect to a Cloudflare R2 external location.

Mises à jour de l'interface utilisateur​

Les fonctionnalités énumérées dans cette section sont indépendantes des versions de compute du SQL Warehouse décrites ci-dessus.

Mises à jour de la découverte des données :L'assistant de mise à jour du Hive metastore vers Unity Catalog prend en charge la mise à niveau des tables gérées par le Hive metastore à l'aide de compute polyvalent ou de SQL Warehouse. La mise à jour de plus de 20 tables crée un nouveau Notebook qui contient les commandes SYNC ET ALTER TABLE qui effectuent la conversion.

9 mai 2024​

Corrections de l'Éditeur SQL :

  • Le paramètre d'administrateur Fonctions de presse-papiers de la table des résultats s'applique désormais à la Nouvelle table de résultats de l'éditeur SQL.

2 mai 2024​

Mises à jour des visualisations :

  • La couleur sélectionnée par l’utilisateur pour les tables persiste désormais dans les modes clair et sombre des graphiques d’ancienne génération.
  • La logique de troncation des données a été améliorée afin d'améliorer les performances des graphiques combinés, circulaires, des cartes thermiques et des histogrammes.
  • Un repère est désormais toujours affiché en haut d'un axe quantitatif pour les graphiques de base.

23 avril 2024​

Mises à jour de l'interface utilisateur :

  • Pour toutes les boîtes de dialogue Share de l'interface utilisateur, le groupe All Users a été renommé All Workspace Users. Le nouveau nom reflète plus précisément la portée du groupe, qui a toujours inclus les utilisateurs assignés au Workspace. Aucune modification n'est apportée à l'appartenance au groupe dans le cadre de ce renommage.

Mises à jour des visualisations :

  • Les formats d'info-bulles personnalisés fonctionnent désormais correctement pour les graphiques multi-axes.
  • Le tag d'aperçu Nouveaux graphiques est supprimé si les utilisateurs n'ont pas modifié le bouton bascule au cours des 14 derniers jours.

18 avril 2024​

Mises à jour de l'interface utilisateur​

Les fonctionnalités listées dans cette section sont indépendantes des versions de compute SQL Warehouse décrites ci-dessus.

Améliorations :

  • Les info-bulles sur les graphiques empilés affichent maintenant la valeur de la pile et le pourcentage par default.
  • Les infobulles pour les graphiques multi-axes mettent désormais en évidence l'élément survolé.
  • Les visualisations de Table pour Databricks SQL adaptent désormais le type de données du résultat d'une nouvelle query lorsqu'elles sont modifiées dans l'éditeur SQL.
  • Le tableau Query History de Catalog Explorer affiche une vue arborescente pour l'attribution de la Query Source . Vous pouvez l'utiliser pour voir quelles entités ont Trigger le relevé de query.

11 avril 2024​

Les SQL Warehouse Serverless sont désormais en aperçu public.​

En utilisant l’ architecture serverless de Databricks, un SQL Warehouse Serverless prend en charge toutes les fonctionnalités de performance de Databricks SQL. Avec un SQL Warehouse Serverless et ses fonctionnalités de performance, vous obtenez :

  • Temps de Startup rapide (généralement entre 2 et 6 secondes).
  • Mise à l'échelle rapide pour acquérir plus de compute lorsque nécessaire afin de maintenir une faible latence.
  • Admission des requêtes plus proche de la limitation du matériel que de la machine virtuelle.
  • Réduction rapide de l'échelle pour minimiser les coûts lorsque la demande est faible, offrant des performances constantes avec des coûts et des ressources optimisés.

Consultez Configurer des Serverless SQL Warehouse.

Mises à jour de l'interface utilisateur​

Les fonctionnalités listées dans cette section sont indépendantes des versions de compute SQL Warehouse décrites ci-dessus.

Améliorations :

  • Vous pouvez désormais regrouper par pourcentage lors de la création de visualisations dans Databricks SQL et les notebooks.
  • Pour les nouveaux graphiques (en Public Preview), vous pouvez zoomer le long d’un seul axe en cliquant et en faisant glisser en ligne droite parallèlement à l’axe.
  • L'interface utilisateur (UI) de la liste d'autorisations des clusters partagés Unity Catalog est désormais disponible à grande échelle. Vous pouvez y accéder sur la page des détails du Metastore dans Catalog Explorer. Consultez Comment ajouter des éléments à la liste d'autorisation.
  • Les formulaires de création et de modification des emplacements externes s'ouvrent désormais en pleine page. Ils incluent l'option d'inclure un identifiant de stockage.

Correctifs :

  • Correction d'un problème pour les graphiques d'histogramme où les valeurs négatives étaient marquées à tort comme positives.

4 avril 2024​

Mises à jour de l'interface utilisateur​

Les fonctionnalités listées dans cette section sont indépendantes des versions de compute SQL Warehouse décrites ci-dessus.

Améliorations :

  • Le basculement des visualisations entre les cartes thermiques et d'autres types de graphiques préserve désormais mieux les champs pertinents.

Correctifs :

  • Les graphiques à barres avec encodages de couleurs restreignent désormais correctement l'ajout de plusieurs champs d'axe Y.
  • Résolution d'un problème où le bouton Download as PNG était manquant sur certaines visualisations.
  • Formatage corrigé pour les grands nombres entiers négatifs qui manquaient auparavant de séparateurs de milliers.
  • Placement de la ligne de survol incorrect corrigé lors du survol des étiquettes sur les graphiques linéaires.

28 mars 2024​

Databricks SQL version 2024.15 disponible​

Calendrier de déploiement

  • Déploiement en avant-première pour 2024.15 : Entre le 14 février et le 4 mars.
  • Déploiement actuel pour 2024.15 : Entre le 25 mars et le 8 avril

Modifications en 2024.15​

Mises à jour Delta​

  • Delta UniForm est désormais disponible : UniForm est désormais disponible et utilise la fonctionnalité de table IcebergCompatV2. Vous pouvez désormais activer ou mettre à jour UniForm sur les tables existantes. Voir Lire les tables Delta Lake avec des clients Iceberg.
  • Recalculer les statistiques d'omission de données pour les tables Delta : Vous pouvez désormais recalculer les statistiques stockées dans le Log Delta après avoir modifié les colonnes utilisées pour l'omission de données. Voir Spécifier les colonnes statistiques.

Mises à jour du langage SQL​

  • Déclarer des variables temporaires dans une session SQL : cette version introduit la possibilité de déclarer des variables temporaires dans une session qui peuvent être définies puis référencées dans les requêtes. Voir Variables.
  • Prise en charge native du format de fichier XML (Aperçu public) : la prise en charge native du format de fichier XML est désormais disponible en Aperçu public. La prise en charge du format de fichier XML permet l'ingestion, l'interrogation et l'analyse des données XML pour le traitement par batch ou en streaming. Il peut déduire et faire évoluer automatiquement le schéma et les types de données, prend en charge les expressions SQL telles que from_xml et peut générer des documents XML. Il ne nécessite pas de JAR externes et fonctionne parfaitement avec Auto Loader, read_files, COPY INTO et DLT. Consulter Lire et écrire des fichiers XML.

Mises à jour Apache Spark SQL​

Databricks SQL 2024,15 inclut Apache Spark 3.5.0. Correctifs de bogues et améliorations supplémentaires pour SQL sont répertoriés dans la note de version de Databricks Runtime 14,3. Consultez Apache Spark et recherchez le tag [SQL] pour une liste complète.

Mises à jour de l'interface utilisateur​

Les fonctionnalités listées dans cette section sont indépendantes des versions de compute SQL Warehouse décrites ci-dessus.

  • Un nouveau tab de présentation dans la page d'entité de l'Explorateur de catalogues affiche des métadonnées importantes comme la taille du fichier, la source de données, le propriétaire, le schéma de la table et les commentaires.

  • Le passage des visualisations entre les cartes thermiques et d'autres types de graphiques préserve désormais mieux les champs pertinents.

  • Les graphiques à barres avec encodages de couleurs restreignent désormais correctement l'ajout de plusieurs champs d'axe Y.

21 mars 2024​

  • La lignée de modèles Unity Catalog est maintenant en Aperçu public.

La vue de table dans Catalog Explorer dispose désormais d'un tab Overview pour décrire ses métadonnées primaires.

14 mars 2024​

  • Les nouveaux graphiques appliquent désormais des alias et des couleurs personnalisées aux valeurs nulles dans les colonnes numériques.
  • Les nouveaux graphiques affichent désormais des graduations pour indiquer le haut de l'axe y.

7 mars 2024​

  • Correction d'un problème où les infobulles dans les graphiques de plus de 100 séries affichaient incorrectement toutes les séries. Maintenant, seule la série sélectionnée est affichée.
  • Latence de frappe réduite dans l'éditeur SQL de 30 % grâce à des optimisations de performances.
  • Lorsque vous gérez des requêtes dans l'éditeur SQL, déplacer une requête vers la corbeille ferme automatiquement le tab.
  • Correction d'un problème dans l'éditeur SQL où le texte était accidentellement sélectionné lors de l'ajustement de la largeur du panneau latéral.

29 février 2024​

  • Le navigateur de schémas dans l'Explorateur de catalogues affiche désormais les contraintes de clé primaire et étrangère des colonnes.
  • La durée de rétention affichée dans le tab Lignée de Catalog Explorer a été portée à un an.
  • Les info-bulles sur les nouveaux graphiques dans les Notebooks sont désormais toujours rendues à l'intérieur de la limite de visualisation.

22 février 2024​

  • Des améliorations de la Sample Data tab dans la vue de table de l'Explorateur de catalogue vous permettent de trier les colonnes, de copier les données sélectionnées dans votre presse-papiers et d'afficher les numéros de ligne. Désormais, il peut afficher de façon plus optimale les valeurs spéciales, comme les objets JSON, les dates, les valeurs numériques et nulles.

15 février 2024​

  • La documentation relative aux filtres de query basés sur le code, tels que SELECT action AS 'action::filter', a été supprimée. Databricks recommande de mettre à jour les queries pour supprimer ce modèle.

8 février 2024​

  • Vous pouvez désormais demander l'accès lorsque vous ouvrez un link vers un tableau de bord Lakeview pour lequel vous n'avez pas les autorisations.
  • Les filtres du tableau de bord Lakeview disposent désormais d'options explicites Tout et Aucun . Les auteurs peuvent choisir de masquer l'option Tout dans les filtres à sélection unique.
  • Vous pouvez maintenant définir des valeurs minimales et maximales pour les axes sur les graphiques de tableau de bord Lakeview.

1er février 2024​

Databricks SQL version 2024.10 disponible​

Calendrier de déploiement

  • Aperçu du déploiement pour 2024.10 : Entre le 30 janvier 2024 et le 05 février 2024
  • Déploiement actuel pour 2024.10 : Entre le 13 février 2023 et le 20 février 2024

Modifications en 2024.10

  • Gestion des fichiers corrompus corrigée dans les commandes DML : les commandes DML DELETE, UPDATE et MERGE INTO ne respectent plus les options de lecture ignoreCorruptFiles et ignoreMissingFiles. Lorsqu'un fichier illisible est rencontré dans une table, ces commandes échouent désormais même si ces options sont spécifiées.
  • La concurrence au niveau des lignes est généralement disponible et activée par default : La concurrence au niveau des lignes réduit les conflits entre les Opérations d'écriture concurrentes en détectant les changements au niveau des lignes. La concurrence au niveau des lignes n’est prise en charge que sur les tables sans partitionnement, ce qui inclut les tables avec clustering liquide. La concurrence au niveau des lignes est activée par default sur les tables Delta avec les vecteurs de suppression activés. Consultez Simultanéité au niveau des lignes.
  • Clonage superficiel pour les tables externes Unity Catalog (Préversion publique) : Vous pouvez désormais utiliser le clonage superficiel avec les tables externes Unity Catalog. Voir Clonage superficiel pour les tables Unity Catalog.
  • Collecte de statistiques multithread plus rapide : La collecte de statistiques est jusqu’à 10 fois plus rapide sur les petits clusters lors de l’exécution de CONVERT TO DELTA ou du clonage à partir de tables Iceberg et Parquet. Consultez Convertir vers Delta Lake et Cloner de manière incrémentielle les tables Parquet et Apache Iceberg vers Delta Lake.
  • Filtres pushdown dans la DeltaSource sur les fichiers Delta : Pour une meilleure utilisation, les filtres de partition sur les query de streaming des tables Delta sont désormais poussés vers Delta avant la limitation du débit.

Mises à jour de l'interface utilisateur​

Les fonctionnalités énumérées dans cette section sont indépendantes des versions de compute du SQL Warehouse décrites ci-dessus.

18 janvier 2024​

  • Correction d'un problème de rendu pour les visualisations où les graphiques à barres affichant une seule date sur l'axe des x produisaient une barre très fine. Les nouvelles visualisations de graphiques s'affichent comme prévu.

11 janvier 2024​

  • Les requêtes Databricks SQL et les APIs de tableaux de bord prennent en charge la modification du paramètre de rôle **Exécuter en tant que** par programme.

4 janvier 2024​

Sur cette page