Notes de version de Databricks SQL 2024

Voici un aperçu des améliorations et mises à jour de Databricks SQL de janvier à décembre 2024.

21 novembre 2024

Tables système SQL Warehouse (Aperçu public)

• La table system.compute.warehouses enregistre quand les SQL Warehouse sont créés, modifiés et supprimés. Vous pouvez utiliser la table pour surveiller les modifications apportées aux paramètres du warehouse, y compris le nom du warehouse, le type, la taille, le Canal de distribution, les balises, l'arrêt automatique et les paramètres de dimensionnement automatique. Consultez la référence de la table système des warehouses.

Découverte des données

• L'onglet **tab** dans Catalog Explorer a été repensé avec une interface utilisateur améliorée pour le filtrage des entités.

13 novembre 2024

Tableaux de bord hérités :

• Un problème où les info-bulles basées sur des modèles n'affichaient pas de contenu détaillé pour les graphiques à double axe et à plusieurs champs d'axe a été résolu.

6 novembre 2024

Prise en charge des planifications lisibles par l'homme pour les tables de streaming et les vues matérialisées Databricks SQL

Les utilisateurs peuvent désormais start, créer et modifier des planifications pour les tables de streaming et les vues matérialisées en utilisant une syntaxe lisible par l'homme au lieu de la planification CRON. Voir ALTER MATERIALIZED VIEW, ALTER STREAMING TABLE, CREATE MATERIALIZED VIEW et CREATE STREAMING TABLE.

Les tables de streaming prennent désormais en charge les requêtes de time travel

Vous pouvez maintenant utiliser le time travel pour query les versions précédentes de la table basé sur le Timestamp ou la version de la table (tel qu'enregistré dans le Logs des transactions). Vous pourriez avoir besoin de refresh votre table de streaming avant d'utiliser les requêtes time travel. See time travel.

Les queries time travel ne sont pas prises en charge pour les vues matérialisées.

31 octobre 2024

Mises à jour de l'interface utilisateur

Nouvel éditeur SQL (aperçu public)

• Vous pouvez maintenant exécuter la query SQL active à l'aide du raccourci clavier Command (ou Ctrl) + Shift + Enter.
• La zone de saisie des paramètres affiche désormais une barre de défilement lorsque le texte dépasse de la fenêtre d'affichage.
• Un problème qui empêchait la page des détails du profil de query de s'ouvrir complètement a été corrigé.
• Vous pouvez maintenant renommer les queries en saisissant le nouveau nom dans le titre du tab.
• Le bouton Planifier est désormais désactivé pour les requêtes qui n'ont jamais été enregistrées auparavant.

24 octobre 2024

Notes de version pour les outils AI/BI

Les notes de version pour les tableaux de bord AI/BI et les Genie Agents (anciennement Genie Spaces) ont été déplacées vers les notes de version AI/BI et Genie One. Les futures versions et mises à jour y seront documentées.

17 octobre 2024

Les destinations de notification sont désormais généralement disponibles

Vous pouvez créer et configurer des destinations de notification que les utilisateurs du Workspace peuvent ajouter à certains workflows, comme les alertes, les Lakeflow Jobs et les planifications de l'AI/BI dashboard, pour envoyer des e-mails ou des webhooks lorsqu'un événement s'exécute. Consultez Gérer les destinations de notification.

10 octobre 2024

Les vues matérialisées et les tables de streaming sont désormais généralement disponibles sur Databricks SQL.

Les tables de streaming permettent l'ingestion incrémentielle depuis le stockage cloud et les files d'attente de messages, tandis que les vues matérialisées sont des vues précalculées qui sont automatiquement et progressivement mises à jour à mesure que de nouvelles données arrivent. Consultez Utiliser des vues matérialisées autonomes et Utiliser des tables de streaming autonomes.

Query insight

• Les nouvelles colonnes query_source, executed_as et executed_as_user_id ont été ajoutées à la table système de l'historique des query. Voir la référence de la table système de l'historique des query.

3 octobre 2024

Mises à jour de l'interface utilisateur

Les fonctionnalités listées dans cette section sont indépendantes des versions de compute SQL Warehouse décrites ci-dessus.

Explorateur de catalogue

• Les commentaires générés par l'IA sont désormais pris en charge pour les catalogues, les schémas, les volumes, les modèles et les fonctions, et les utilisateurs peuvent utiliser l'assistant de chat intégré pour modifier leurs commentaires.

SQL AI functions La fonction vector_search() est désormais disponible en préversion publique. Voir fonctionvector_search

26 septembre 2024

11 septembre 2024

Mises à jour de l'interface utilisateur

Les fonctionnalités énumérées dans cette section sont indépendantes des versions de compute du SQL Warehouse décrites ci-dessus.

Éditeur SQL

Vous pouvez désormais utiliser la syntaxe des marqueurs de paramètre nommés dans l'éditeur SQL. La syntaxe des marqueurs de paramètre nommés peut être utilisée dans l'éditeur SQL, les notebooks et les tableaux de bord AI/BI. Consultez Utiliser les marqueurs de paramètre nommés.

Requêtes et tableaux de bord hérités

Pour les requêtes SQL et les anciens tableaux de bord, les éléments supprimés n'apparaissent plus dans les pages de liste. Recherchez les éléments supprimés dans le dossier Corbeille du Workspace. Les administrateurs du Workspace peuvent consulter les éléments supprimés dans les dossiers Corbeille de tous les utilisateurs.

5 septembre 2024.

Modifications en 2024,40

La version 2024.40 de Databricks SQL inclut les changements de comportement, les nouvelles fonctionnalités et les améliorations suivants.

Changements de comportement

• Passer au mode de liaison de schéma par default pour les vues

  Les vues s'adaptent désormais aux modifications de schéma dans la query sous-jacente en utilisant la compensation de schéma avec des règles de cast régulières. Ceci est un changement par rapport au mode default précédent de BINDING, qui générait des erreurs lorsqu'un cast sûr ne pouvait pas être effectué lors du référencement de la vue.

  Consultez CREATE VIEW et la fonctioncast.

• Interdire l'utilisation de la syntaxe ! non documentée au lieu de NOT en dehors des expressions booléennes.

  Avec cette version, l'utilisation de ! comme synonyme de NOT en dehors des expressions booléennes n'est plus autorisée. Par exemple, les instructions suivantes : CREATE ... IF ! EXISTS, IS ! NULL, une propriété de colonne ou de champ ! NULL, ! IN et ! BETWEEN, doivent être remplacées par : CREATE ... IF NOT EXISTS, IS NOT NULL, une propriété de colonne ou de champ NOT NULL, NOT IN et NOT BETWEEN.

  Cette modification assure la cohérence, s'aligne sur la norme SQL et rend votre SQL plus portable.

  L'opérateur de préfixe booléen ! (par exemple, !is_mgr ou !(true AND false)) n'est pas affecté par ce changement.

• Interdire la syntaxe de définition de colonne non documentée dans les vues

  Databricks prend en charge CREATE VIEW avec des colonnes nommées et des commentaires de colonne. Auparavant, la spécification des types de colonne, des contraintes NOT NULL, ou DEFAULT était autorisée. Avec cette version, vous ne pouvez plus utiliser cette syntaxe.

  Cette modification assure la cohérence, s'aligne sur la norme SQL et prend en charge les améliorations futures.

• L’ajout d’une contrainte CHECK sur une colonne non valide renvoie désormais la classe d’erreur UNRESOLVED_COLUMN.WITH_SUGGESTION

  Pour fournir des messages d'erreur plus utiles, dans Databricks Runtime 15.3 et versions ultérieures, une instruction ALTER TABLE ADD CONSTRAINT qui inclut une contrainte CHECK référençant un nom de colonne non valide renvoie la classe d'erreur UNRESOLVED_COLUMN.WITH_SUGGESTION. Auparavant, un INTERNAL_ERROR a été renvoyé.

Nouvelles fonctionnalités et améliorations

• Activer UniForm Iceberg à l'aide d'ALTER TABLE

  Vous pouvez maintenant activer UniForm Iceberg sur les tables existantes sans réécrire les fichiers de données. Voir Sur une table existante.

• Fonctions de validation UTF-8

  Cette version introduit les fonctions suivantes pour la validation des chaînes UTF-8 :

  • is_valid_utf8 a vérifié si une chaîne est une chaîne UTF-8 valide.
  • make_valid_utf8 convertit une chaîne UTF-8 potentiellement non valide en une chaîne UTF-8 valide à l'aide de caractères de substitution
  • validate_utf8 déclenche une erreur si l'entrée n'est pas une chaîne UTF-8 valide.
  • try_validate_utf8 renvoie NULL si l'entrée n'est pas une chaîne UTF-8 valide.

• fonctions to_avro et from_avro

  Les fonctions to_avro et from_avro permettent la conversion des types SQL en données binaires Avro et inversement.

• fonction try_url_decode

  Cette version introduit la fonction try_url_decode, qui décode une chaîne encodée en URL. Si la chaîne n'est pas dans le bon format, la fonction renvoie NULL au lieu de déclencher une erreur.

• Permettre éventuellement à l'optimiseur de s'appuyer sur des contraintes de clé étrangère non appliquées

  Pour améliorer les performances des query, vous pouvez désormais spécifier le mot-clé RELY sur les contraintes FOREIGN KEY lorsque vous CRÉEZ ou MODIFIEZ une table.

• Prise en charge de la suppression de la fonctionnalité de table des contraintes de vérification

  Les remplacements sélectifs utilisant replaceWhere exécutent désormais des Jobs qui suppriment les données et insèrent de nouvelles données en parallèle, améliorant les performances de query et l'utilisation des clusters.

• Exécutions de job parallélisées pour les remplacements sélectifs

  Les remplacements sélectifs utilisant replaceWhere exécutent désormais des Jobs qui suppriment les données et insèrent de nouvelles données en parallèle, améliorant les performances de query et l'utilisation des clusters.

• Performances améliorées pour l'alimentation en données de modification avec des remplacements sélectifs

  Les remplacements sélectifs utilisant replaceWhere sur les tables avec flux de données de modification n'écrivent plus de fichiers de données de modification distincts pour les données insérées. Ces opérations utilisent une colonne _change_type masquée présente dans les fichiers de données Parquet sous-jacents pour enregistrer les modifications sans amplification d'écriture.

• Amélioration de la latence des requêtes pour la commande COPY INTO

  Cette version inclut un changement qui améliore la latence de la query pour la commande COPY INTO. Cette amélioration est implémentée en rendant asynchrone le chargement de l'état par le magasin d'état RocksDB. Avec ce changement, vous devriez voir une amélioration des temps de start pour les queries avec des états volumineux, telles que les queries avec un grand nombre de fichiers déjà ingérés.

Mises à jour de l'interface utilisateur

Les fonctionnalités énumérées dans cette section sont indépendantes des versions de compute du SQL Warehouse décrites ci-dessus.

Visualisations

• Les totaux d'infobulles s'affichent désormais uniquement pour les graphiques empilés.

22 août 2024

Visualisations

Pour les configurations groupées et multi-champs, les info-bulles affichent désormais les totaux lorsque vous passez la souris sur les éléments du graphique.

15 août 2024

Visualisations

Correction d'un problème où les numéros de ligne dans les visualisations de tableau ne se mettaient pas à jour après avoir modifié la taille de la page.

Découverte des données

La possibilité de développer et de réduire les types de colonnes complexes imbriquées dans les tables Unity Catalog est désormais prise en charge.

1er août 2024

Visualisations :

• Le tri des tables est maintenant préservé lorsque les données changent en raison du filtrage.

Éditeur SQL :

• Lisibilité améliorée en ajoutant un espacement supplémentaire entre la dernière ligne d'une query et la sortie du résultat.

25 juillet 2024

API REST Databricks :

• Les APIs pour la gestion des requêtes, des alertes, des sources de données et des autorisations ont changé. La version héritée continuera d'être prise en charge pendant six mois. Cette période de transition est destinée à vous laisser suffisamment de temps pour migrer vos applications et intégrations vers la nouvelle version avant que l'ancienne ne soit supprimée progressivement. Consultez Mise à jour vers la dernière version de l'API Databricks SQL

18 juillet 2024

Mises à jour de l'interface utilisateur

Explorateur de catalogue :

• Un nouvel assistant de configuration de catalogue est maintenant disponible pour configurer les liaisons de workspace, les privilèges de catalogue et les métadonnées lors de la création d'un catalogue.

SQL Warehouse monitoring :

• L'autorisation CAN MONITOR est désormais généralement disponible. Il permet aux utilisateurs privilégiés de surveiller les SQL warehouses, y compris l'historique et les profils des query associés. Consultez les ACLs du SQL warehouse.

11 juillet 2024

Databricks SQL Version 2024.35 Disponible

Calendrier de déploiement : Déploiement en préversion pour 2024.35 : Entre le 9 et le 15 juillet

Modifications dans la version 2024.35

Désactiver le mappage de colonnes avec la fonction de suppression

Vous pouvez maintenant utiliser DROP FEATURE pour désactiver le mappage de colonnes sur les tables Delta et rétrograder le protocole de table. Consulter Maintenir la compatibilité.

Syntaxe de type variant et fonctions en préversion publique

Le support intégré d'Apache Spark pour travailler avec des données semi-structurées en tant que type VARIANT est désormais disponible dans les Spark DataFrames et SQL. Voir les données de variante de query.

Prise en charge du type de variante pour Delta Lake en Public Preview

Vous pouvez désormais utiliser VARIANT pour stocker des données semi-structurées dans des tables adossées à Delta Lake. Voir la prise en charge des types de variantes pour Apache Iceberg et Delta Lake.

Prise en charge de différents modes d'évolution des schémas dans les vues

CREATE VIEW et ALTER VIEW permettent désormais de définir un mode de liaison de schéma, améliorant la façon dont les vues gèrent les changements de schéma dans les objets sous-jacents. Cette fonctionnalité permet aux vues de tolérer ou de s'adapter aux changements de schéma dans les objets sous-jacents. Elle aborde les changements dans le schéma de query résultant des modifications des définitions d'objets.

Amélioration des performances pour certaines fonctions de fenêtre

Cette version inclut une modification qui améliore les performances de certaines fonctions de fenêtre Spark, spécifiquement les fonctions qui n'incluent pas une clause ORDER BY ou un parameter window_frame. Dans ces cas, le système peut réécrire la query pour l'exécuter en utilisant une fonction d'agrégation. Cette modification permet à la query de s'exécuter plus rapidement en utilisant l'agrégation partielle et en évitant la surcharge liée à l'exécution des fonctions de fenêtre. Le paramètre de configuration Spark spark.databricks.optimizer.replaceWindowsWithAggregates.enabled contrôle cette optimisation et est défini par default sur true. Pour désactiver cette optimisation, définissez spark.databricks.optimizer.replaceWindowsWithAggregates.enabled sur false.

Prise en charge de la fonction try_mod ajoutée

Cette version ajoute la prise en charge de la fonction PySpark try_mod(). Cette fonction prend en charge le calcul compatible ANSI SQL du reste entier en divisant deux valeurs numériques. Si l'argument du diviseur est 0, la fonction try_mod() renvoie la valeur null au lieu de générer une exception. Vous pouvez utiliser la fonction try_mod() au lieu de mod ou %, qui génère une exception si l'argument du diviseur est 0 et que ANSI SQL est activé.

Mises à jour de l'interface utilisateur

Éditeur SQL :

L'assistant intégré est maintenant disponible dans l'éditeur SQL. Cliquez sur l'icône de l'assistant dans la boîte de l'éditeur pour activer/désactiver la saisie. Saisissez une question ou un commentaire en anglais, puis appuyez sur Entrée (pas Maj+Entrée, qui exécute une requête) pour générer une réponse avec une vue différente directement dans l'éditeur.

Plateforme :

Une API pour les destinations de notification est maintenant disponible. Vous pouvez désormais gérer par programmation les destinations de webhook et d'e-mail pour vos alertes et notifications d'exécution de Job. Voir Destinations de la notification.

4 juillet 2024

Databricks SQL version 2024.30 disponible

**Calendrier de déploiement** : Déploiement de la préversion pour 2024.30 : Entre le 9 et le 15 juillet

Modifications en 2024.30

Lakehouse Federation est généralement disponible (GA)

Les connecteurs Lakehouse Federation pour les types de bases de données suivants sont désormais généralement disponibles (GA) :

• MySQL
• PostgreSQL
• Amazon Redshift
• Snowflake
• Microsoft SQL Server
• Azure Synapse (SQL Data Warehouse)
• Databricks

Cette version introduit également les améliorations suivantes :

• Prise en charge de l'authentification Single Sign On (SSO) dans les connecteurs Snowflake et Microsoft SQL Server.

• Prise en charge stable des IP de sortie dans les environnements de compute Serverless. Consultez la configuration du pare-feu pour le compute Serverless.

• Prise en charge de rapports supplémentaires (fonctions de chaîne, fonctions mathématiques, fonctions diverses).

• Taux de réussite amélioré du pushdown pour différentes formes de requêtes.

• Fonctionnalités de debugging pushdown supplémentaires :

  • La sortie EXPLAIN FORMATTED affiche le texte de la query transférée.
  • L'interface utilisateur du profil de query affiche le texte de query poussée, les identifiants de nœuds fédérés et les temps d'exécution de query JDBC (en mode détaillé). Voir Afficher les requêtes fédérées générées par le système.

DESCRIBE HISTORY affiche désormais les colonnes de clustering pour les tables qui utilisent le clustering fluide

Lorsque vous exécutez une DESCRIBE HISTORY query, la colonne operationParameters affiche un champ clusterBy Timestamp par default pour les CREATE OR REPLACE et OPTIMIZE Opérations. Pour une table Delta qui utilise le clustering liquide, le champ clusterBy est rempli avec les colonnes de clustering de la table. Si la table n'utilise pas le clustering liquide, le champ est vide.

La prise en charge des clés primaires et étrangères est généralement disponible

La prise en charge des clés primaires et étrangères dans Databricks Runtime est généralement disponible. La version GA inclut les modifications suivantes concernant les privilèges requis pour utiliser les clés primaires et étrangères :

• Pour définir une clé étrangère, vous devez disposer du privilège SELECT sur la table avec la clé primaire à laquelle la clé étrangère fait référence. Vous n'avez pas besoin de posséder la table avec la clé primaire, ce qui était auparavant requis.
• La suppression d'une clé primaire à l'aide de la clause CASCADE ne nécessite pas de privilèges sur les tables qui définissent des clés étrangères qui référencent la clé primaire. Auparavant, vous deviez posséder les tables de référence.
• La suppression d'une table qui inclut des contraintes nécessite désormais les mêmes privilèges que la suppression de tables qui n'en incluent pas.

Pour savoir comment utiliser les clés primaires et étrangères avec les tables ou les vues, consultez la clause CONSTRAINT, la clause ADD CONSTRAINT et la clause DROP CONSTRAINT.

Le clustering liquide est GA

Le support du clustering liquide est désormais généralement disponible avec Databricks Runtime 15.2 et versions ultérieures. Voir Utiliser le clustering liquide pour les tables.

L'élargissement de type est en préversion publique.

Vous pouvez désormais activer l'élargissement de type sur les tables prises en charge par Delta Lake. Les tables avec élargissement de type activé permettent de modifier le type des colonnes vers un type de données plus large sans réécrire les fichiers de données sous-jacents. Voir élargissement du type.

Clause d'évolution des schémas ajoutée à la syntaxe de Merge SQL

Vous pouvez désormais ajouter la clause WITH SCHEMA EVOLUTION à une instruction Merge SQL pour activer l'évolution des schémas pour l'Opération. Voir MERGE avec évolution des schémas à l’aide de SQL, Python et Scala.

Prise en charge de l'inventaire vacuum

Vous pouvez désormais spécifier un inventaire de fichiers à prendre en compte lors de l'exécution de la commande VACUUM sur une table Delta. Consultez la documentation OSS Delta.

Prise en charge des fonctions de compression Zstandard

Vous pouvez maintenant utiliser les fonctions zst_compress, zstd_decompress et try_zstd_decompress pour compresser et décompresser les données BINARY.

Les plans de requête dans l'interface utilisateur SQL s'affichent désormais correctement PhotonWriteStage

Lorsqu'elles sont affichées dans l'interface utilisateur SQL, les commandes write dans les plans de requête affichaient incorrectement PhotonWriteStage comme un opérateur. Avec cette version, l'interface utilisateur est mise à jour pour afficher PhotonWriteStage comme une étape. Il s'agit uniquement d'un changement de l'interface utilisateur qui n'affecte pas la façon dont les requêtes sont exécutées.

Mises à jour de l'interface utilisateur

Prise en charge de l'API :

• Vous pouvez maintenant gérer les destinations de notification à l'aide de l'API REST. Consultez Destinations de notification.

27 juin 2024

Les filtres de ligne et les masques de colonne dans les vues matérialisées et les tables de streaming Databricks SQL sont en aperçu public.

Les filtres de lignes et les masques de colonnes dans les vues matérialisées et les tables de streaming de Databricks SQL sont en version préliminaire publique. La version d'aperçu public inclut les modifications suivantes :

• Vous pouvez ajouter des filtres de ligne et des masques de colonne à une vue matérialisée Databricks SQL ou à une table de streaming.

  • Vous pouvez définir des vues matérialisées ou des tables de streaming Databricks SQL sur des tables qui incluent des filtres de ligne et des masques de colonne.

  Voir CREATE MATERIALIZED VIEW et CREATE STREAMING TABLE.

Mises à jour de l'interface utilisateur

Visualisations :

• Interactivité améliorée dans l'affichage des infobulles lors du survol de diagrammes circulaires, de nuages de points et de cartes thermiques comportant de nombreux points de données.

Explorateur de catalogue :

• Une interface utilisateur repensée de l'explorateur de catalogue facilite la découverte et la mise en favoris des récents assets Unity Catalog depuis la vue Accès rapide . L'expérience de navigation a également été simplifiée, vous permettant d'explorer les détails de compute, de stockage, d'identifiants, de connexions, de DBFS et de gestion à l'aide des Paramètres dans le coin supérieur gauche de l'écran. Delta Sharing, les salles blanches et les données externes ont désormais des pages dédiées.

6 juin 2024

Correction pour les vues matérialisées et les tables de streaming de Databricks SQL

Le problème à l'origine des queries ALTER SCHEDULE sur les vues matérialisées et les tables de streaming Databricks SQL, qui ne prenaient effet qu'après la prochaine Opération REFRESH, a été résolu. Désormais, ALTER SCHEDULE querys sont appliquées immédiatement. Consultez Planifier les actualisations.

Les vues matérialisées et les tables de streaming dans Databricks SQL sont en préversion publique

Les vues matérialisées et les tables de streaming dans Databricks SQL sont en préversion publique et sont disponibles pour tous les clients. La version d'évaluation publique inclut les changements suivants :

• REFRESH des vues matérialisées et des tables de streaming dans Databricks SQL est maintenant synchrone par default. Consultez REFRESH (MATERIALIZED VIEW ou STREAMING TABLE).

  • Les erreurs qui se produisent pendant une opération de refresh d'une vue matérialisée Databricks SQL ou d'une table de streaming sont renvoyées dans l'éditeur SQL.

  Pour savoir comment utiliser les vues matérialisées et les tables de streaming dans Databricks SQL, consultez Utiliser les vues matérialisées autonomes et Utiliser les tables de streaming autonomes.

Mises à jour de l'interface utilisateur

Tableaux de bord :

• Les utilisateurs du compte peuvent désormais download les données de visualisation à partir des tableaux de bord publiés

• Les tableaux de bord non publiés peuvent maintenant être publiés à l'aide du menu déroulant Brouillon/Publier en haut d'un tableau de bord.

• Correction d'un problème où les paramètres nommés **limit** n'étaient pas détectés.

• Les tableaux de bord apparaissent désormais dans la navigation latérale pour AWS GovCloud.

Visualisations :

• Rendu amélioré des boîtes à moustaches en mode sombre.

Informations sur les requêtes :

• Pour tous les Notebooks attachés aux SQL Warehouses, vous pouvez accéder au profil de la query en cliquant sur **Voir les performances** sous la cellule qui contient la query. Si la cellule inclut plusieurs queries, un Link vers le profil de query pour chacune est fourni pour chaque instruction.

30 mai 2024

Nouveau niveau d'autorisation pour les SQL warehouses

L'autorisation Peut surveiller permet aux utilisateurs de surveiller les SQL warehouses, y compris l'historique des requêtes associé et les profils de requêtes. L'autorisation Peut surveiller est désormais en aperçu public. Consultez les ACLs de SQL Warehouse.

Mises à jour de l'interface utilisateur

Améliorations du tableau de bord :

• Ajout d'un menu kebab aux widgets de tableau de bord pour download des images et des données.
• Les utilisateurs peuvent migrer les paramètres basés sur les requêtes des tableaux de bord hérités et les paramètres de liste déroulante vers des tableaux de bord.

23 mai 2024

Mises à jour de l'interface utilisateur

• Vous pouvez désormais sélectionner plusieurs éléments dans le workspace à déplacer ou à supprimer. Lorsque plusieurs objets sont sélectionnés, une barre d'actions apparaît et propose des options pour déplacer ou supprimer des éléments. De plus, vous pouvez sélectionner plusieurs éléments à l'aide de votre souris et les faire glisser vers un nouvel emplacement. Les autorisations existantes sur les objets s'appliquent toujours lors des opérations de déplacement et de suppression en masse.
• Vous pouvez maintenant marquer les assets Unity Catalog comme favoris dans l'explorateur de catalogue et le navigateur de schémas. Cela inclut les catalogues, les schémas, les tables, les modèles, les volumes et les fonctions. Les assets Unity Catalog que vous marquez comme favoris sont facilement accessibles depuis la page d'accueil Databricks.

Mises à jour du tableau de bord :

• Les graphiques combinés à deux axes affichent désormais correctement les légendes des barres sur l'axe de droite et les légendes des lignes en conséquence.
• Les graphiques à deux axes affichent désormais correctement les étiquettes sur les barres.

Mises à jour des visualisations :

• Les étiquettes de format conditionnel de l'éditeur de tables pour **if** et **then** prennent désormais en charge le mode sombre.
• L'icône redondante **Ouvrir le Link** a été supprimée des infobulles de format de l'éditeur de tableau.
• L'étiquette de la couleur de police par default dans l'éditeur de table s'aligne désormais automatiquement.

16 mai 2024

Calendrier de déploiement

• Prévisualisation du déploiement pour 2024.25 : Terminé le 1er mai
• Déploiement actuel pour 2024.25 : Entre le 14 et le 21 mai

remarque

Une mise à niveau de la bibliothèque Python panda (version 2,0,3) a causé un changement majeur dans Databricks SQL version 2024.20. Databricks n'a pas déployé la version 2024.20 sur le canal actuel. Au lieu de cela, le canal d'aperçu a été mis à niveau vers 2024.25 le 1er mai 2025. Le déploiement sur le canal actuel passe directement de 2024.15 à 2024.25.

Modifications en 2024.25

gouvernance des données

Le transfert d'informations d'identification et les contrôles d'accès aux tables Hive metastore sont obsolètes.

Credential passthrough et les contrôles d'accès aux tables du Hive metastore sont des modèles hérités de gouvernance des données. Passez à Unity Catalog pour simplifier la sécurité et la gouvernance de vos données en fournissant un emplacement central pour administrer et auditer l'accès aux données dans plusieurs workspaces de votre compte. Voir Qu'est-ce que Unity Catalog ?.

La prise en charge de l'authentification passthrough et des contrôles d'accès aux tables du Hive metastore sera supprimée dans une prochaine version de Databricks Runtime.

Fonctionnalités du langage SQL

La clause * (étoile) est désormais prise en charge dans la clause WHERE.

Vous pouvez maintenant utiliser la clause étoile (*) dans la clause WHERE pour référencer toutes les colonnes de la liste SELECT. Par exemple, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Prise en charge du stockage Cloudflare R2 pour éviter les frais de sortie interrégionaux depuis 2024,15.

Vous pouvez maintenant utiliser Cloudflare R2 comme stockage cloud pour les données enregistrées dans Unity Catalog. Cloudflare R2 est principalement destiné aux cas d'utilisation de Delta Sharing dans lesquels vous souhaitez éviter les frais de sortie de données facturés par les fournisseurs de cloud lorsque les données traversent les régions.

Le stockage Cloudflare R2 prend en charge tous les actifs de données et d'IA Databricks pris en charge dans AWS S3.

Consultez Use Cloudflare R2 replicas or migrate storage to R2 et Connect to a Cloudflare R2 external location.

Mises à jour de l'interface utilisateur

Les fonctionnalités énumérées dans cette section sont indépendantes des versions de compute du SQL Warehouse décrites ci-dessus.

Mises à jour de la découverte des données :L'assistant de mise à jour du Hive metastore vers Unity Catalog prend en charge la mise à niveau des tables gérées par le Hive metastore à l'aide de compute polyvalent ou de SQL Warehouse. La mise à jour de plus de 20 tables crée un nouveau Notebook qui contient les commandes SYNC ET ALTER TABLE qui effectuent la conversion.

Mises à jour du tableau de bord :

• La fonctionnalité à double axe est maintenant disponible pour les types de graphique Zone, Barres, Ligne et Nuage de points.
  • Lorsque vous activez un graphique à double axe, le titre et la plage de l'axe ne sont plus copiés sur l'axe secondaire.
  • Le dernier champ identifié dans la configuration de la visualisation est automatiquement déplacé vers l'axe Y de droite.

9 mai 2024

Corrections de l'Éditeur SQL :

• Le paramètre d'administrateur Fonctions de presse-papiers de la table des résultats s'applique désormais à la Nouvelle table de résultats de l'éditeur SQL.

Améliorations du tableau de bord :

• Les paramètres basés sur des requêtes permettent aux auteurs de définir une liste de valeurs sélectionnables que les visionneurs peuvent utiliser comme paramètres pour d'autres visualisations sur un canevas de tableau de bord. Consultez Utiliser des paramètres basés sur la query.
• L'ordre des colonnes dans les fichiers download à partir d'un widget de table est maintenant préservé.
• L'éditeur de table comprend désormais des info-bulles au survol qui affichent les noms des colonnes.
• Lors du passage d'autres types de visualisation à un histogramme, l'encodage des informations est désormais mieux préservé.

**Correctifs du tableau de bord** :

• Correction d'un problème où un filtre de hauteur de grille unique affichait une barre de défilement de dépassement inutile.
• Correction d'un problème qui entraînait un rendu incorrect des visualisations sur les tableaux de bord publiés où une colonne de dataset référencée a été supprimée.

2 mai 2024

Prise en charge étendue des SQL Warehouse Serverless : les SQL Warehouse Serverless sont désormais disponibles dans les régions suivantes :

• ca-central-1
• ap-northeast-2

Voir Fonctionnalités à disponibilité régionale limitée

Mises à jour du tableau de bord :

• Les query et les visualisations peuvent désormais être copiées dans un nouveau tableau de bord à partir de l'éditeur SQL. Vous pouvez toujours ajouter des visualisations aux tableaux de bord existants à partir de l'éditeur SQL. Consultez modifier, download ou ajouter à un tableau de bord.
• Les tableaux de bord maintiendront désormais un cache de résultats de 24 heures pour optimiser les temps de chargement initiaux. Voir Optimisation et mise en cache des datasets.
• Les graphiques à barres avec X catégoriel et Y quantitatif sont désormais triés dans les réponses du Databricks Assistant.
• Problème de migration corrigé avec l'histogramme hérité COUNT (*) pour assurer une migration précise.
• Implémentation de la possibilité de mélanger les types numériques et les types de date dans un widget de filtre.
• Lorsque vous créez des graphiques, Databricks Assistant suggère désormais automatiquement des colonnes pertinentes au fur et à mesure que vous tapez.

Mises à jour des visualisations :

• La couleur sélectionnée par l’utilisateur pour les tables persiste désormais dans les modes clair et sombre des graphiques d’ancienne génération.
• La logique de troncation des données a été améliorée afin d'améliorer les performances des graphiques combinés, circulaires, des cartes thermiques et des histogrammes.
• Un repère est désormais toujours affiché en haut d'un axe quantitatif pour les graphiques de base.

23 avril 2024

Mises à jour de l'interface utilisateur :

• Pour toutes les boîtes de dialogue Share de l'interface utilisateur, le groupe All Users a été renommé All Workspace Users. Le nouveau nom reflète plus précisément la portée du groupe, qui a toujours inclus les utilisateurs assignés au Workspace. Aucune modification n'est apportée à l'appartenance au groupe dans le cadre de ce renommage.

Améliorations du tableau de bord :

• Lorsqu'un SQL Warehouse de tableau de bord démarre, une boîte de dialogue s'affiche pour expliquer le temps d'attente.
• La position de défilement est conservée lorsque vous passez des onglets Canevas aux onglets Données .
• Le clonage d'un tableau de bord hérité pour créer un tableau de bord Lakeview prend désormais en charge certaines conversions de paramètres. Voir Ajuster les paramètres hérités.
• Les dates relatives, telles que **Aujourd'hui**, **Demain** et **il y a 7 jours**, sont désormais prises en charge pour les paramètres de date et d'heure.
• Des curseurs de plage numériques peuvent être ajoutés en tant que filtres sur un tableau de bord.
• Les histogrammes peuvent désormais afficher des données désagrégées.
• Les nuages de points prennent désormais en charge l’encodage de la taille.

**Correctifs du tableau de bord** :

• L'encodage des couleurs temporel peut désormais modifier correctement les attributions de couleurs.

Mises à jour des visualisations :

• Les formats d'info-bulles personnalisés fonctionnent désormais correctement pour les graphiques multi-axes.
• Le tag d'aperçu Nouveaux graphiques est supprimé si les utilisateurs n'ont pas modifié le bouton bascule au cours des 14 derniers jours.

18 avril 2024

Les tableaux de bord Lakeview sont généralement disponibles

Les tableaux de bord Lakeview sont désormais l'outil de création de tableaux de bord par default. Elles ont été renommées Tableaux de bord dans l'interface utilisateur. Les tableaux de bord Databricks SQL sont désormais appelés **tableaux de bord hérités**. Les noms des outils API associés n'ont pas changé.

• Améliorations du tableau de bord :

  • Des Logs d'audit sont disponibles pour les tableaux de bord Lakeview. Consultez les événements du AI/BI dashboard.
  • Les données download à partir des tableaux de bord respectent les paramètres appliqués.
  • Le Databricks Assistant est activé sur l'onglet **Data** sans ajouter de datasets au préalable.
  • Les graphiques à barres empilées avec plusieurs champs Y peuvent prendre en charge le tri de l’axe des X en fonction de la somme des valeurs de l’axe Y.
  • Basculez entre les fonctions d'échelle Linéaire et Log(Symétrique) dans les menus d'axe de visualisation.
  • La taille default du widget de filtre est désormais plus compacte.
  • Le temps de chargement initial du widget de filtre de saisie de texte a été réduit.
  • Conversions automatiques de graphiques améliorées lors de la migration depuis les tableaux de bord hérités.

• **Correctifs du tableau de bord** :

  • L'avertissement de paramètres de visualisation restreints ne s'affiche pas si le tableau de bord a été partagé avec d'autres.
  • Les messages d'erreur dans l'éditeur SQL du Data tab sont désormais compatibles avec le mode sombre.

Mises à jour de l'interface utilisateur

Les fonctionnalités listées dans cette section sont indépendantes des versions de compute SQL Warehouse décrites ci-dessus.

Améliorations :

• Les info-bulles sur les graphiques empilés affichent maintenant la valeur de la pile et le pourcentage par default.
• Les infobulles pour les graphiques multi-axes mettent désormais en évidence l'élément survolé.
• Les visualisations de Table pour Databricks SQL adaptent désormais le type de données du résultat d'une nouvelle query lorsqu'elles sont modifiées dans l'éditeur SQL.
• Le tableau Query History de Catalog Explorer affiche une vue arborescente pour l'attribution de la Query Source . Vous pouvez l'utiliser pour voir quelles entités ont Trigger le relevé de query.

11 avril 2024

Mises à jour de l'interface utilisateur

Les fonctionnalités listées dans cette section sont indépendantes des versions de compute SQL Warehouse décrites ci-dessus.

Améliorations :

• Vous pouvez désormais regrouper par pourcentage lors de la création de visualisations dans Databricks SQL et les notebooks.
• Pour les nouveaux graphiques (en Public Preview), vous pouvez zoomer le long d’un seul axe en cliquant et en faisant glisser en ligne droite parallèlement à l’axe.
• L'interface utilisateur (UI) de la liste d'autorisations des clusters partagés Unity Catalog est désormais disponible à grande échelle. Vous pouvez y accéder sur la page des détails du Metastore dans Catalog Explorer. Consultez Comment ajouter des éléments à la liste d'autorisation.
• Les formulaires de création et de modification des emplacements externes s'ouvrent désormais en pleine page. Ils incluent l'option d'inclure un identifiant de stockage.

Correctifs :

• Correction d'un problème pour les graphiques d'histogramme où les valeurs négatives étaient marquées à tort comme positives.

4 avril 2024

Mises à jour de l'interface utilisateur

Les fonctionnalités listées dans cette section sont indépendantes des versions de compute SQL Warehouse décrites ci-dessus.

Améliorations :

• Améliorations des graphiques en histogramme sur les tableaux de bord Lakeview.

  • Ajout de la prise en charge des étiquettes.
  • Les paramètres de bin sont maintenant conservés lors du passage entre différents champs.

• La galerie d'exemples sur la page de liste des tableaux de bord crée maintenant des tableaux de bord Lakeview. Consultez le Tutoriel : Utiliser des exemples de tableaux de bord.

• Un clic droit sur la bordure d'un widget sur un tableau de bord Lakeview ouvre un menu contextuel.

• La barre de navigation latérale gauche est conservée pour les utilisateurs de Workspace qui consultent les tableaux de bord Lakeview publiés.

• Les sélections de filtres sont conservées lorsque vous naviguez entre les tableaux de bord Lakeview publiés et les tableaux de bord provisoires.

• Les noms de colonne peuvent maintenant être insérés dans l'éditeur SQL lors de la modification d'une query à partir du tab Données dans un tableau de bord Lakeview en brouillon.

• Le remplacement d’un tableau de bord Lakeview conserve le nom du tableau de bord existant et en remplace le contenu.

• Le basculement des visualisations entre les cartes thermiques et d'autres types de graphiques préserve désormais mieux les champs pertinents.

Correctifs :

• Les graphiques à barres avec encodages de couleurs restreignent désormais correctement l'ajout de plusieurs champs d'axe Y.
• Résolution d'un problème où le bouton Download as PNG était manquant sur certaines visualisations.
• Formatage corrigé pour les grands nombres entiers négatifs qui manquaient auparavant de séparateurs de milliers.
• Placement de la ligne de survol incorrect corrigé lors du survol des étiquettes sur les graphiques linéaires.

28 mars 2024

Databricks SQL version 2024.15 disponible

Calendrier de déploiement

• Déploiement en avant-première pour 2024.15 : Entre le 14 février et le 4 mars.
• Déploiement actuel pour 2024.15 : Entre le 25 mars et le 8 avril

Modifications en 2024.15

Mises à jour Delta

• Delta UniForm est maintenant généralement disponible : UniForm est maintenant généralement disponible et utilise la fonctionnalité de table IcebergCompatV2. Vous pouvez maintenant activer ou mettre à niveau UniForm sur des tables existantes. Voir Lire les tables Delta Lake avec les clients Iceberg en utilisant UniForm.
• Recalculer les statistiques d'omission de données pour les tables Delta : Vous pouvez désormais recalculer les statistiques stockées dans le Log Delta après avoir modifié les colonnes utilisées pour l'omission de données. Voir Spécifier les colonnes statistiques.

Mises à jour du langage SQL

• Déclarer des variables temporaires dans une session SQL : cette version introduit la possibilité de déclarer des variables temporaires dans une session qui peuvent être définies puis référencées dans les requêtes. Voir Variables.

• Prise en charge native du format de fichier XML (Aperçu public) : la prise en charge native du format de fichier XML est désormais disponible en Aperçu public. La prise en charge du format de fichier XML permet l'ingestion, l'interrogation et l'analyse des données XML pour le traitement par batch ou en streaming. Il peut déduire et faire évoluer automatiquement le schéma et les types de données, prend en charge les expressions SQL telles que from_xml et peut générer des documents XML. Il ne nécessite pas de JAR externes et fonctionne parfaitement avec Auto Loader, read_files, COPY INTO et DLT. Consulter Lire et écrire des fichiers XML.

• Cloud Fetch est désormais activé par default : Cloud Fetch est activé par default dans les AWS Workspace avec la gestion des versions de compartiment activée. Si la gestion des versions de compartiment est activée, Databricks recommande de définir une politique de cycle de vie pour supprimer automatiquement les anciennes versions des résultats de query upload. Consultez Cloud Fetch dans ODBC (ODBC) et Cloud Fetch dans JDBC (JDBC).

Mises à jour Apache Spark SQL

Databricks SQL 2024,15 inclut Apache Spark 3.5.0. Correctifs de bogues et améliorations supplémentaires pour SQL sont répertoriés dans la note de version de Databricks Runtime 14,3. Consultez Apache Spark et recherchez le tag [SQL] pour une liste complète.

Mises à jour de l'interface utilisateur

Les fonctionnalités listées dans cette section sont indépendantes des versions de compute SQL Warehouse décrites ci-dessus.

• Un nouveau tab de présentation dans la page d'entité de l'Explorateur de catalogues affiche des métadonnées importantes comme la taille du fichier, la source de données, le propriétaire, le schéma de la table et les commentaires.

• Mises à jour du tableau de bord Lakeview :

  • Les tableaux de bord Lakeview prennent désormais en charge les paramètres. Les auteurs peuvent ajouter des paramètres aux queries de dataset à partir de la tab Données, puis définir des paramètres sur la zone de dessin à l'aide de sélecteurs de valeurs uniques et de sélecteurs de dates. Voir Travailler avec les parameters du tableau de bord.
  • Les tableaux de bord Lakeview sont désormais pris en charge dans l'API des autorisations du Workspace. Voir PATCH /api/workspace/workspace/updatepermissions dans la référence de l'API REST.
  • Les **widgets de contrôle** sur le canevas ont été renommés en **widgets de filtre**.
  • Les graphiques combinés ne permettent plus de champs désagrégés sur l'axe des abscisses.
  • Le bouton **Copier le Link** dans la boîte de dialogue Partager inclut désormais les parameters stockés dans l'URL.
  • Les widgets sur les tableaux de bord publiés n'affichent plus de bordures lors du survol.
  • Un problème a été résolu où les boutons Databricks Assistant et Download PNG chevauchaient les visuels du graphique.

• Le passage des visualisations entre les cartes thermiques et d'autres types de graphiques préserve désormais mieux les champs pertinents.

• Les graphiques à barres avec encodages de couleurs restreignent désormais correctement l'ajout de plusieurs champs d'axe Y.

21 mars 2024

• La lignée de modèles Unity Catalog est maintenant en Aperçu public.

La vue de table dans Catalog Explorer dispose désormais d'un tab Overview pour décrire ses métadonnées primaires.

• Les SQL Warehouses pour Notebooks, désormais généralement disponibles, vous permettent de tirer parti d'un compute entièrement managé, instantané et évolutif pour vos Workloads SQL dans l'environnement de création riche et collaboratif d'un Notebook. Consultez Utiliser un Notebook avec un SQL Warehouse.

Les corrections et améliorations suivantes s'appliquent aux tableaux de bord Lakeview :

• La prise en charge étendue de l'API pour Lakeview ajoute la possibilité de créer, d'obtenir, de mettre à jour et de supprimer des tableaux de bord. Consultez Lakeview dans la référence de l'API REST.
• Ajout d'un bouton de refresh pour le navigateur Catalog sous l'onglet Data .
• Les tableaux de bord Lakeview s'affichent désormais avant les tableaux de bord dans le menu Nouveau de la barre latérale du workspace. Sur la page de liste des tableaux de bord, le tab Lakeview dashboards s'affiche à gauche du tab Dashboards .
• L'expérience Databricks Assistant pour Lakeview a été mise à jour avec une zone de saisie et des suggestions pour améliorer la découvrabilité et aider les utilisateurs à comprendre les invites qu'ils peuvent poser.
• Les visualisations Lakeview prennent désormais en charge les agrégations médianes.
• Mise à jour du sélecteur de couleurs dans l'éditeur de visualisation du tableau de bord Lakeview pour une expérience utilisateur plus fluide lors de la création de tables.
• Amélioration de la migration des diagrammes circulaires pour prendre en charge exclusivement les scénarios avec des définitions d'angle ou de couleur.
• Correction d’un bug qui empêchait le regroupement par les graphiques nommés count . Les graphiques peuvent désormais être regroupés par des champs nommés count .
• Pour les diagrammes à barres, les contrôles de Layout **grouper** et **empiler** sont désormais masqués lorsqu'ils ne sont pas applicables à la configuration sélectionnée par l'utilisateur.

14 mars 2024

Pour les tableaux de bord Lakeview :

• Les histogrammes prennent désormais en charge les couleurs catégorielles personnalisées.

  • Les cartes thermiques prennent désormais en charge les échelles quantitatives.
  • Les titres et les descriptions sont conservés lors du changement de types de visualisation, y compris pour les graphiques combinés.
  • Vous pouvez maintenant ouvrir le dataset sous-jacent associé à un widget de tableau de bord brouillon en cliquant dessus avec le bouton droit de la souris. Le dataset s'ouvre dans l'onglet tab .

• Les nouveaux graphiques appliquent désormais des alias et des couleurs personnalisées aux valeurs nulles dans les colonnes numériques.

• Les nouveaux graphiques affichent désormais des graduations pour indiquer le haut de l'axe y.

7 mars 2024

• Lorsque vous visualisez une table dans l'Explorateur de catalogues, le bouton Créer inclut une option permettant de créer un tableau de bord Lakeview plutôt qu'un tableau de bord Databricks SQL.

• Les histogrammes sont désormais disponibles pour les tableaux de bord Lakeview. Les histogrammes sont couramment utilisés pour visualiser la distribution d'un champ numérique.

• Lors du clonage d'un tableau de bord Databricks SQL pour créer un tableau de bord Lakeview, les problèmes de conversion de dataset s'affichent désormais sous forme d'erreurs dans le nouveau widget du tableau de bord Lakeview.

• Les dégradés de couleurs sont disponibles lorsqu'un champ numérique est utilisé pour une visualisation sur un tableau de bord Lakeview.

• Les dégradés de couleurs sont désormais disponibles dans l'éditeur de visualisation du tableau de bord Lakeview lorsqu'un champ de couleur est spécifié.

• Le titre et la description associés à une visualisation n'apparaissent plus modifiables si l'utilisateur ne dispose pas des privilèges d'édition sur un brouillon de tableau de bord Lakeview.

• Correction d'un problème où les infobulles dans les graphiques de plus de 100 séries affichaient incorrectement toutes les séries. Maintenant, seule la série sélectionnée est affichée.

• Latence de frappe réduite dans l'éditeur SQL de 30 % grâce à des optimisations de performances.

• Lorsque vous gérez des requêtes dans l'éditeur SQL, déplacer une requête vers la corbeille ferme automatiquement le tab.

• Correction d'un problème dans l'éditeur SQL où le texte était accidentellement sélectionné lors de l'ajustement de la largeur du panneau latéral.

29 février 2024

• La prise en charge des SQL Warehouse serverless a été ajoutée dans les régions suivantes :

  • ap-south-1
  • ap-southeast-1
  • ap-northeast-1
  • sa-east-1
  • eu-west-3

  Consultez les clouds et régions Databricks pour une liste complète des régions prises en charge.

• Le navigateur de schémas dans l'Explorateur de catalogues affiche désormais les contraintes de clé primaire et étrangère des colonnes.

• La durée de rétention affichée dans le tab Lignée de Catalog Explorer a été portée à un an.

• Les info-bulles sur les nouveaux graphiques dans les Notebooks sont désormais toujours rendues à l'intérieur de la limite de visualisation.

• Découvrez comment gérer par programmation les tableaux de bord Lakeview à l’aide de l’API REST. Consultez Gérer les tableaux de bord avec les API Workspace.

• Les tableaux de bord Lakeview prennent désormais en charge les histogrammes.

• Amélioration du partage et de la publication dans les tableaux de bord Lakeview :

  • Dialogues de partage et de publication améliorés, permettant un partage sûr et facile avec tout utilisateur de compte.
  • Les tableaux de bord ouverts depuis le navigateur du Workspace affichent le tableau de bord publié s'il existe. Les utilisateurs peuvent désormais également consulter les détails de la dernière version publiée, y compris l'éditeur, l'heure et les identifiants.
  • Pour les éditeurs, un nouveau sélecteur déroulant dans l'interface utilisateur des tableaux de bord Lakeview vous permet de passer rapidement des versions brouillon aux versions publiées.

22 février 2024

• Des améliorations de la Sample Data tab dans la vue de table de l'Explorateur de catalogue vous permettent de trier les colonnes, de copier les données sélectionnées dans votre presse-papiers et d'afficher les numéros de ligne. Désormais, il peut afficher de façon plus optimale les valeurs spéciales, comme les objets JSON, les dates, les valeurs numériques et nulles.

• Les tableaux de bord Lakeview prennent désormais en charge l'envoi d'instantanés PDF périodiques du tableau de bord aux utilisateurs de l'Workspace et aux destinations de notification. Consultez Gérer les mises à jour et les abonnements planifiés du tableau de bord.

• La liste des options de visualisation dans le sélecteur déroulant Lakeview est désormais triée par ordre alphabétique.

• Lors de la copie de tableaux de bord Databricks SQL vers des tableaux de bord Lakeview, les widgets qui ne peuvent pas être convertis affichent désormais le sélecteur de configuration de visualisation au lieu d'un message d'erreur.

15 février 2024

• La documentation relative aux filtres de query basés sur le code, tels que SELECT action AS 'action::filter', a été supprimée. Databricks recommande de mettre à jour les queries pour supprimer ce modèle.

• Pour les tableaux de bord Lakeview, les diagrammes circulaires affichent désormais des portions de taille égale lorsqu'aucun champ d'angle n'est spécifié.

• Lakeview prend désormais en charge les graphiques combinés, qui combinent des graphiques à barres et des graphiques linéaires pour afficher deux valeurs différentes sur le même graphique.

• Les cartes thermiques, qui utilisent l’intensité des couleurs pour montrer l’ampleur de la corrélation entre deux variables discrètes, sont désormais disponibles dans Lakeview.

8 février 2024

• Vous pouvez désormais demander l'accès lorsque vous ouvrez un link vers un tableau de bord Lakeview pour lequel vous n'avez pas les autorisations.
• Les filtres du tableau de bord Lakeview disposent désormais d'options explicites Tout et Aucun . Les auteurs peuvent choisir de masquer l'option Tout dans les filtres à sélection unique.
• Vous pouvez maintenant définir des valeurs minimales et maximales pour les axes sur les graphiques de tableau de bord Lakeview.

1er février 2024

Databricks SQL version 2024.10 disponible

Calendrier de déploiement

• Aperçu du déploiement pour 2024.10 : Entre le 30 janvier 2024 et le 05 février 2024
• Déploiement actuel pour 2024.10 : Entre le 13 février 2023 et le 20 février 2024

Modifications en 2024.10

• Gestion des fichiers corrompus corrigée dans les commandes DML : les commandes DML DELETE, UPDATE et MERGE INTO ne respectent plus les options de lecture ignoreCorruptFiles et ignoreMissingFiles. Lorsqu'un fichier illisible est rencontré dans une table, ces commandes échouent désormais même si ces options sont spécifiées.
• La concurrence au niveau des lignes est généralement disponible et activée par default : La concurrence au niveau des lignes réduit les conflits entre les Opérations d'écriture concurrentes en détectant les changements au niveau des lignes. La concurrence au niveau des lignes n’est prise en charge que sur les tables sans partitionnement, ce qui inclut les tables avec clustering liquide. La concurrence au niveau des lignes est activée par default sur les tables Delta avec les vecteurs de suppression activés. Consultez Simultanéité au niveau des lignes.
• Clonage superficiel pour les tables externes Unity Catalog (Préversion publique) : Vous pouvez désormais utiliser le clonage superficiel avec les tables externes Unity Catalog. Voir Clonage superficiel pour les tables Unity Catalog.
• Collecte de statistiques multithread plus rapide : La collecte de statistiques est jusqu’à 10 fois plus rapide sur les petits clusters lors de l’exécution de CONVERT TO DELTA ou du clonage à partir de tables Iceberg et Parquet. Consultez Convertir vers Delta Lake et Cloner de manière incrémentielle les tables Parquet et Apache Iceberg vers Delta Lake.
• Filtres pushdown dans la DeltaSource sur les fichiers Delta : Pour une meilleure utilisation, les filtres de partition sur les query de streaming des tables Delta sont désormais poussés vers Delta avant la limitation du débit.

Mises à jour de l'interface utilisateur

Les fonctionnalités énumérées dans cette section sont indépendantes des versions de compute du SQL Warehouse décrites ci-dessus.

• La tab Admin view des pages de listing des objets Databricks SQL (queries, tableaux de bord et alertes) a été supprimé. Les utilisateurs administrateurs du Workspace peuvent consulter tous les objets à partir de leurs pages de liste respectives. Consultez Accéder et gérer les requêtes enregistrées, Tableaux de bord hérités et Alertes Databricks SQL.

• La page d'historique des requêtes affiche les requêtes des 24 dernières heures by default. Voir l’ historique des requêtes.

• Une option de menu, Cloner vers le tableau de bord Lakeview , a été ajoutée à l'interface utilisateur du tableau de bord Databricks SQL. Vous pouvez utiliser cet outil pour créer un nouveau tableau de bord Lakeview qui inclut les mêmes query et visualisations que dans vos tableaux de bord Databricks SQL existants. Consultez Cloner un tableau de bord hérité vers un AI/BI dashboard.

• Les graphiques à barres dans les tableaux de bord Lakeview prennent en charge l'empilement de barres pour normaliser à 100 %.

• Correction d'un problème où le zoom avant sur un tableau de bord Lakeview publié entraînait la focalisation sur des intervalles de zoom incorrects.

24 janvier 2024

• Le canevas du tableau de bord Lakeview ajuste automatiquement le placement des widgets pour supprimer l'espace blanc vertical vide entre les lignes, lorsque cela est possible.
• Espace blanc réduit entre le titre et le texte de description dans les visualisations de tableau de bord Lakeview.

18 janvier 2024

• Correction d'un problème de rendu pour les visualisations où les graphiques à barres affichant une seule date sur l'axe des x produisaient une barre très fine. Les nouvelles visualisations de graphiques s'affichent comme prévu.

• La page de liste des tableaux de bord Lakeview affiche vos tableaux de bord par default. Vous pouvez utiliser des filtres sur cette page pour accéder aux tableaux de bord Lakeview appartenant à d'autres utilisateurs du workspace.

11 janvier 2024

• Les requêtes Databricks SQL et les APIs de tableaux de bord prennent en charge la modification du paramètre de rôle **Exécuter en tant que** par programme.

• Lakeview prend en charge l'exportation et l'importation de tableaux de bord en tant que fichiers afin de faciliter la reproduction de tableaux de bord brouillons dans les Workspace. Voir Exporter, importer ou remplacer un tableau de bord

4 janvier 2024

• Introduction des diagrammes d'entité-relation des clés primaires et étrangères dans Catalog Explorer. Consultez Afficher le diagramme des relations entre entités.