Notes de version de Databricks SQL 2023
Ce qui suit présente les améliorations et les mises à jour de Databricks SQL de janvier à décembre 2023.
21 décembre 2023
-
Le type de visualisation Compteur Lakeview affiche des couleurs lors de la comparaison des valeurs
BigIntdans les champs principaux Valeur et Cible . -
Les info-bulles qui apparaissent lors de l'activation/désactivation de la visibilité des colonnes sur les tables dans Lakeview ont été améliorées. Ils se comportent comme prévu et ne persistent pas.
-
Les utilisateurs peuvent désormais utiliser Databricks Assistant pour créer des visualisations dans Lakeview. Consultez Utiliser Genie Code pour la création de tableaux de bord.
-
Pour les nouveaux graphiques, les graphiques de type carte thermique respectent le paramètre reverseY .
-
Correction d'un problème de performances de rendu pour les Notebooks avec un grand nombre de visualisations.
14 décembre 2023
- Correction d’un bug où les tableaux de bord Lakeview n'apparaissaient pas sur la page de liste Lakeview sans un refresh manuel de la page.
- Utilisez la touche Échap pour annuler la création d’un widget Lakeview lors de son placement sur le canevas.
- L'Explorateur de catalogue affiche désormais les index de recherche vectorielle dans l'interface utilisateur dans le cadre de la préversion publique de Mosaic AI Vector Search.
7 décembre 2023
Mises à jour de l'interface utilisateur
-
Les tableaux de bord Lakeview peuvent être ajoutés aux favoris pour un accès rapide.
-
Les raccourcis clavier de copier-coller sont pris en charge lors de l'élaboration d'un tableau de bord Lakeview. De plus, la touche Suppr supprime les widgets sélectionnés.
-
Titres et descriptions des widgets Lakeview améliorés pour éviter le rognage du texte lors du chargement.
-
Problème de formatage de visualisation corrigé où les grandes valeurs entières étaient affichées par erreur comme des flottants.
-
Correction d'un problème avec les tableaux de bord Databricks SQL où les vues de graphique développées affichaient parfois des graphiques vides.
-
Les graphiques à barres avec des champs quantitatifs sur les deux axes X et Y affichent des étiquettes de données plus lisibles.
-
Problème résolu dans l'Éditeur SQL afin que les tables contenant le mot
streamdans le titre n'entrent plus en conflit avec le mot-clé réservé. Ces tables apparaissent désormais comme prévu dans le navigateur de schémas et ne sont pas mises en surbrillance en cas d’erreur. -
La page d'historique des query prend désormais en charge le redimensionnement des colonnes et les sélections de colonnes.
-
La page d'historique de query prend en charge deux nouvelles colonnes : Source de la query et Type de source de query .
-
Les options BI, telles que Tableau et Power BI, sont plus faciles à trouver dans l'Explorateur de catalogues sur les pages éligibles.
30 novembre 2023
Mises à jour de l'interface utilisateur
Les fonctionnalités énumérées dans cette section sont indépendantes des versions de compute du SQL Warehouse décrites ci-dessus.
-
Les graphiques circulaires dans Lakeview peuvent désormais avoir des attributions de couleurs personnalisées.
-
Les transformations de visualisation dans Lakeview sont désormais conservées lors du passage entre des types de champs compatibles.
-
Paramètres de titre ajoutés pour les canaux d'angle des graphiques à secteurs Lakeview.
-
Le menu déroulant du dataset Lakeview est désormais consultable pour une navigation plus facile.
-
Lakeview prend en charge l'affichage numérique complet pour les valeurs inférieures à 10 000, éliminant ainsi les abréviations.
-
Ajout de la capacité à coder par couleur les champs de date catégoriques dans Lakeview.
-
Les utilisateurs de Lakeview peuvent désormais mettre en surbrillance les légendes de graphique avec leur curseur pour copier et coller les valeurs.
-
Les diagrammes circulaires dans Lakeview disposent désormais d'une option de bascule d'étiquette.
-
Normalisation d'une couleur bleue default pour toutes les visualisations Lakeview.
-
Les icônes de colonne Lakeview dans les transformations correspondent désormais de manière cohérente à la méthode de transformation utilisée.
-
Les contrôles du panneau d'édition de Lakeview s'ajustent désormais automatiquement pour une lisibilité améliorée.
-
Publication d'un éditeur de couleurs amélioré pour les visualisations Lakeview.
-
Le contrôle des conditions de police de table dans Lakeview est désormais encapsulé pour améliorer la lisibilité.
-
Compatibilité améliorée du mode sombre pour les étiquettes dans les nouveaux graphiques.
-
Les nouveaux graphiques priorisent désormais systématiquement l'affichage des étiquettes à l'intérieur des barres.
-
Correction d'un bug où certaines actions du menu contextuel ne fonctionnaient pas dans l'Éditeur SQL.
16 novembre 2023
Mises à jour de l'interface utilisateur
Les fonctionnalités énumérées dans cette section sont indépendantes des versions de compute du SQL Warehouse décrites ci-dessus.
-
Les requêtes, les alertes et les tableaux de bord de Databricks SQL disposent d'un nouveau planificateur et d'une nouvelle interface de planification.
-
Les widgets Lakeview sont désormais plus faciles à redimensionner grâce à une zone de Trigger de redimensionnement plus grande.
-
Les administrateurs de workspace peuvent désormais changer le propriétaire d'un tableau de bord Lakeview. Depuis le mode édition sur un tableau de bord Lakeview :
- Cliquez sur « Partager »
- Cliquez sur
- Cliquez sur Attribuer un nouveau propriétaire
-
Les utilisateurs peuvent activer ou désactiver les étiquettes dans Lakeview.
Visualisations :
- Les nouvelles étiquettes de graphique préfèrent fortement être à l'intérieur d'une barre lorsque cela est possible.
- De nouvelles étiquettes de graphique s'affichent désormais correctement sur les barres empilées qui sont suffisamment larges pour afficher l'étiquette en entier.
- Les couleurs des étiquettes à l'intérieur des graphiques à barres sont désormais plus cohérentes.
9 novembre 2023
Modifications en 2023.50 :
Points clés :
- Vous pouvez désormais utiliser l’ invocation de paramètre nommé sur UDF SQL et Python.
Mises à jour du langage SQL : Les fonctions intégrées suivantes ont été ajoutées :
from_xml: Analyse unSTRINGXML enSTRUCT.schema_of_xml: Dérive un schéma d’un XMLSTRING.session_user: Renvoie l'utilisateur connecté.try_reflect: RenvoieNULLau lieu de l'exception si une méthode Java échoue.
Les fonctions intégrées suivantes ont été améliorées :
- appel de fonction. Les arguments de table pour les fonctions prennent en charge le partitionnement et le tri : vous pouvez maintenant utiliser les clauses
PARTITION BYetORDER BYpour contrôler la façon dont les arguments de table sont passés à une fonction. mode: Prise en charge d'un paramètre facultatif forçant un résultat déterministe.to_char: Nouvelle prise en charge pourDATE,TIMESTAMPetBINARY.to_varchar: Nouvelle prise en charge pourDATE,TIMESTAMPetBINARY.array_insert()est basé sur 1 pour les index négatifs : la fonctionarray_insertest basée sur 1 pour les index positifs et négatifs. Il insère désormais un nouvel élément à la fin des tableaux d'entrée pour l'index -1.
Mises à jour de l'interface utilisateur
Les fonctionnalités listées dans cette section sont indépendantes des versions de compute SQL Warehouse décrites ci-dessus.
Visualisations :
- Les infobulles des nouveaux graphiques affichent uniquement les éléments survolés pour les graphiques à cardinalité élevée.
- Les nouveaux graphiques alignent automatiquement les graphiques à deux axes à zéro.
- Les graphiques ont modifié la direction de l'angle de rotation des étiquettes et du texte des axes de -90 à 90 degrés.
- Les graphiques utilisent désormais la largeur de l'étiquette pour déterminer la rotation.
Tableaux de bord Lakeview :
- Correction : Les lignes de tableau dans les tableaux de bord Lakeview n’ajoutent plus de remplissage vertical lorsqu’un petit nombre de lignes est renvoyé.
- Le clonage d'un nouveau widget de tableau de bord Lakeview tente d'abord de placer le clone à droite de l'original, à condition qu'il y ait suffisamment d'espace sur le canevas. Si l'espace est insuffisant, le clone est placé sous l'original.
- Vous pouvez désormais réattribuer le propriétaire d'un tableau de bord Lakeview via la boîte de dialogue Partager.
Éditeur SQL : la saisie semi-automatique est désormais moins agressive et se ferme automatiquement à la fin des instructions.
2 novembre 2023
Améliorations :
Voici les améliorations apportées à la lignée du tableau de bord Lakeview :
- Ajout d'icônes distinctes pour les tables, les vues et les vues matérialisées.
- Ajout de la prise en charge du défilement vertical en cas de nombreuses sources de données en amont.
- Message d'erreur amélioré lorsque le spectateur ne dispose pas des autorisations sur l'objet en amont.
- Messages clarifiés concernant les tables de données d'échantillon et les données HMS.
- Balises clé-valeur ajoutées aux sources de données en amont.
Corriger :
- Correction d'un problème dans les nouveaux graphiques qui empêchait le rendu après le renommage d'une série avec des valeurs booléennes.
26 octobre 2023
Modifications de la version 2023.45 de Databricks SQL
Points clés :
- Les E/S prédictives pour les mises à jour sont maintenant généralement disponibles. Consultez Qu’est-ce que l’E/S prédictive ?
- Les vecteurs de suppression sont désormais généralement disponibles. Consultez Que sont les vecteurs de suppression ?
Query optimizations:
- La jointure externe a été supprimée si elles sont toutes des fonctions d'agrégation distinctes. SPARK-42583
- Ordre optimisé des prédicats de filtrage. SPARK-40045
Mises à jour des fonctions SQL :
- Prise en charge ajoutée de la résolution d'alias de colonne latérale implicite sur
Aggregate. SPARK-41631 - Prise en charge de l'alias de colonne latéral implicite dans les queries avec Window. SPARK-42217
- Prise en charge des Datasketches
HLLSketch. Voirhll_sketch_aggfonction d'agrégation. - Ajouté la
try_aes_decrypt()fonction. Voir latry_aes_decryptfonction. - Prise en charge du mode CBC pour
aes_encrypt()etaes_decrypt(). Voir la fonctionaes_decrypt. - Ajouter les alias de fonction à 3 arguments DATE_ADD et DATE_DIFF.
- Prise en charge ajoutée pour les IVs aes_encrypt et l'AAD. SPARK-43290
- Mettre en œuvre des fonctions bitmap. SPARK-44154
- L'alias
to_varchara été ajouté pourto_char. Voir la fonctionto_varchar. array_compacta été ajouté. Voir laarray_compactfonction.- Prise en charge de l'udf
luhn_check. Voir laluhn_checkfonction. - Ajout du support de l'analyseur pour les arguments nommés des fonctions intégrées. SPARK-44059
- Prise en charge de la règle d'analyse des arguments
TABLEpourTableValuedFunction. SPARK-44200 array_insertéchoue maintenant avec 0 index. SPARK-43011NULLvaleurs ont été ajoutées pourINSERTavec des listes spécifiées par l'utilisateur de moins de colonnes que la table cible. SPARK-42521DECODELa fonction renvoie des résultats incorrects lorsqu'on lui passe la valeur NULL. SPARK-41668
Mises à jour de l'interface utilisateur
Améliorations :
-
L'éditeur SQL de Lakeview prend désormais en charge les raccourcis clavier pour exécuter les requêtes.
-
Les filtres dans Lakeview affichent désormais des sélections rapides de plages de dates relatives pour les 7, 14, 28, 30, 60 et 90 derniers jours.
-
Les points dans les noms de champs de données n’entraînent plus de graphiques vides.
-
L’ancien explorateur de schémas fonctionne désormais avec Unity Catalog.
-
Améliorations des performances implémentées pour ne charger que le tab actif dans l'éditeur SQL, réduisant le temps de chargement initial jusqu'à 20 %.
-
Les commentaires de table générés par l'IA dans l'Explorateur de catalogues sont désormais généralement disponibles.
Correctifs :
- Les barres des graphiques à barres temporelles sont désormais centrées sur le repère temporel de la date.
- Les templates d'étiquettes de données avec des expressions agrégées utilisent désormais les outils de formatage numérique appropriés.
- Le zoom sur de nouveaux graphiques fonctionne désormais avec une échelle définie sur catégorique à l'aide de données temporelles.
Nouvel article :
- Nous avons publié un nouvel article présentant toutes les visualisations Lakeview, y compris des captures d'écran et des notes expliquant comment recréer chacune des visualisations dans chaque capture d'écran. Consultez les types de visualisation des AI/BI dashboard.
19 octobre 2023
Améliorations :
-
Le glisser-déposer dans le navigateur de schémas est désormais disponible.
-
La fenêtre modale Select Table des tableaux de bord Lakeview facilite la sélection parmi toutes les tables d'un catalogue ou d'un schéma et utilise désormais les prédictions de recherche par saisie semi-automatique.
Correctifs :
-
Les instructions de l'info-bulle de sélection de légende indiquent que les utilisateurs Mac utilisent
cmdet les utilisateurs Windows utilisentctrl. -
Visibilité améliorée des messages tronqués dans les tableaux de bord Lakeview lorsque les données rendues dépassent les limites.
-
Les graphiques avec des données tronquées affichent des couleurs cohérentes comme dans l'éditeur.
12 octobre 2023
Améliorations :
-
Les valeurs de filtre de texte contenant des caractères spéciaux filtrent désormais correctement dans les tableaux de bord Lakeview.
-
Les nouveaux graphiques prennent en charge les étiquettes de données
@@namesur les nuages de points. -
Les formats de pourcentage personnalisés s'appliquent aux info-bulles des graphiques groupés dans les nouveaux graphiques.
-
L'interface utilisateur de l'extension de liaison de Workspace est en disponibilité générale.
Correctifs :
- Rendu amélioré des étiquettes sur les nouveaux graphiques pour éviter que les étiquettes ne spilling en dehors des limites du graphique.
- Contraste accru des lignes de graduation et de grille sur les nouveaux graphiques pour une meilleure visibilité.
- Augmentation de l'espacement des étiquettes d'axe pour améliorer la lisibilité sur les nouveaux graphiques.
5 octobre 2023
Améliorations :
-
Des infobulles précises ont été ajoutées pour les actions en mode publication et la traçabilité de la date dans les tableaux de bord Lakeview.
-
Le formatage conditionnel et les templates de Link dans les visualisations de table Lakeview prennent désormais en charge les colonnes masquées.
-
Positionnement optimisé des étiquettes pour les diagrammes temporels à barres larges afin d’améliorer la clarté des nouveaux diagrammes.
-
La visualisation de compteur dans Lakeview conserve ses transformations même après la suppression d'autres champs, ce qui garantit la cohérence.
-
Survoler une série dans un graphique atténue désormais les séries environnantes dans l'info-bulle afin d'améliorer la lisibilité dans les nouveaux graphiques.
-
Les nouveaux graphiques utilisant des valeurs en pourcentage affichent désormais des info-bulles avec des valeurs absolues.
-
Ajout du support de saisie semi-automatique pour la création de volumes.
-
La fermeture d'un tab non actif ne change plus de tab.
-
L'exécution sélectionnée indique clairement quand le texte est mis en surbrillance.
Correctifs :
-
Formulation du message d'erreur améliorée dans les tableaux croisés dynamiques lorsque les données sont tronquées.
-
Correction d'une erreur de rendu dans les tableaux croisés dynamiques où les couleurs ne s'affichaient pas lors de l'utilisation des types de données BigInt.
-
Lors du download de PNG dans de nouveaux graphiques avec de nombreux éléments de légende, le symbole de couleur a été supprimé pour les entrées de légende de dépassement.
-
Les lignes des nouveaux graphiques conserveront une épaisseur constante, même à la limite supérieure de la vue.
-
Dans Lakeview, si aucun dataset n'existe, le sélecteur de dataset dans le Canevas est vide.
-
Les Spark Declarative Pipelines sur Lakeflow sont correctement détectés par l'analyseur SQL et n'apparaîtront pas comme des tables invalides dans l'explorateur de schémas.
-
Des infobulles ont été ajoutées à la barre latérale.
28 septembre 2023
Améliorations :
-
Les tableaux de bord Lakeview publiés disposent désormais d'un bouton de refresh.
-
Amélioration des messages d’erreur pour les utilisateurs n’ayant pas accès à un tableau de bord Lakeview.
-
La configuration des filtres dans les tableaux de bord Lakeview liste désormais les champs valides en haut de la liste de sélection.
-
Le download d'un graphique au format PNG à partir d'un tableau de bord Lakeview conserve désormais le titre et la description.
-
L'amélioration de l'historique des tables Delta dans l'Explorateur de catalogues inclut l'ajout de filtres pour la plage de dates, l'utilisateur et le type d'opération, ainsi que des colonnes triables et des liens en ligne vers les Jobs et Notebooks associés.
-
Prise en charge du mode sombre ajoutée pour les légendes, les info-bulles et la visualisation des tables.
Corriger :
- Les sélections de filtre ne sont plus effacées lors de l'actualisation d'un tableau de bord Lakeview.
21 septembre 2023
Améliorations :
- Les performances d'affichage des tableaux croisés dynamiques ont été améliorées.
- Nouveau modèle DuBois pour les vues tabulaires de lignage dans l’interface utilisateur.
14 septembre 2023
Amélioration :
- Les noms de fichier sont désormais conservés lors du download des PNG dans les nouvelles visualisations de graphique. Consultez Visualisations dans les Notebooks et l'éditeur SQL de Databricks.
7 septembre 2023
Databricks SQL version 2023.40 disponible
Calendrier de déploiement
- Aperçu du déploiement pour 2023,40 : Entre le 5 sept. 2023 et le 11 sept. 2023
- Déploiement actuel pour 2023.40 : Entre le 18 sept. 2023 et le 25 sept. 2023
Modifications en 2023.40 :
- Les tags sont désormais disponibles avec Unity Catalog.
- Databricks Runtime renvoie une erreur si un fichier est modifié entre la planification de la query et son invocation.
- Prise en charge du Driver ODBC/JDBC Databricks.
- Activer l'étiquetage des colonnes de séries temporelles.
- Nouvelles fonctions SQL bitmap.
- Fonctions de chiffrement améliorées.
- Prise en charge de Unity Catalog pour
REFRESH FOREIGN. INSERT BY NAMEest maintenant pris en charge.- Partager des vues matérialisées avec Delta Sharing.
Mises à jour de l'interface utilisateur
Améliorations :
-
De nouveaux graphiques sont désormais disponibles, offrant des performances de rendu plus rapides, de belles couleurs et une interactivité améliorée. Consultez Visualisations dans les Notebooks et l'éditeur SQL de Databricks.
-
Dans la vue du graphe du profil de requête, vous pouvez maintenant voir le type de jointure sur n'importe quel nœud contenant une jointure dans le plan de requête.
-
Data Explorer est renommé en Explorateur de catalogues afin de reconnaître que vous pouvez l'utiliser pour travailler avec tous les objets sécurisables dans Unity Catalog, et pas seulement avec les objets de données. Consultez Qu'est-ce que l'Explorateur de catalogue ?.
-
L'API Databricks SQL Statement Execution est désormais disponible avec Databricks SQL version 2023.35 et supérieur. L'API vous permet de soumettre des instructions SQL pour exécution sur un Databricks SQL warehouse, de vérifier le statut et de récupérer les résultats, ou d'annuler l'exécution d'une instruction SQL en cours. Voir Statement Execution API.
31 Août 2023
Nouvelle fonctionnalité :
- Le balisage pour Unity Catalog est en aperçu public. Vous pouvez utiliser des tags pour simplifier la recherche et la découverte de vos assets de données. Voir Appliquer des tags aux objets sécurisables d'Unity Catalog.
24 août 2023
Amélioration :
- La saisie semi-automatique cesse de suggérer des recommandations après avoir appuyé sur la barre d'espace.
- Le Navigateur de schémas ne considère plus les
liveSpark Declarative Pipelines sur Lakeflow comme des tables rompues.
16 août 2023
Amélioration :
- Le menu déroulant Catalog de l’éditeur SQL se ferme désormais lorsque vous changez de tab. Auparavant, lorsque vous changiez d’onglet, le menu déroulant restait ouvert.
10 août 2023
Amélioration :
- L'autocomplétion prend désormais en charge la nouvelle syntaxe pour la configuration des balises Unity Catalog. Pour des informations sur les commandes, consultez la référence du langage SQL.
3 août 2023
Améliorations :
- L'éditeur Monaco sous-jacent utilise désormais la version 37,1.
- Prise en charge de la saisie semi-automatique pour les
SHOW ARCHIVED FILES FORcommandes Delta.
27 juillet 2023
Améliorations :
- L'éditeur SQL est désormais compatible avec les caractères de nouvelle ligne Windows, garantissant que le formatage des query fonctionne comme prévu dans tous les cas.
- Vous pouvez ouvrir la navigation du profil de query à partir des résultats du Notebook. Pour les requêtes, exécutez votre requête avec un SQL Warehouse.
20 juillet 2023
Databricks SQL version 2023.35 disponible
Calendrier de déploiement
- Déploiement en avant-première pour 2023.35 : Entre le 18 juillet 2023 et le 24 juillet 2023
- Déploiement actuel pour 2023.35 : Entre le 31 juillet 2023 et le 8 août 2023
Modifications en 2023.35 :
- Fiabilité améliorée pour
VACUUMavec le clonage léger dans Unity Catalog. - Prise en charge des UDF Python dans SQL.
- Delta Lake UniForm pour Apache Iceberg est en préversion publique.
- Le clustering liquide Delta Lake est en préversion publique.
- Prise en charge de l'archivage pour Delta Lake.
- Prise en charge de la clause IDENTIFIER.
- Prise en charge de Unity Catalog pour les fonctions définies par l’utilisateur (UDF) Python et Pandas.
Amélioration :
- La popularité des tables dans l'Explorateur de catalogues est disponible pour tous les utilisateurs de Unity Catalog.
13 juillet 2023
Amélioration :
- Les utilisateurs de Unity Catalog peuvent désormais consulter des insights supplémentaires sur les tables dans Catalog Explorer, tels que les tables fréquemment jointes, les utilisateurs fréquents d'une table donnée, et les Notebooks et tableaux de bord fréquemment utilisés.
22 juin 2023
Aperçu public :
- Databricks SQL prend désormais en charge les grands modèles de langage (LLM) hébergés sur des endpoints de service de modèles. Appelez
ai_query()pour accéder à votre LLM. Cette fonction est uniquement disponible en préversion publique sur Databricks SQL Pro et Serverless. Pour participer à la préversion publique, soumettez le formulaire d'inscription à la préversion publique d'AI Functions.
15 juin 2023
Nouvelle fonctionnalité :
- Les tâches SQL dans les Tâches sont désormais disponibles pour tous. Vous pouvez orchestrer les queries, les tableaux de bord et les alertes depuis la page des Tâches. Consultez la tâche SQL pour les Jobs.
- Un nouvel explorateur de schémas est désormais disponible en aperçu public, avec une UX mise à jour, un tab Pour vous et des filtres améliorés. Le navigateur de schémas est disponible dans Databricks SQL, l'Explorateur de catalogues et les notebooks. Voir Parcourir les données.
8 juin 2023
DBSQL version 2023.30 disponible
Modifications dans la version 2023.30
- Nouvelles fonctions SQL intégrées, telles que
array_prepend(array, elem),try_aes_decrypt(expr, key [, mode [, padding]])etsql_keywords(). - Vous pouvez désormais utiliser le clonage superficiel pour créer de nouvelles tables gérées par Unity Catalog à partir de tables gérées par Unity Catalog existantes. Consulter Clonage superficiel pour les tables Unity Catalog.
- Vous pouvez maintenant utiliser
CLONEetCONVERT TO DELTAavec les tables Iceberg qui ont des partitions définies sur des colonnes tronquées de typesint,longetstring. Les colonnes tronquées de typedecimalne sont pas prises en charge. START VERSIONest désormais obsolète pourALTER SHARE.
Mises à jour de l'interface utilisateur
Corriger :
- La visualisation des compteurs prend désormais en charge le formatage lors de l'utilisation de grands nombres entiers.
1er juin 2023
Améliorations :
- Les données binaires s'afficheront désormais comme une chaîne hexadécimale lors de l'utilisation du format Arrow.
- Dans l'API de déclaration SQL, le format CSV est désormais pris en charge pour la disposition
EXTERNAL_LINKS. Cela permet aux clients d'extraire jusqu'à 100 GiB de données au format CSV avec des URL pré-signées, tandis que la limite deINLINEpour JSON est de 16 MiB.
29 mai 2023
Nouvelle fonctionnalité :
- Vous pouvez désormais utiliser l’interface utilisateur d’ajout de données pour charger des données à partir d’un chemin de stockage d’objets cloud défini comme un emplacement externe de Unity Catalog. Pour plus d'informations, consultez Chargez des données à l'aide d'un emplacement externe Unity Catalog.
25 mai 2023
Améliorations :
- Vous pouvez maintenant afficher/masquer le panneau de résultats de la saisie semi-automatique.
- Désactivez la touche Entrée afin qu'elle n'accepte plus les suggestions de saisie semi-automatique. Sous Paramètres utilisateur DBSQL , cliquez sur Paramètres de l’éditeur , puis sur Nouveaux paramètres de l'éditeur . Désactivez La touche Entrée accepte les suggestions de saisie semi-automatique .
Correctifs :
- Les en-têtes de table triés ont maintenant des couleurs.
- Les lignes des graphiques s'affichent désormais correctement.
18 mai 2023
Amélioration :
- Dans l'API de déclaration SQL, la disposition
EXTERNAL_LINKSprend désormais en charge le formatJSON_ARRAY. Vous pouvez extraire jusqu'à 100 GiB de données au format JSON avec des URL pré-signées. La limiteINLINEpour JSON est de 16 Mio.
11 mai 2023
Nouvelle fonctionnalité :
- Le Navigateur de schémas est désormais généralement disponible dans l'Explorateur de catalogues.
Améliorations :
- L'affichage du panneau de détails de la table au survol est moins sensible.
- La touche **Échap** ferme maintenant le panneau de saisie semi-automatique.
- Les définitions de vues ont maintenant une coloration syntaxique dans l'onglet des détails de l'Explorateur de catalogues.
Correctifs :
- Les tableaux croisés dynamiques s'affichent désormais correctement sur les appareils Windows.
- Les suggestions de complétion respectent désormais la casse du premier mot-clé.
4 mai 2023
Databricks SQL Version 2023.26 disponible
Calendrier de déploiement
- Déploiement d'aperçu pour 2023.26 : Entre le 19 avril 2023 et le 25 avril 2023
- Déploiement actuel pour la version 2023.26 : Entre le 3 mai 2023 et le 10 mai 2023
Modifications en 2023,26
- Photon renvoie une erreur si un fichier est modifié entre la planification et l'exécution de la query.
- Nouvelles fonctionnalités et support étendu pour les fonctionnalités E/S prédictives. Consultez Databricks Runtime 13.0 (EoS).
- Utilisez le connecteur Databricks pour vous connecter à un autre Workspace Databricks.
CREATE TABLE LIKEfonctionnalité pour les tables Delta.- Nouveaux champs de colonne de métadonnées indiquant le start et la longueur du bloc de fichiers.
- Nouvelles fonctions géospatiales H3. Voir les fonctions géospatiales H3.
- Nouvelles fonctions SQL intégrées. Consultez Databricks Runtime 13.0 (EoS).
Mises à jour de l'interface utilisateur
Améliorations :
- Les administrateurs peuvent modifier les propriétaires de warehouse à l'aide de l'interface utilisateur ou de l'API. Consultez Gérer un SQL Warehouse.
- Catalog Explorer affiche désormais les Service Principal de compte dans les listes d'utilisateurs pour les assets dans Unity Catalog. Par exemple, les Service Principal de compte sont visibles lors de la modification des privilèges ou du changement de propriétaires dans l'Explorateur de catalogues.
- Les étiquettes de graphique personnalisées prennent en charge la possibilité de faire référence à n'importe quelle colonne au sein du dataset.
- Les filtres du tableau de bord chargent désormais les noms de colonne, même lors de l'utilisation de queries ne disposant pas d'informations de catalogue ou de schéma.
27 avril 2023
Améliorations :
- L’éditeur SQL s’appuie désormais sur le Monaco Editor pour une expérience d’édition plus fiable.
- La page de liste de l'historique SQL (query) inclut désormais le Dubois Design System.
20 avril 2023
Améliorations :
-
Présente de nouvelles tables pivots qui vous permettent d'agréger plus de 64 000 résultats.
-
Les tables et visualisations Databricks SQL prennent désormais en charge les BigInt, les décimales sur 38 bits et les caractères non UTF-8. Pour les nombres, le paramètre default est désormais une précision de chiffres définie par l'utilisateur.
-
L’autocomplétion suggère désormais les jointures passées fréquentes pour les tables Unity Catalog, optimisées par les données de traçabilité Unity Catalog dans Databricks Runtime 12.0 et versions supérieures.
-
Cloud Fetch est activé par default dans les workspaces AWS avec le versioning de compartiment activé. Si le versioning de votre bucket est activé, Databricks recommande de définir une politique de cycle de vie pour supprimer automatiquement les anciennes versions des résultats de query upload. Voir Cloud Fetch dans ODBC (ODBC) et Cloud Fetch dans JDBC (JDBC).
Nouvelle fonctionnalité :
- Renvoie le texte généré par un grand modèle de langage (LLM) sélectionné étant donné l'invite avec ai_generate_text. Cette fonction est disponible uniquement en préversion publique sur Databricks SQL Pro et Serverless. Pour participer à la prévisualisation publique, veuillez remplir et soumettre le formulaire d'inscription à la prévisualisation publique d'AI Functions.
13 avril 2023
Nouvelle fonctionnalité :
- Le type
TIMESTAMP_NTZreprésente des valeurs composées des champs année, mois, jour, heure, minute et seconde. Toutes les opérations sont effectuées quelle que soit le fuseau horaire. VoirTIMESTAMP_NTZtype.
Améliorations :
- Les utilisateurs peuvent désormais envoyer des résultats formatés dans les alertes en utilisant le tag
QUERY_RESULT_TABLEdans un message d'alertes personnalisé. - Les utilisateurs peuvent désormais afficher la taille des données du fichier pour les tables Unity Catalog dans l'Explorateur de catalogues.
6 avril 2023
Databricks SQL version 2023,20 disponible
Calendrier de déploiement
- Aperçu du déploiement pour 2023,20 : Entre le 15 mars 2023 et le 23 mars 2023
- Déploiement actuel pour 2023.20 : Entre le 27 mars 2023 et le 03 avril 2023
Modifications de 2023,20
- L'évolution des schémas Delta Lake prend en charge la spécification des colonnes source dans les instructions Merge.
- Supprimer tous les éléments NULL d'un tableau à l'aide de array_compact.
- Pour ajouter des éléments à un tableau, utilisez array_append.
- Pour anonymiser les valeurs de chaîne sensibles, utilisez la fonction de masque.
- Les conditions d'erreur courantes renvoient désormais SQLSTATE.
- Appelez les fonctions génératrices à valeur de table dans la clause
FROMnormale d'une query. - Utilisez les fonctions
from_protobufetto_protobufpour échanger des données entre les types binaires et struct. Consultez Lire et écrire des tampons de protocole. - Cohérence améliorée pour le comportement de commit Delta des transactions vides relatives aux commandes
update,deleteetmerge. - Changement de comportement
- La fonctionnalité d'alias de colonne latérale introduit des changements de comportement lors de la résolution de nom. Consulter les changements de comportement.
Mises à jour de l'interface utilisateur
Améliorations :
- Catalog Explorer prend désormais en charge la suppression de Hive metastore.
- Le message de l'état initial de l'éditeur de visualisation est passé de Colonnes requises manquantes à Aucune donnée .
3 avril 2023
Nouvelle fonctionnalité :
- La page Créer ou modifier une table à partir d'un upload de fichier prend désormais en charge les uploads de fichiers JSON. Pour plus d'informations, consultez créer ou modifier une table à l'aide d'un upload de fichier.
30 mars 2023
Améliorations :
- Sur la page de monitoring du warehouse, vous pouvez désormais consulter l'historique des queries pour la plage de temps sélectionnée, ainsi que vos graphiques de mise à l'échelle. Vous pouvez également consulter les queries en cours d'exécution et en file d'attente, les sessions SQL actives, l'état du warehouse et le nombre actuel de clusters. Voir Surveiller un SQL warehouse.
- Le regroupement cartographique est maintenant désactivé par default dans les cartes de marqueurs.
- Des info-bulles pour la troncature de la visualisation et les limites de rendu ont été ajoutées.
Correctifs :
- Les graphiques respectent désormais l’ordre d’origine lorsque le tri est désactivé pour les valeurs de l’axe et que le graphique comporte la colonne de regroupement.
23 mars 2023
Améliorations :
- Les visualisations prennent désormais en charge le regroupement temporel par semaine.
Totalcalcule désormais toutes les données au-delà des cellules 100 X 100, jusqu'à 64 000 résultats, dans les tableaux croisés dynamiques des notebooks.- Les utilisateurs peuvent désormais formater les valeurs des cellules dans le tableau croisé dynamique des nouveaux notebooks.
- Le lignage des fichiers, des query et du magasin de fonctionnalités est disponible.
16 mars 2023.
Amélioration :
- Prise en charge de la syntaxe
GROUP BY ALL.
9 mars 2023
Nouvelle fonctionnalité :
- L’API Databricks SQL Statement Execution est désormais disponible en préversion publique. L'exécution des instructions fournit des endpoints qui exécutent des instructions SQL sur un warehouse Databricks SQL. Elle peut également vérifier le statut, récupérer les résultats et annuler une instruction SQL en cours.
Amélioration :
- La console d'administration SQL a été combinée avec les paramètres d'administration généraux pour créer une expérience unifiée pour les utilisateurs administrateurs. Tous les paramètres d'administration SQL sont désormais accessibles depuis la console d'administration.
- Les destinations d'alerte s'appellent désormais destinations de notification.
Correctifs :
- Les tables n'affichent plus deux barres de défilement.
- Les titres de widget vides ne sont plus écrasés sur les tableaux de bord.
2 mars 2023
Corriger :
- Vous pouvez désormais utiliser des URL relatives dans les tableaux pour accéder aux tableaux de bord.
23 février 2023
Amélioration :
TINYINTest désormais pris en charge dans les tables de résultats des notebooks.
Corriger :
- Correction d’un bug où le défilement sur le modal de filtre de création du tableau de bord entraînait une erreur.
16 février 2023
Améliorations :
- Les étiquettes de données sur les graphiques affichent désormais plus de caractères pour éviter de tronquer les descriptions.
- L'autocomplétion reconnaît désormais les fonctions
range()et Python UDFcreate. - La saisie semi-automatique évite désormais d'initialiser des extraits sur les décimales et dans les commentaires de code.
Correctifs :
- Les utilisateurs peuvent désormais zoomer sur les cartes.
- Dans les Notebooks, les couleurs sont désormais correctement attribuées aux graphiques.
2 février 2023
Améliorations :
- Prise en charge de
DESCRIBE DETAILSdans l'éditeur. - Vitesse de chargement améliorée du navigateur de schéma.
- Vous pouvez maintenant afficher une liste de colonnes possibles dans le panneau latéral d'un
SELECT *.
26 janvier 2023
Amélioration :
- Les messages d'erreur de votre query incluent désormais des Link vers le sujet de documentation associé qui décrit l'erreur.
19 janvier 2023
Améliorations :
- Vous pouvez maintenant trouver un panneau Nouveautés qui met en évidence les améliorations clés. Vous pouvez ouvrir et fermer ce panneau en cliquant sur l'icône de cadeau.
- Les administrateurs peuvent désormais modifier la propriété des SQL Warehouses.
- Vous pouvez désormais filtrer sur plusieurs visualisations dans un tableau de bord en cliquant sur Ajouter > Filtrer et en sélectionnant la query et les colonnes pour le filtrage.
12 janvier 2023
Améliorations :
- Les titres des widgets de visualisation sur les tableaux de bord sont désormais formatés comme Nom de la visualisation - Nom de la requête par default.
- Fonctions géospatiales H3 ajoutées à la référence du panneau intégré.
- Ajouté des références en ligne pour la syntaxe SQL comme
CREATE TABLEetOVER.
Correctifs :
- Les bascules de tri et d’inversion sont désormais disponibles lorsque l’échelle de l’axe X est réglée sur automatique.
- Les cartes thermiques et les tableaux croisés dynamiques sont désormais réactifs pour certains cas limites.
- Les graduations catégorielles de l'axe Y sont maintenant triées par default.
- Les brouillons de query ne sont plus perdus après un refresh du navigateur.