Mises à niveau automatiques
Databricks met automatiquement à niveau les tables gérées par Unity Catalog pour utiliser les fonctionnalités recommandées généralement disponibles, sans nécessiter de modifications de code ou d'instructions ALTER TABLE manuelles. Les mises à niveau automatiques vérifient que les clients sont compatibles avant d'activer de nouvelles fonctionnalités.
Les mises à niveau automatiques offrent les avantages suivants :
- Réduisez l'effort administratif nécessaire pour valider les exigences de compatibilité individuelles pour chaque combinaison de table et de fonctionnalité dans vos Workspaces. Ceci est particulièrement utile si vous avez des catalogues contenant des milliers de tables.
- Bénéficiez automatiquement des dernières améliorations de performance et de fiabilité sur vos tables gérées.
- Mettre à niveau les tables en toute sécurité. Les mises à niveau automatiques activent les fonctionnalités seulement après avoir vérifié la compatibilité des charges de travail.
Pour plus de détails sur les avantages associés à ces fonctionnalités, consultez les Mises à niveau automatiques : les meilleures pratiques pour vos tables lakehouse.
Comment fonctionnent les mises à niveau automatiques
Les mises à niveau automatiques surveillent les modèles d'accès des tables gérées par Unity Catalog et utilisent une fenêtre d'observation pour vérifier que les modèles d'accès sont compatibles avant d'activer toute fonctionnalité. La fenêtre d'observation est de 50 jours pour les mises à niveau en préversion publique, et de 100 jours pour les mises à niveau généralement disponibles. Consultez les fonctionnalités prises en charge.
Les mises à niveau automatiques utilisent un compute Serverless pour mettre à niveau les tables en arrière-plan. Ce processus est gratuit.
Schémas et tables
Le comportement des mises à niveau automatiques dépend de la nouveauté ou de l'existence d'un schéma au moment de la publication de la fonctionnalité. Lorsque vous créez une nouvelle table, elle hérite de fonctionnalités à partir des propriétés default de son schéma. Le tableau suivant décrit chaque cas :
Schéma | Table | Comportement |
|---|---|---|
Nouveau | Nouveau | Les mises à niveau automatiques définissent les default au niveau du schéma au moment de la création afin que les tables héritent immédiatement de toutes les fonctionnalités prises en charge. |
Existant | Nouveau | Les mises à niveau automatiques activent une fonctionnalité uniquement si toutes les tables de son schéma ont été accédées par des charges de travail vérifiées durant la fenêtre d'observation précédente. Sinon, si une seule charge de travail non vérifiée a accédé à une table du schéma, les mises à niveau automatiques ignorent la nouvelle table. Voir les charges de travail vérifiées. |
Existant | Existant | Les mises à niveau automatiques activent une fonctionnalité lorsque toutes les conditions suivantes sont remplies :
|
Charges de travail vérifiées
Une charge de travail est considérée comme vérifiée pour une fonctionnalité spécifique si elle a accédé à la table à partir d'un cluster Databricks avec une version de Databricks Runtime égale ou supérieure à la version minimale requise par la fonctionnalité.
Les mises à niveau automatiques considèrent les charges de travail suivantes comme non vérifiées :
- Clients externes et services tiers tels que Flink ou Presto. Consultez les intégrations Unity Catalog.
- Services Databricks avec accès direct aux tables, tels que Zerobus, qui contournent les modèles d'accès standard de Databricks Runtime. Voir Vue d'ensemble du connecteur Zerobus Ingest.
Si une table d'un schéma a été consultée dans la fenêtre d'observation par une version de Databricks Runtime inférieure à la version minimale requise de la fonctionnalité ou par un client externe, les mises à niveau automatiques n'activent pas la fonctionnalité correspondante sur les tables de ce schéma.
Fonctionnalités prises en charge
Les mises à niveau automatiques s'appliquent à un sous-ensemble de fonctionnalités généralement disponibles, décrites dans les tableaux suivants. La disponibilité des fonctionnalités peut varier selon la région.
Le clustering liquide automatique ne s'applique qu'aux nouvelles tables. Contrairement aux autres fonctionnalités, elle est ajoutée par default lors de la création d'une table et ne s'applique jamais aux tables existantes.
Fonctionnalités avec des mises à niveau généralement disponibles
Les fonctionnalités suivantes sont généralement disponibles, et les mises à niveau automatiques les appliquent aux types de tables spécifiés. Le système de mise à niveau automatique est également généralement disponible.
Chaque fonctionnalité est déployée progressivement, à partir de sa date de sortie et atteignant tous les clients dans un délai d’environ six mois.
Fonctionnalité | Types de table | Version minimale compatible de Databricks Runtime | Ce que ça fait | Date de publication |
|---|---|---|---|---|
- Toutes les nouvelles tables | 15.4 LTS | Organise automatiquement les données de table en fonction des colonnes fréquemment query pour améliorer les performances des query sans partitionnement manuel. Les mises à niveau automatiques n'appliquent pas cette fonctionnalité aux tables existantes. | 22 mai 2026 | |
- Toutes les nouvelles tables - Tables existantes | 13.3 LTS | Prend en charge plus d'écrivains simultanés et réduit les conflits d'écriture sur les tables volumineuses ou fréquemment mises à jour. | 19 mai 2026 pour les nouvelles tables dans les nouveaux schémas 13 juillet 2026 pour toutes les tables dans les schémas existants | |
- Toutes les nouvelles tables - Tables existantes | 14,1 | Gère les ID de ligne masqués pour le traitement incrémentiel. Lorsque le suivi des lignes est activé, le flux de données de modification automatique est disponible sans configuration supplémentaire. Consultez les API AUTO CDC. | 25 juillet 2026 pour les nouvelles tables dans de nouveaux schémas. 13 juillet 2026 pour toutes les tables dans les schémas existants | |
- Nouvelles tables dans de nouveaux schémas | 16.4 LTS | Centralise les commits dans Unity Catalog pour permettre les transactions multi-tables, améliorer l'interopérabilité pour les écritures externes et permettre les politiques de gouvernance entre les moteurs. | 13 juillet 2026 | |
- Nouvelles tables dans de nouveaux schémas | 18.1 | Utilise des encodages Parquet avancés, des en-têtes de page de données et des Timestamp | 25 juin 2026 |
Fonctionnalités avec mises à niveau en préversion publique
Les fonctionnalités suivantes sont généralement disponibles, mais leurs mises à niveau automatiques sont en préversion publique et nécessitent une inscription.
Aperçu
Les mises à niveau automatiques pour les fonctionnalités suivantes sont en préversion publique. Pour vous inscrire, veuillez remplir ce formulaire avec votre ID de compte. Aucune modification de code ni configuration supplémentaire n'est requise après l'inscription.
Les mises à niveau automatiques s'appliquent à ces fonctionnalités uniquement si vous êtes inscrit à l'aperçu public, et elles prennent effet immédiatement après votre inscription :
Fonctionnalité | Types de table | Version minimale compatible de Databricks Runtime | Ce que ça fait |
|---|---|---|---|
- Toutes les tables dans les schémas existants | 16.4 LTS | Centralise les commits dans Unity Catalog pour permettre les transactions multi-tables, améliorer l'interopérabilité pour les écritures externes et permettre les politiques de gouvernance entre les moteurs. | |
- Toutes les tables | 15.4 LTS | Vous permet de renommer et de supprimer des colonnes sans réécrire les données. | |
- Toutes les tables dans les schémas existants | 18.1 | Utilise des encodages Parquet avancés, des en-têtes de page de données et des Timestamp |
Exigences
- Le compute Serverless doit être disponible dans votre région.
- Les tables doivent être des tables gérées par Unity Catalog aux formats Delta Lake ou Apache Iceberg.
Observer les fonctionnalités activées
Pour vérifier si les mises à niveau automatiques ont activé une fonctionnalité sur une table, recherchez une SET TBLPROPERTIES opération dans le **tab** Historique dans Catalog Explorer, ou DESCRIBE HISTORY <table_name> utilisez. Si les mises à niveau automatiques ont effectué l'opération, le champ du nom d'utilisateur affiche une valeur de hachage au lieu d'un nom d'utilisateur, telle que 4d137f29-62. Voir Qu'est-ce que l'Explorateur de catalogue ? et afficher l'historique de la table.
Après que les mises à niveau automatiques activent des fonctionnalités sur les tables d'un nouveau schéma, consultez les default du schéma dans le Properties tab de l'Explorateur de catalogues. Par exemple, un schéma avec le suivi des lignes activé affiche une propriété telle que catalog.schema.enableRowTracking: "true". Les schémas existants ne disposent pas de propriétés d'observabilité des mises à niveau automatiques.
Pour une visibilité à l'échelle du compte, interrogez la table système des mises à niveau automatiques. Cette table enregistre chaque fonctionnalité que les mises à niveau automatiques ajoutent à une table, quand elle a été ajoutée et quelle table a été affectée, afin que vous puissiez auditer l'activité de mise à niveau dans tous vos Workspace. Voir la référence de la table système des mises à niveau automatiques.
Gérer les fonctionnalités recommandées
Les administrateurs peuvent annuler les modifications d'une mise à niveau ou désactiver des fonctionnalités sur des tables individuelles.
Annuler les modifications
Utilisez RESTORE pour restaurer les données et les métadonnées d'une table à une version antérieure à l'activation de la fonctionnalité :
RESTORE TABLE <table_name> TO VERSION AS OF <version>;
RESTORE TABLE <table_name> TO TIMESTAMP AS OF <timestamp>;
Consultez Restaurer une table à un état antérieur pour plus d’informations sur l’historique des tables et la restauration.
Désactivez les fonctionnalités pour les tables.
Pour désactiver une fonctionnalité sur une table individuelle :
ALTER TABLE <table_name> DROP FEATURE <feature_name>
Les mises à niveau automatiques ne réactivent pas une fonctionnalité après que vous l’avez désactivée manuellement.
Limitations
- Les tables partagées par Delta Lake Sharing, à la fois Databricks-to-Open et Databricks-to-Databricks, sont exclues des mises à niveau automatiques. Consultez Qu'est-ce qu'OpenSharing ?.
- Les mises à niveau automatiques n'ont pas de mécanisme de restauration par batch pour désactiver une fonctionnalité sur toutes les tables d'un compte. Consultez Gérer les fonctionnalités recommandées de mises à niveau automatiques.
- Les vues matérialisées et les tables de streaming ne sont pas prises en charge.
- Les charges de travail qui contournent Unity Catalog et accèdent directement aux tables par chemin ne sont pas suivies par les mises à niveau automatiques. Si vos workloads utilisent l'accès basé sur le chemin, contactez votre équipe de compte pour discuter de la compatibilité.
- Les tables externes sont exclues des mises à niveau automatiques. Les tables externes sont généralement accédées par chemin de fichier, en contournant Unity Catalog, et Unity Catalog ne peut pas suivre de manière fiable ces modèles d'accès. Consultez Utiliser des tables externes.
Questions fréquemment posées
Ce qui suit répond aux questions courantes concernant les mises à niveau automatiques.
Que sont les mises à niveau automatiques pour les tables gérées par Unity Catalog ?
Consultez l'introduction en haut de cette page.
Comment les mises à niveau automatiques vérifient-elles la compatibilité ?
Voir Charges de travail vérifiées.
Les mises à niveau automatiques modifient-elles automatiquement mes tables ?
Oui. Une fois qu'une fonctionnalité est vérifiée comme sûre pour une table, Databricks l'applique par le biais d'un Job d'arrière-plan léger. Vous pouvez toujours désactiver les fonctionnalités sur des tables individuelles.
Si je désactive une fonctionnalité sur une table, les mises à niveau automatiques peuvent-elles la réactiver ultérieurement ?
N°. Une fois que vous avez désactivé une fonctionnalité ajoutée par les mises à niveau automatiques, les mises à niveau automatiques ne réactiveront pas cette fonctionnalité pour cette table.
Les mises à niveau automatiques modifient-elles mes tables existantes ?
Oui, mais seulement après que la fenêtre d'observation confirme que chaque client ayant accédé à la table prend en charge la fonctionnalité. Le clustering liquide automatique fait exception : il ne s'applique qu'aux tables nouvellement créées, jamais aux existantes, car cela modifierait leur existante data Layout.
En quoi les mises à niveau automatiques diffèrent-elles de l'optimisation prédictive ?
L’optimisation prédictive maintient la Layout de vos données grâce à des Opérations telles que le compactage et le vacuum, avec la possibilité d’utiliser le clustering liquide automatique. Les mises à niveau automatiques activent de nouvelles fonctionnalités de table, telles que le suivi des lignes ou Checkpoint V2. Les deux sont complémentaires : l’un maintient les tables bien entretenues, et l’autre les maintient à jour. Le clustering liquide automatique est appliqué aux nouvelles tables par le biais de mises à niveau automatiques. Consultez Optimisation prédictive pour les tables gérées par Unity Catalog.
Comment les mises à niveau automatiques vérifient-elles qu'une table peut être mise à niveau en toute sécurité ?
Les mises à niveau automatiques activent uniquement les fonctionnalités généralement disponibles qui ne réduisent pas matériellement les performances ou n'augmentent pas les coûts. Les mises à niveau automatiques attendent la fin de la fenêtre d'observation, exigent que chaque client accédant soit compatible, ignorent les tables qu'elles ne peuvent pas vérifier entièrement, et vous permettent de désactiver n'importe quelle fonctionnalité sur une table à tout moment.
Si ma table a changé, comment puis-je savoir s'il s'agissait de mises à niveau automatiques ?
Chaque modification apportée par les mises à niveau automatiques apparaît dans la sortie DESCRIBE HISTORY de la table et dans la History tab de l'Explorateur de catalogues, marquée distinctement de vos propres modifications. Pour une visibilité à l'échelle du compte, interrogez system.storage.table_auto_upgrade_operations_history pour voir quand une fonctionnalité a été ajoutée à une table. Consultez Afficher l'historique de la table.
Les mises à niveau automatiques casseront-elles une table lue par mes outils externes ou open source ?
Non. Les tables accédées par des clients externes ou open source sont hors de portée. Les mises à niveau automatiques n'agissent que lorsqu'elles peuvent vérifier que chaque client accédant à une table prend en charge la fonctionnalité.
Quelles tables sont admissibles aux mises à niveau automatiques ?
Consultez les exigences et les limitations.
Dans combien de temps mes tables seront-elles mises à jour ? Quand verrez-vous les changements ?
Les mises à niveau automatiques utilisent la fenêtre d’observation pour capturer les charges de travail peu fréquentes, telles que les jobs batch mensuels, les rapports trimestriels et l’analyse ad hoc, avant d’agir. Une fois qu’une table est vérifiée comme compatible, la fonctionnalité est appliquée peu après par le biais d’un job en arrière-plan. Lors du premier déploiement d’une fonctionnalité, celui-ci est progressif pour les clients et les tables. Il peut donc falloir environ six mois pour qu’elle atteigne vos tables avec des charges de travail compatibles.
Que dois-je faire pour activer automatiquement les fonctionnalités des tables dans Databricks ?
Aucune action n'est requise. Les mises à niveau automatiques évaluent et mettent à niveau les tables éligibles sans configuration.
Puis-je désactiver les mises à niveau automatiques pour l'ensemble de mon compte, ou pour un schéma, un catalogue ou un Workspace ?
Les mises à niveau automatiques ne peuvent pas être entièrement désactivées, mais vous pouvez désactiver toute fonctionnalité individuelle sur une table à tout moment. Une fois que vous l'avez fait, les mises à niveau automatiques n'activent plus cette fonctionnalité pour cette table.
Les mises à niveau automatiques coûtent-elles quelque chose ?
Le processus de mise à niveau automatique (les Opérations en arrière-plan ALTER TABLE) est gratuit.
Les fonctionnalités appliquées via des mises à niveau automatiques me coûtent-elles quelque chose ?
En général, les fonctionnalités qui augmentent considérablement les coûts sont exclues des mises à niveau automatiques. Plusieurs fonctionnalités appliquées, telles que les vecteurs de suppression et Parquet v2, réduisent les coûts de stockage et de compute. Le suivi des lignes entraîne un léger coût initial ponctuel sur les très grandes tables, car il attribue un identifiant unique à chaque ligne, mais il vous aide aussi à réduire les coûts des vues matérialisées en permettant une refresh incrémentielle au lieu d'un recalcul complet.
Comment puis-je suivre les fonctionnalités qui seront déployées via des mises à niveau automatiques à l'avenir ?
Consultez les fonctionnalités prises en charge pour savoir quelles fonctionnalités sont en aperçu public et lesquelles seront bientôt déployées pour tous les clients. Pour être informé de la livraison de nouvelles fonctionnalités, configurez un flux RSS sur la page des notes de version de Databricks. Vous pouvez également consulter Prochainement ?.