Limitations du compute Serverless
Avant de déplacer des notebooks ou des jobs vers le compute serverless, vérifiez les langages et APIs pris en charge, les exigences d’accès aux données, les limites des fonctions définies par l’utilisateur, les règles de mise en réseau et les exigences de mise en cache.
Prise en charge des langues et des API
- R n'est pas pris en charge.
- Seules les APIs Spark Connect sont prises en charge. Les APIs Spark RDD ne sont pas prises en charge.
- Spark Connect, utilisé par le compute serverless, reporte l’analyse et la résolution de noms au moment de l’exécution, ce qui peut modifier le comportement de votre code. Voir Comparaison de Spark Connect à Spark Classic.
- Le mode ANSI est activé par default. Les conversions non valides, les dépassements arithmétiques et les entrées mal formées déclenchent des erreurs d’exécution au lieu de renvoyer silencieusement
NULLou un résultat incorrect. Pour plus d’informations sur la gestion des opérations modifiant le comportement et sur les limites de désactivation, consultez la section SQL behavior differences section du guide de migration. - Le fuseau horaire de session par default est
Etc/UTC(temps universel coordonné). Pour utiliser un autre fuseau horaire, définissezspark.sql.session.timeZone. Consultez la section Configurer les propriétés Spark pour les notebooks et les jobs serverless. - Lors de la création d'un DataFrame à partir de données locales à l'aide de
spark.createDataFrame, la taille des lignes ne peut pas dépasser 128 Mo.
Accès et stockage des données
-
Vous devez utiliser Unity Catalog pour vous connecter à des sources de données externes. Utilisez des emplacements externes pour accéder au stockage cloud.
-
L'accès à DBFS est limité. Utilisez les volumes Unity Catalog ou les fichiers de workspace à la place.
-
Le répertoire de travail pour les notebooks et les tâches de job n’étant pas garanti, les chemins de fichier relatifs et les importations Python relatives peuvent échouer. Utilisez des chemins absolus pour référencer les fichiers, et importez du code Python partagé en tant que fichiers de workspace au lieu de modules relatifs. Consultez la section Travailler avec des modules Python et R.
-
Les coordonnées Maven ne sont pas prises en charge.
-
Les vues temporaires globales ne sont pas prises en charge. Utilisez des vues temporaires de session pour les résultats utilisés lors d’une session. Pour partager des résultats calculés entre les sessions, écrivez-les dans une table Unity Catalog.
-
Le compute serverless ne prend pas en charge la connectivité Private Service Connect aux services gérés par Google. Utiliser le compute classique pour accéder à Google Cloud Storage et BigQuery avec Private Service Connect.
Fonctions définies par l'utilisateur (UDF)
- Les UDF Python Unity Catalog sur des notebooks et des jobs serverless prennent en charge l’accès réseau sortant, sous réserve des politiques réseau du workspace et des restrictions réseau UDF. La commande CREATE FUNCTION (externe) n’est pas prise en charge. Databricks recommande d’utiliser CREATE FUNCTION (SQL et Python) pour créer les UDF prises en charge.
- Les UDF PySpark sur le compute Serverless s’exécutent dans des sandboxes isolées avec une limite de mémoire par default de 1 Gio (1024 Mio) par sandbox. Databricks gère cette limite. Les utilisateurs ne peuvent pas le configurer.
- Les UDF Scala ne peuvent pas être utilisées dans les fonctions d'ordre supérieur.
Interface utilisateur et logging
- La Spark UI n'est pas disponible. Utilisez plutôt le profil de requête pour afficher des informations sur vos requêtes Spark. Consultez le profil de requête.
- Les logs Spark ne sont pas disponibles. Seuls les utilisateurs ont accès aux logs d'application côté client.
Accès réseau et au workspace
- L’accès inter-workspace dépend des règles de sortie du workspace source et des règles d’entrée du workspace de destination. La version bêta de l’accès inter-Workspace prend en charge la configuration des paires de Workspace autorisées. Les Workspace utilisant le mode de compatibilité conservent leurs restrictions réseau préexistantes. Voir Accès inter-workspace pour connaître les exigences et les limitations spécifiques au service.
- Databricks Container Services n'est pas pris en charge.
- Le compute serverless ne peut pas se connecter aux ressources qui ne sont joignables que via IPv6. Les ressources doivent être joignables via IPv4.
Limitations du streaming
Le compute Serverless pour les Notebooks et les Jobs prend en charge les Triggers Structured Streaming suivants :
Trigger.AvailableNow()Databricks recommande ce mode de trigger pour le compute serverless.Trigger.Once(). Ce mode obsolète est pris en charge mais non recommandé.
Les Trigger suivants ne sont pas pris en charge dans les Notebook ou Job Serverless :
Trigger.Continuous(interval).Trigger.ProcessingTime(interval).- Par default, si vous ne spécifiez pas de mode de trigger, Apache Spark définit le trigger sur
Trigger.ProcessingTime("0 seconds"). Vous devez définir un Trigger pris en charge sur le compute Serverless.
- Par default, si vous ne spécifiez pas de mode de trigger, Apache Spark définit le trigger sur
Si vous tentez d'utiliser un Trigger non pris en charge, la query déclenche une erreur INFINITE_STREAMING_TRIGGER_NOT_SUPPORTED.
Ces restrictions de Trigger ne s'appliquent pas aux modes de traitement des LakeFlow Pipelines. Pour les charges de travail en streaming continu, utilisez un pipeline serverless en mode continu ou utilisez Trigger.AvailableNow() dans un job continu. Le mode temps réel de LakeFlow Pipelines prend en charge des charges de travail opérationnelles inférieures à la seconde, avec des exigences spécifiques en matière d'exécution, de source, de puits et d'opérateur.
Pour un guide de décision qui met en correspondance les cas d'utilisation du streaming avec le bon produit serverless, voir Streaming sur compute serverless.
Toutes les limitations pour le streaming en mode d’accès standard s’appliquent également. Consultez les limitations de streaming.
Limitations des Notebooks
- Scala et R ne sont pas pris en charge dans les Notebooks.
- Les bibliothèques JAR ne sont pas prises en charge dans les Notebooks. Pour les solutions de contournement, consultez les Bonnes pratiques pour le compute serverless. Les tâches JAR dans les Jobs sont prises en charge. Consultez Tâche JAR pour les jobs.
- Les bibliothèques installées avec
%pipdans une session de notebook doivent être réinstallées lors d’une nouvelle session. Les dépendances configurées dans le volet Environnement utilisent le cache de l’environnement serverless. Voir Ajouter des dépendances au notebook. - Le partage de tables et de vues TEMP lors du partage d'un notebook entre utilisateurs n'est pas pris en charge.
- La saisie semi-automatique et l'explorateur de variables pour les DataFrames dans les Notebooks ne sont pas pris en charge.
- By default, les nouveaux Notebooks sont enregistrés au format
.ipynb. Si votre Notebook est enregistré au format source, les métadonnées Serverless risquent de ne pas être capturées correctement et certaines fonctionnalités risquent de ne pas fonctionner comme prévu. - Les tags de Notebook ne sont pas pris en charge. Utilisez les politiques d'utilisation serverless pour taguer l'utilisation serverless.
Limitations de Job
- Les logs de tâches affichés sur la page d’exécution du job ne sont pas isolés par exécution de tâche et contiennent des sorties de plusieurs tâches. Pour envoyer des logs d’application vers un volume dans des répertoires organisés par exécution de tâche, consultez Envoyer des logs serverless vers des volumes Unity Catalog.
- Les bibliothèques de tâches ne sont pas prises en charge pour les tâches de Notebook. Utilisez plutôt des bibliothèques à l'échelle du Notebook. Consultez les bibliothèques Python à l'échelle du Notebook.
- Par default, les Job Serverless n'ont pas de délai d'exécution de query. Vous pouvez définir un délai d'expiration d'exécution pour les requêtes de job en utilisant la propriété
spark.databricks.execution.timeout. Pour plus de détails, consultez Configurer les propriétés Spark pour les notebooks et les jobs serverless. - Le compute Serverless a une durée d'exécution maximale de 7 jours. Les exécutions qui dépassent 7 jours sont terminées par la plateforme et ne sont pas relancées. Pour exécuter des charges de travail de plus de 7 jours, divisez-les en exécutions plus petites ou utilisez le compute classique.
Limitations spécifiques au compute
Les fonctionnalités spécifiques au compute suivantes ne sont pas prises en charge :
- Politiques de compute
- Scripts d’initialisation limités au compute. Pour installer des packages ou configurer l’environnement Python, utilisez plutôt un environnement de base ou des dépendances de notebook. Consultez Configurer l’environnement serverless.
- Bibliothèques de portée compute, y compris les sources de données personnalisées et les extensions Spark. Utilisez plutôt les bibliothèques limitées au notebook.
- Pools d'instances
- Logs d'événements du compute
- La plupart des configurations de compute Apache Spark. Pour une liste des configurations prises en charge, consultez Configurer les propriétés Spark pour les notebooks et jobs serverless.
- Variables d’environnement à portée de compute. Pour transmettre des variables d'environnement au code de l'application dans les tâches Serverless Lakeflow Jobs, utilisez la fonctionnalité de variables d'environnement au niveau du Job (Bêta). Voir Configurer les variables d’environnement pour les Job Serverless. Vous pouvez aussi utiliser des widgets pour créer des paramètres de Job et de tâche.
Limitations de la mise en cache
-
Les métadonnées sont mises en cache dans les sessions de compute Serverless. De ce fait, le contexte de session pourrait ne pas se Reset complètement lors du changement de catalogues. Pour effacer le contexte de la session, Reset la ressource de compute Serverless ou start une nouvelle session.
-
df.cache(),df.persist()etdf.unpersist()sont pris en charge sur la version 5 et supérieures de l’environnement serverless lorsque la préversion publique Mise en cache des DataFrame sur le compute serverless est activée. L'aperçu n'est pas disponible dans les Workspace pour lesquels le profil de sécurité de la conformité est activé. Voir les exigences pour l'activation et les exigences relatives au client. -
Les APIs de cache et les commandes SQL suivantes ne sont pas prises en charge sur le Serverless compute. L'utilisation de l'une de ces APIs ou commandes SQL entraîne une exception.
-
Le cache du modèle Spark ML est limité à 1 Go (1 073 741 824 octets) par session, et un seul modèle est limité à 100 Mo. Les deux limites sont inférieures sur le serverless compute par rapport au classic compute, et aucune des deux ne peut être modifiée. Le dépassement de la limite de session génère l'exception ML_CACHE_SIZE_OVERFLOW_EXCEPTION. Le dépassement de la limite par modèle génère l'exception MODEL_SIZE_OVERFLOW_EXCEPTION. Pour libérer de l'espace dans le cache, supprimez les références Python aux modèles que vous n'utilisez plus. Les modèles laissés inutilisés pendant 15 minutes sont déplacés vers le disque local et sont toujours comptabilisés dans la limite de session.
Limitations de Hive
-
Les tables Hive SerDe ne sont pas prises en charge. De plus, la commande LOAD DATA correspondante qui charge les données dans une table Hive SerDe n'est pas prise en charge. L'utilisation de la commande entraînera une exception.
-
Les variables Hive (par exemple
${env:var},${configName},${system:var}etspark.sql.variable) ou les références de variables de configuration utilisant la syntaxe${var}ne sont pas prises en charge. L'utilisation de variables Hive entraînera une exception.Utilisez plutôt DECLARE VARIABLE, SET VARIABLE, ainsi que les références de variables de session SQL et les marqueurs de paramètres ('?', ou '').') pour déclarer, modifier et référencer l'état de la session. Vous pouvez également utiliser la clause IDENTIFIER pour paramétrer les noms d'objet dans de nombreux cas.
Sources de données prises en charge
Pour les opérations DML (Data Manipulation Language), le compute serverless autorise les fournisseurs de sources de données suivants. Chaque fournisseur doit également prendre en charge l’opération demandée. L’inclusion dans cette liste n’implique pas la prise en charge de chaque opération d’écriture, de mise à jour ou de suppression. Par exemple, la source de fichier binaire est en lecture seule.
CSVJSONAVRODELTAKAFKAPARQUETORCTEXTUNITY_CATALOGBINARYFILEXMLSIMPLESCANICEBERG
Le compute Serverless prend en charge les sources de données suivantes pour les opérations de lecture :
CSVJSONAVRODELTAKAFKAPARQUETORCTEXTUNITY_CATALOGBINARYFILEXMLSIMPLESCANICEBERGMYSQLPOSTGRESQLSQLSERVERREDSHIFTSNOWFLAKESQLDW(Azure Synapse)DATABRICKSBIGQUERYORACLESALESFORCESALESFORCE_DATA_CLOUDTERADATAWORKDAY_RAASMONGODB