Compute serverless pour les Notebooks
Cet article explique comment utiliser le compute serverless pour les notebooks. Pour des information sur l'utilisation du compute Serverless pour les Jobs, voir Exécutez vos Lakeflow Jobs avec le compute Serverless pour les workflows.
Pour les informations sur les tarifs concernant l'utilisation du compute Serverless dans les notebooks, consultez les Tarifs Databricks.
Exigences
- Votre workspace doit être activé pour Unity Catalog.
Connecter un notebook à un compute serverless
Si votre workspace est activé pour le compute interactif Serverless, tous les utilisateurs du workspace ont accès au compute Serverless pour les notebooks. Aucune autorisation supplémentaire n'est requise.
Pour vous connecter au compute serverless, cliquez sur le menu déroulant du compute dans le Notebook et sélectionnez **Serverless**. Pour les nouveaux notebooks, le compute attaché devient automatiquement serverless default lors de l'exécution du code si aucune autre ressource n'a été sélectionnée.
Afficher les informations de query
Le compute Serverless pour les Notebooks et les Jobs utilise les insights de query pour évaluer les performances d'exécution de Spark. Après avoir exécuté une cellule dans un notebook, vous pouvez consulter les insights liés aux requêtes SQL et Python en cliquant sur le Link Afficher les performances.
Vous pouvez cliquer sur n'importe quelle instruction Spark pour consulter les métriques de query. À partir de là, vous pouvez cliquer sur Afficher le profil de la requête pour visualiser l'exécution de la requête. Pour plus d'informations sur les profils de requête, consultez Profil de requête.
Pour afficher les insights de performance de vos Job runs, consultez Afficher les query insights des Job runs.
Historique des query
Toutes les queries exécutées sur le compute serverless seront également enregistrées sur la page d'historique des queries de votre Workspace. Pour plus d'information sur l'historique des query, consultez l'historique des query.
Limitations d'insight de query
- Les métriques sont mises à jour en direct pendant l'exécution de la query, mais le profil de query complet n'est disponible qu'après la fin de la query.
- Seuls les états de query suivants sont couverts : RUNNING, CANCELED, FAILED, FINISHED.
- Les requêtes en cours d’exécution ne peuvent pas être annulées depuis la page de l’historique des requêtes. Ils peuvent être annulés dans les notebooks ou les jobs.
- Les métriques détaillées ne sont pas disponibles.
- Le profil Query download n'est pas disponible.
- L'accès à la Spark UI n'est pas disponible.
- Le texte de l'instruction ne contient que la dernière ligne qui a été exécutée. Cependant, il peut y avoir plusieurs lignes précédant cette ligne qui ont été exécutées dans le cadre de la même instruction.
Protection Serverless contre les surcoûts
Pour contrôler les queries de longue durée, les Notebooks Serverless ont un délai d'expiration d'exécution par default de 2,5 heures (9 000 secondes). Les queries qui dépassent le délai d'expiration sont annulées.
Configurez le délai d'expiration pour tous les notebooks dans le Workspace.
Les administrateurs de Workspace peuvent modifier le délai d'exécution default pour les Notebooks Serverless. Dans les paramètres d'administration du Workspace, accédez à **Paramètres** > **Compute** et, sous **Serverless interactive**, configurez le paramètre **Délai d'expiration de l'exécution interactive Serverless**. Les modifications prennent environ 5 minutes pour se propager.
Ignorer le délai d’expiration pour un seul notebook
Pour remplacer le Workspace default d'un Notebook individuel, définissez spark.databricks.execution.timeout dans le Notebook. La valeur par notebook prévaut sur le paramètre de workspace. Consultez Configurer les propriétés Spark pour les notebooks et les jobs Serverless.