Aller au contenu principal

Conditions requises pour les pipelines autonomes

La création et l’actualisation de vues matérialisées et de tables de streaming autonomes nécessitent un Workspace compatible avec Unity Catalog et serverless, ainsi qu’un SQL Warehouse ou un Notebook sur un compute général serverless.

Vous pouvez créer et refresh des vues matérialisées et des tables de streaming autonomes en utilisant un SQL Warehouse. Pour soumettre des instructions CREATE et REFRESH, utilisez l’éditeur SQL dans l’interface utilisateur de Databricks, l’ CLI Databricks SQL ou l’ API Databricks SQL.

Conditions requises​

Les exigences suivantes s'appliquent à tous les pipelines autonomes.

Vous devez disposer de :

Autorisations pour créer ou refresh​

Le propriétaire (l'utilisateur qui crée la table) doit disposer des autorisations suivantes :

  • SELECT privilège sur les tables de base.
  • USE CATALOG et les privilèges USE SCHEMA sur le catalogue et le schéma contenant les tables sources.
  • USE CATALOG et USE SCHEMA privilèges sur le catalogue et le schéma cibles.
  • CREATE MATERIALIZED VIEW privilège sur le schéma contenant la vue matérialisée.
  • CREATE TABLE privilège sur le schéma contenant la table de streaming. Les pipelines utilisant le mode de publication hérité nécessitent également le privilège CREATE TABLE pour les vues matérialisées.

Pour refresh une vue matérialisée autonome ou une table de streaming :

  • Vous devez être dans le workspace qui l'a créé.
  • Vous devez disposer du privilège REFRESH sur la table. Les propriétaires ont implicitement ce privilège.

Configuration requise pour les tables sources​

Pour une refresh incrémentielle des vues matérialisées à partir de tables Delta, les tables sources doivent avoir le suivi des lignes activé.

SQL Warehouse​

Pour créer ou refresh des vues matérialisées autonomes et des tables de streaming à l'aide d'un SQL Warehouse, vous devez disposer d'un SQL Warehouse pro ou Serverless compatible avec Unity Catalog.

Exigences de la query​

Pour query une vue matérialisée autonome ou une table de streaming, vous devez en être le propriétaire, ou vous devez avoir SELECT sur la table ainsi que USE CATALOG et USE SCHEMA sur ses parents.

Vous devez utiliser l'une des ressources de compute suivantes :

  • SQL warehouse
  • Interfaces LakeFlow Pipelines
  • Compute en mode d’accès standard (anciennement mode d’accès partagé)
  • Compute en mode d’accès dédié (anciennement mode d’accès mono-utilisateur) sur Databricks Runtime 15.4 ou version ultérieure, si le workspace est activé pour le compute serverless. Voir Contrôle d’accès détaillé sur le compute dédié. Si vous êtes le propriétaire, vous pouvez utiliser un compute en mode d’accès dédié exécutant Databricks Runtime 14.3 ou version ultérieure.

Disponibilité régionale​

Les tables créées et actualisées à l'aide d'un Databricks SQL warehouse sont disponibles dans toutes les régions qui prennent en charge les Databricks SQL warehouse Serverless.

Pour obtenir la liste des régions prises en charge pour les Databricks SQL warehouse, consultez Disponibilité Serverless.