Planification de la production Databricks
Cette section propose une approche structurée, phase par phase, pour la planification et la conception d'une plateforme Databricks d'entreprise prête pour la production. Il se concentre sur les décisions architecturales, les modèles de conception et les bonnes pratiques plutôt que sur des instructions de mise en œuvre étape par étape.
Présentation
Cette section aide les administrateurs à comprendre les principes fondamentaux et les modèles de conception pour la planification des déploiements de comptes Databricks et d'espaces de travail de production.
À qui cela s'adresse-t-il
Cette section est conçue pour les déploiements de production d'entreprise avec des exigences complexes en matière de gouvernance, de sécurité et de multi-workspace :
- Architectes cloud concevant des déploiements Databricks d'entreprise.
- Ingénieurs de plateforme planifiant l'infrastructure de production Databricks.
- Architectes de données concevant des stratégies de gouvernance et de stockage pour plusieurs équipes.
- Équipes de sécurité évaluant les modèles de sécurité de Databricks pour les environnements réglementés.
- Administrateurs de compte déployant des flottes de Workspace de production.
start plutôt ? Si vous êtes nouveau sur Databricks ou si vous explorez la plateforme, start par créer un Workspace Serverless. Consultez Créer un workspace serverless. Vous pouvez revenir à cette section lorsque vous êtes prêt à concevoir votre architecture de production.
Ce qui est couvert
Cette section se concentre sur les décisions de conception et d'architecture . Chaque phase présente des modèles de conception, des bonnes pratiques et des considérations stratégiques. Pour les instructions d'implémentation étape par étape, reportez-vous à la documentation liée à la fin de chaque phase.
Cadre Well-Architected de Databricks.
Chaque phase comprend des bonnes pratiques alignées sur le Databricks Well-Architected Framework. Pour des principes architecturaux exhaustifs, consultez le Databricks Well-Architected Framework.
Prérequis
Avant de commencer la planification de la production, assurez-vous d'avoir :
- Compte cloud : Compte cloud actif avec les autorisations d'administrateur appropriées.
- Compte Databricks : Accès administrateur de compte à la console de compte Databricks.
- Collecte des exigences : compréhension des exigences de sécurité, de conformité et de gouvernance de votre organisation.
- Planification du réseau : plan d'architecture réseau comprenant les plages CIDR et les exigences de connectivité.
- Fournisseur d'identité : détails du fournisseur d'identité pour l'intégration SSO (recommandé pour la production).
Phases de planification
Cette section se compose de 10 phases. Les phases peuvent se chevaucher ou être exécutées en parallèle, en fonction des besoins et de l'infrastructure existante de votre organisation.
Stratégies d'exécution de phase
- Séquentiel : Phases complètes dans l'ordre pour les déploiements greenfield.
- Parallèle : Exécutez des phases indépendantes simultanément (par exemple, la configuration du réseau et de l’identité).
- **Itératif** : Revoir les phases à mesure que les exigences évoluent (par exemple, ajouter des workspaces, étendre à de nouvelles régions).
Phase | Description |
|---|---|
Configurez la stratégie fondamentale d'administration des comptes et de gestion des identités. | |
Planifiez l'architecture du Workspace en fonction de la structure organisationnelle, des exigences de sécurité et des besoins opérationnels. | |
Concevoir l'architecture de gouvernance d'Unity Catalog, y compris les modèles de métastore, la structure du catalogue et les modèles de contrôle d'accès. | |
Concevez une infrastructure réseau cloud pour prendre en charge le compute Databricks et la connectivité du plan de données. | |
Concevez une stratégie de stockage pour le stockage du workspace et le stockage des données dans différents clouds. | |
Concevoir l'architecture de stockage Delta Lake et les modèles d'organisation des données pour Databricks. | |
Concevez une stratégie IaC pour automatiser le déploiement et la gestion des ressources Databricks. | |
Concevez une stratégie de compute et des paramètres de Workspace pour optimiser les performances, les coûts et la sécurité. | |
Concevez des stratégies d'observabilité et de monitoring pour assurer l'excellence opérationnelle. | |
Concevez des stratégies HA et DR afin d'assurer la continuité des activités et la résilience. |
De la conception à l'implémentation
Après avoir terminé les phases de conception, implémentez votre architecture en utilisant :
Déploiement de l'infrastructure
- Utilisez Terraform pour déployer une infrastructure au niveau du compte (par exemple : Workspace, réseaux, metastores Unity Catalog).
- Utilisez les Declarative Automation Bundles pour déployer des charges de travail de données et d'IA (par exemple, des jobs, des pipelines, des notebooks, des modèles).
- Automatisez les déploiements via les pipelines CI/CD.
Validation et tests
- Tester la connectivité du workspace et le provisionnement du compute.
- Valider les autorisations Unity Catalog et les modèles d'accès aux données.
- Tester la connectivité réseau aux sources de données.
- Vérifiez les tableaux de bord et les alertes d'observabilité.
Ressources supplémentaires
Documentation
Étapes suivantes
Commencez votre planification de production avec Phase 1: Compte.