Connecteur d’ingestion MySQL
Le connecteur MySQL dans Lakeflow Connect ingère les données des bases de données MySQL dans Databricks en utilisant la capture de données modifiées (CDC). Votre configuration dépend de votre environnement de déploiement, de votre méthode d’authentification et de votre rôle d’utilisateur Databricks.
Pour ingérer à partir de MySQL, créez un pipeline CDC intégré, qui extrait et applique les modifications dans un seul pipeline. Voir Créer un pipeline CDC intégré pour MySQL. L'architecture basée sur la passerelle, qui utilise une passerelle d'ingestion et un pipeline d'ingestion distincts, est en préversion publique et n'est pas disponible pour les nouveaux clients.
Disponibilité des fonctionnalités
Fonctionnalité | Disponibilité |
|---|---|
Conception de pipelines via l'interface utilisateur |
|
Création de pipeline par API |
|
Declarative Automation Bundles |
|
Ingestion incrémentielle |
|
Gouvernance Unity Catalog |
|
Orchestration avec Lakeflow Jobs |
|
SCD de type 2 |
|
Sélection et désélection de colonnes via API |
|
Filtrage des lignes basé sur l'API |
|
Évolution automatique des schémas : Nouvelles colonnes et colonnes supprimées |
|
Évolution automatisée des schémas : changements de type de données |
|
évolution des schémas automatisée : Renommage de colonnes |
Considéré comme une nouvelle colonne (nouveau nom) et une colonne supprimée (ancien nom). |
Évolution des schémas automatisée : nouvelles tables |
Si vous ingérez l’intégralité du schéma. Consulter les limites sur le nombre de tables par pipeline. |
Nombre maximal de tables par pipeline | 250 |
Méthodes d'authentification
Méthode d'authentification | Disponibilité |
|---|---|
OAuth U2M |
|
OAuth M2M |
|
OAuth (jeton de refresh manuel) |
|
Authentification de base (nom d’utilisateur/mot de passe) |
|
Authentification de base (clé API) |
|
Authentification de base (clé JSON du compte de service) |
|
Ce qu'il faut savoir avant de start
Sujet | Pourquoi c'est important |
|---|---|
Le workflow dépend de votre persona utilisateur Databricks :
| |
La configuration de la base de données source dépend de l'environnement de déploiement MySQL (Amazon RDS, Aurora MySQL, Azure Database for MySQL, Google Cloud SQL for MySQL ou MySQL sur EC2). | |
Les étapes de création d’une connexion dépendent de la méthode d’authentification que vous choisissez. | |
Les étapes de création d’une connexion et d’un pipeline dépendent de l’interface. | |
La planification du pipeline dépend de vos exigences en matière de latence et de coût. | |
Selon vos besoins d'ingestion, le pipeline peut utiliser des configurations comme le suivi de l'historique, la sélection de colonnes et le filtrage de lignes. Les configurations prises en charge varient selon le connecteur. Voir Disponibilité des fonctionnalités. |
start l'ingestion depuis MySQL
Le tableau suivant fournit un aperçu du flux de travail d'ingestion MySQL de bout en bout, selon le type d'utilisateur :
Utilisateur | Étapes |
|---|---|
Admin |
|
Non-administrateur | Utilisez n’importe quelle interface prise en charge pour créer un pipeline de CDC intégré. Voir Créer un pipeline de CDC intégré pour MySQL. |