Aller au contenu principal

Connecteur d’ingestion MySQL

Le connecteur MySQL dans Lakeflow Connect ingère les données des bases de données MySQL dans Databricks en utilisant la capture de données modifiées (CDC). Votre configuration dépend de votre environnement de déploiement, de votre méthode d’authentification et de votre rôle d’utilisateur Databricks.

Pour ingérer à partir de MySQL, créez un pipeline CDC intégré, qui extrait et applique les modifications dans un seul pipeline. Voir Créer un pipeline CDC intégré pour MySQL. L'architecture basée sur la passerelle, qui utilise une passerelle d'ingestion et un pipeline d'ingestion distincts, est en préversion publique et n'est pas disponible pour les nouveaux clients.

Disponibilité des fonctionnalités​

Fonctionnalité

Disponibilité

Conception de pipelines via l'interface utilisateur

Icône de coche verte Pris en charge

Création de pipeline par API

Icône de coche verte Pris en charge

Declarative Automation Bundles

Icône de coche verte Pris en charge

Ingestion incrémentielle

Icône de coche verte Pris en charge

Gouvernance Unity Catalog

Icône de coche verte Pris en charge

Orchestration avec Lakeflow Jobs

Icône de coche verte Pris en charge

SCD de type 2

Icône X rouge Non pris en charge

Sélection et désélection de colonnes via API

Icône de coche verte Pris en charge uniquement pour les pipelines CDC intégrés. Voir Sélection de colonnes pour MySQL.

Filtrage des lignes basé sur l'API

Icône X rouge Non pris en charge

Évolution automatique des schémas : Nouvelles colonnes et colonnes supprimées

Icône de coche verte Pris en charge

Évolution automatisée des schémas : changements de type de données

Icône X rouge Non pris en charge

évolution des schémas automatisée : Renommage de colonnes

Icône de coche verte Pris en charge

Considéré comme une nouvelle colonne (nouveau nom) et une colonne supprimée (ancien nom).

Évolution des schémas automatisée : nouvelles tables

Icône de coche verte Pris en charge

Si vous ingérez l’intégralité du schéma. Consulter les limites sur le nombre de tables par pipeline.

Nombre maximal de tables par pipeline

250

Fonctionnalité

Disponibilité

Conception de pipelines via l'interface utilisateur

Icône de coche verte Pris en charge

Création de pipeline par API

Icône de coche verte Pris en charge

Declarative Automation Bundles

Icône de coche verte Pris en charge

Ingestion incrémentielle

Icône de coche verte Pris en charge

Gouvernance Unity Catalog

Icône de coche verte Pris en charge

Orchestration avec Lakeflow Jobs

Icône de coche verte Pris en charge

SCD de type 2

Icône X rouge Non pris en charge

Sélection et désélection de colonnes via API

Icône de coche verte Pris en charge uniquement pour les pipelines CDC intégrés. Voir Sélection de colonnes pour MySQL.

Filtrage des lignes basé sur l'API

Icône X rouge Non pris en charge

Évolution automatique des schémas : Nouvelles colonnes et colonnes supprimées

Icône de coche verte Pris en charge

Évolution automatisée des schémas : changements de type de données

Icône X rouge Non pris en charge

évolution des schémas automatisée : Renommage de colonnes

Icône de coche verte Pris en charge

Considéré comme une nouvelle colonne (nouveau nom) et une colonne supprimée (ancien nom).

Évolution des schémas automatisée : nouvelles tables

Icône de coche verte Pris en charge

Si vous ingérez l’intégralité du schéma. Consulter les limites sur le nombre de tables par pipeline.

Nombre maximal de tables par pipeline

250

Méthodes d'authentification​

Méthode d'authentification

Disponibilité

OAuth U2M

Icône X rouge Non pris en charge

OAuth M2M

Icône X rouge Non pris en charge

OAuth (jeton de refresh manuel)

Icône X rouge Non pris en charge

Authentification de base (nom d’utilisateur/mot de passe)

Icône de coche verte Pris en charge

Authentification de base (clé API)

Icône X rouge Non pris en charge

Authentification de base (clé JSON du compte de service)

Icône X rouge Non pris en charge

Méthode d'authentification

Disponibilité

OAuth U2M

Icône X rouge Non pris en charge

OAuth M2M

Icône X rouge Non pris en charge

OAuth (jeton de refresh manuel)

Icône X rouge Non pris en charge

Authentification de base (nom d’utilisateur/mot de passe)

Icône de coche verte Pris en charge

Authentification de base (clé API)

Icône X rouge Non pris en charge

Authentification de base (clé JSON du compte de service)

Icône X rouge Non pris en charge

Ce qu'il faut savoir avant de start​

Sujet

Pourquoi c'est important

Profil d'utilisateur Databricks

Le workflow dépend de votre persona utilisateur Databricks :

  • Utilisateur unique : un utilisateur administrateur configure la base de données source et crée une connexion Unity Catalog et un pipeline CDC intégré.
  • Multi-utilisateur : un utilisateur administrateur configure la base de données source et crée une connexion que les utilisateurs non administrateurs peuvent utiliser pour créer des pipelines.

Environnement de déploiement

La configuration de la base de données source dépend de l'environnement de déploiement MySQL (Amazon RDS, Aurora MySQL, Azure Database for MySQL, Google Cloud SQL for MySQL ou MySQL sur EC2).

Méthode d'authentification

Les étapes de création d’une connexion dépendent de la méthode d’authentification que vous choisissez.

Interface

Les étapes de création d’une connexion et d’un pipeline dépendent de l’interface.

Fréquence d'ingestion

La planification du pipeline dépend de vos exigences en matière de latence et de coût.

Modèles courants

Selon vos besoins d'ingestion, le pipeline peut utiliser des configurations comme le suivi de l'historique, la sélection de colonnes et le filtrage de lignes. Les configurations prises en charge varient selon le connecteur. Voir Disponibilité des fonctionnalités.

Sujet

Pourquoi c'est important

Profil d'utilisateur Databricks

Le workflow dépend de votre persona utilisateur Databricks :

  • Utilisateur unique : un utilisateur administrateur configure la base de données source et crée une connexion Unity Catalog et un pipeline CDC intégré.
  • Multi-utilisateur : un utilisateur administrateur configure la base de données source et crée une connexion que les utilisateurs non administrateurs peuvent utiliser pour créer des pipelines.

Environnement de déploiement

La configuration de la base de données source dépend de l'environnement de déploiement MySQL (Amazon RDS, Aurora MySQL, Azure Database for MySQL, Google Cloud SQL for MySQL ou MySQL sur EC2).

Méthode d'authentification

Les étapes de création d’une connexion dépendent de la méthode d’authentification que vous choisissez.

Interface

Les étapes de création d’une connexion et d’un pipeline dépendent de l’interface.

Fréquence d'ingestion

La planification du pipeline dépend de vos exigences en matière de latence et de coût.

Modèles courants

Selon vos besoins d'ingestion, le pipeline peut utiliser des configurations comme le suivi de l'historique, la sélection de colonnes et le filtrage de lignes. Les configurations prises en charge varient selon le connecteur. Voir Disponibilité des fonctionnalités.

start l'ingestion depuis MySQL​

Le tableau suivant fournit un aperçu du flux de travail d'ingestion MySQL de bout en bout, selon le type d'utilisateur :

Utilisateur

Étapes

Admin

  1. Configurer MySQL pour l'ingestion dans Databricks.
  2. Utilisez l’Explorateur de catalogues pour créer une connexion. Consultez Créer une connexion MySQL.
  3. Créez un pipeline CDC intégré ou accordez aux utilisateurs non administrateurs l'accès à la connexion afin qu'ils puissent créer des pipelines. Voir Créer un pipeline CDC intégré pour MySQL.

Non-administrateur

Utilisez n’importe quelle interface prise en charge pour créer un pipeline de CDC intégré. Voir Créer un pipeline de CDC intégré pour MySQL.

Utilisateur

Étapes

Admin

  1. Configurer MySQL pour l'ingestion dans Databricks.
  2. Utilisez l’Explorateur de catalogues pour créer une connexion. Consultez Créer une connexion MySQL.
  3. Créez un pipeline CDC intégré ou accordez aux utilisateurs non administrateurs l'accès à la connexion afin qu'ils puissent créer des pipelines. Voir Créer un pipeline CDC intégré pour MySQL.

Non-administrateur

Utilisez n’importe quelle interface prise en charge pour créer un pipeline de CDC intégré. Voir Créer un pipeline de CDC intégré pour MySQL.