Aller au contenu principal

Configurez MySQL sur Amazon EC2 pour l'ingestion

Pour effectuer l’ingestion depuis MySQL s’exécutant sur Amazon EC2 avec Lakeflow Connect, configurez la journalisation binaire et la rétention des binlogs sur le serveur. Le connecteur lit le Logs binaire (binlog) pour capturer les modifications.

Exigences​

  • MySQL version 5,7.44 et ultérieure, ou 8,0 et ultérieure installée sur votre serveur.
  • Autorisation de modifier les fichiers de configuration MySQL et de redémarrer le service MySQL.

Modifier le fichier de configuration MySQL​

La journalisation binaire est configurée dans le fichier de configuration MySQL. L’emplacement de ce fichier varie selon le système d’exploitation :

  • Linux (la plupart des distributions) : /etc/my.cnf ou /etc/mysql/my.cnf
  • Linux (Debian/Ubuntu) : /etc/mysql/mysql.conf.d/mysqld.cnf

Paramètres de configuration requis​

Ajoutez ou modifiez les paramètres suivants dans la section [mysqld] de votre fichier de configuration MySQL :

ini
[mysqld]
# Enable binary logging
log-bin=mysql-bin

# Set a unique server ID (required for replication)
server-id=1

# Set binlog format to ROW for change data capture
binlog_format=ROW

# Log all columns, not just changed columns
binlog_row_image=FULL

# For MySQL 8.0 and later: Set minimum binlog retention to one day (86400 seconds). Recommended: seven days (604800 seconds)
binlog_expire_logs_seconds=604800

# For MySQL 5.7: Use expire_logs_days instead. Minimum: one day. Recommended: seven days.
# expire_logs_days=7

Considérations relatives à l'ID de serveur​

Le paramètre server-id doit être un entier unique compris entre 1 et 4294967295. Si vous disposez de plusieurs serveurs MySQL, chacun doit avoir un ID de serveur différent.

Pour un seul serveur, vous pouvez utiliser server-id=1. Pour plusieurs serveurs, vous pourriez utiliser une convention telle que :

  • Serveur principal : server-id=1
  • Réplique 1re : server-id=2
  • Réplique 2² : server-id=3

Redémarrer le service MySQL​

Après avoir modifié le fichier de configuration, redémarrez le service MySQL pour appliquer les modifications :

Bash
sudo systemctl restart mysql
# or
sudo systemctl restart mysqld

Vérifier la configuration du binlog​

Après le redémarrage de MySQL, vérifiez que la journalisation binaire est correctement configurée. Connectez-vous à MySQL et exécutez :

SQL
-- Check if binary logging is enabled
SHOW VARIABLES LIKE 'log_bin';

-- Should return:
-- +---------------+-------+
-- | Variable_name | Value |
-- +---------------+-------+
-- | log_bin | ON |
-- +---------------+-------+

-- Check server ID
SHOW VARIABLES LIKE 'server_id';

-- Should return a non-zero value:
-- +---------------+-------+
-- | Variable_name | Value |
-- +---------------+-------+
-- | server_id | 1 |
-- +---------------+-------+

-- Check binlog format
SHOW VARIABLES LIKE 'binlog_format';

-- Should return:
-- +---------------+-------+
-- | Variable_name | Value |
-- +---------------+-------+
-- | binlog_format | ROW |
-- +---------------+-------+

-- Check binlog row image
SHOW VARIABLES LIKE 'binlog_row_image';

-- Should return:
-- +------------------+-------+
-- | Variable_name | Value |
-- +------------------+-------+
-- | binlog_row_image | FULL |
-- +------------------+-------+

-- Check binlog row value options (must be empty; MySQL 5.7 returns no rows)
SHOW VARIABLES LIKE 'binlog_row_value_options';

-- Should return:
-- +--------------------------+-------+
-- | Variable_name | Value |
-- +--------------------------+-------+
-- | binlog_row_value_options | |
-- +--------------------------+-------+

-- For MySQL 8.0: Check retention in seconds
SHOW VARIABLES LIKE 'binlog_expire_logs_seconds';

-- For MySQL 5.7: Check retention in days
SHOW VARIABLES LIKE 'expire_logs_days';

Considérations relatives à la rétention des journaux binaires​

La période minimale de rétention des binlogs est d’un jour (24 heures ou 86 400 secondes). Databricks recommande une période de rétention des binlogs de sept jours (168 heures ou 604 800 secondes). Si vous définissez une valeur inférieure, les binlogs risquent d’être supprimés avant que le connecteur ne les traite, ce qui nécessite un refresh complet de toutes les tables.

Si l’ingestion s’arrête pendant plus de binlog_expire_logs_seconds, les binlogs risquent d’être supprimés avant la reprise de l’ingestion, ce qui nécessite également un refresh complet.

Surveillez l'utilisation de l'espace disque de votre serveur. Les périodes de rétention plus longues nécessitent plus de stockage pour les Logs binaires.

Prise en charge des réplicas en lecture​

Le connecteur MySQL prend en charge l’ingestion à partir de réplicas en lecture sur EC2. Pour configurer un réplica en lecture :

  1. Configurez la journalisation binaire sur le serveur principal.
  2. Configurez la réplication MySQL pour créer un réplica en lecture.
  3. Vérifiez que le réplica en lecture a la journalisation binaire activée.
  4. Utilisez la chaîne de connexion du réplica en lecture lors de la création de la connexion Databricks.
remarque

Il peut y avoir un décalage de réplication entre le serveur primaire et la réplique, ce qui peut affecter la fraîcheur des données.

Configuration réseau​

Assurez-vous que votre serveur MySQL est accessible depuis Databricks :

  • Configurez des règles de pare-feu pour autoriser le trafic entrant sur le port 3306 (ou votre port MySQL personnalisé).
  • Si vous utilisez une infrastructure cloud, configurez les groupes de sécurité ou les ACL réseau.
  • Pour les bases de données on-premise, assurez une connectivité réseau appropriée via VPN, Direct Connect ou ExpressRoute.
  • Envisagez d'utiliser des connexions SSL/TLS pour la sécurité.

Exemple de règle de groupe de sécurité (EC2)​

Ajoutez une règle entrante à votre groupe de sécurité EC2 :

  • Type : MySQL
  • Protocole : TCP
  • Plage de ports : 3306
  • Source : plages d’adresses IP Databricks

Ressources supplémentaires​

Un administrateur peut maintenant soit :