メインコンテンツまでスキップ

Google Cloud SQL for MySQLを取り込み用に構成する

Lakeflow Connectを使用して Google Cloud SQL for MySQLからインジェストするには、インスタンスでバイナリロギングと binlog保持を構成します。コネクタは、変更をキャプチャするためにバイナリLogs (binlog) を読み取ります。

要件​

  • Cloud SQL for MySQLバージョン 5.7.44 以降、または 8.0 以降。
  • クラウドSQLインスタンス。

データベースフラグを構成する​

バイナリ ロギングは、Cloud SQL for MySQLのデータベース フラグを通じて制御されます。 これらのフラグは、Google Cloud Console を通じて設定する必要があります。

必要なデータベースフラグ​

次のデータベース フラグを構成します。

フラグ

Value

説明

log_bin

on

バイナリ ログを有効にします。

binlog_format

ROW

バイナリ ログ形式を行ベースのレプリケーションに設定します。チェンジデータキャプチャに必要です。

binlog_row_image

FULL

変更された列だけでなく、すべての列をバイナリ ログに記録します。

binlog_expire_logs_seconds

最小: 86400 (1 日)。推奨: 604800 (7日間)

自動的に消去されるまでバイナリ ログを保持する期間を指定します。MySQL 5.7 の場合は、代わりにexpire_logs_daysを使用してください。

フラグ

Value

説明

log_bin

on

バイナリ ログを有効にします。

binlog_format

ROW

バイナリ ログ形式を行ベースのレプリケーションに設定します。チェンジデータキャプチャに必要です。

binlog_row_image

FULL

変更された列だけでなく、すべての列をバイナリ ログに記録します。

binlog_expire_logs_seconds

最小: 86400 (1 日)。推奨: 604800 (7日間)

自動的に消去されるまでバイナリ ログを保持する期間を指定します。MySQL 5.7 の場合は、代わりにexpire_logs_daysを使用してください。

Googleクラウドコンソール​

Google Cloud Console を使用してデータベース フラグを構成するには:

  1. Google クラウド コンソールを開き、クラウドSQLインスタンス ページに移動します。
  2. SQLインスタンスを選択して、インスタンスの詳細ページを開きます。
  3. ページ上部の 「編集」 をクリックします。
  4. 「フラグ」 セクションまで下にスクロールします。
  5. 「フラグを追加」 をクリックし、 binlog_formatを選択します。値をROWに設定します。
  6. 「フラグを追加」 をクリックし、 binlog_row_imageを選択します。値をFULLに設定します。
  7. MySQL 8.0 の場合は、 「フラグを追加」 をクリックし、 binlog_expire_logs_secondsを選択します。最小値を86400 (1 日) に設定します。Databricks では、 604800 (7 日間) に設定することをお勧めします。
  8. MySQL 5.7.44 以降の場合は、 「フラグの追加」 をクリックし、 expire_logs_daysを選択します。最小値を1 (1 日) に設定します。Databricks では、 7 (7 日間) に設定することをお勧めします。
  9. ページの下部にある 「保存」 をクリックします。
  10. プロンプトが表示されたら、変更を有効にするためにインスタンスを再起動することを確認します。

バイナリログの保持に関する考慮事項​

  • 最小 binlog 保持期間は 1 日(24 時間または 86400 秒)です。Databricks は、binlog 保持期間として 7 日(168 時間または 604800 秒)を推奨しています。値を小さく設定すると、コネクタが処理する前に binlog が削除される可能性があり、すべてのテーブルのフル更新が必要になります。

  • インジェストがbinlog_expire_logs_secondsを超えて停止すると、インジェストが再開される前にbinlogが削除される可能性があり、その場合も完全更新が必要になります。

  • MySQL 5.7.44 以降では、 expire_logs_daysフラグ (日数単位の整数値) を使用します。

  • MySQL 8.0 以降では、 binlog_expire_logs_secondsフラグ (秒単位の整数値) を使用します。

binlog設定を確認する​

データベース フラグを構成してインスタンスを再起動した後、バイナリ ログが適切に構成されていることを確認します。MySQLクライアントを使用してクラウドSQLインスタンスに接続し、実行します。

SQL
-- Check if binary logging is enabled
SHOW VARIABLES LIKE 'log_bin';

-- Should return:
-- +---------------+-------+
-- | Variable_name | Value |
-- +---------------+-------+
-- | log_bin | ON |
-- +---------------+-------+

-- Check binlog format
SHOW VARIABLES LIKE 'binlog_format';

-- Should return:
-- +---------------+-------+
-- | Variable_name | Value |
-- +---------------+-------+
-- | binlog_format | ROW |
-- +---------------+-------+

-- Check binlog row image
SHOW VARIABLES LIKE 'binlog_row_image';

-- Should return:
-- +------------------+-------+
-- | Variable_name | Value |
-- +------------------+-------+
-- | binlog_row_image | FULL |
-- +------------------+-------+

-- Check binlog row value options (must be empty; MySQL 5.7 returns no rows)
SHOW VARIABLES LIKE 'binlog_row_value_options';

-- Should return:
-- +--------------------------+-------+
-- | Variable_name | Value |
-- +--------------------------+-------+
-- | binlog_row_value_options | |
-- +--------------------------+-------+

-- For MySQL 8.0: Check retention in seconds
SHOW VARIABLES LIKE 'binlog_expire_logs_seconds';

-- For MySQL 5.7: Check retention in days
SHOW VARIABLES LIKE 'expire_logs_days';

ネットワーク構成​

Cloud SQLインスタンスがDatabricksからアクセスできることを確認します。

  • パブリック IP : Databricks IP 範囲からの接続を許可するために承認済みネットワークを追加します。
  • プライベート IP : Google クラウドVPCとDatabricksの間のVPCピアリングを構成します。
  • SQLクラウド プロキシ : 安全な接続のためにクラウドSQL Auth Proxy の使用を検討してください。

承認済みネットワーク(パブリック IP)を追加する​

パブリック IP 接続用の承認済みネットワークを追加するには:

  1. クラウド上でコンソールで、クラウドSQLインスタンスに移動します。
  2. 左側のメニューから 「接続」 を選択します。
  3. [承認済みネットワーク] の下で、 [ネットワークの追加] をクリックします。
  4. Databricks IP 範囲を入力します。
  5. 「完了」 をクリックし、 「保存」を クリックします。

自動バックアップ​

SQL 、自動バックアップが有効になっている場合、バイナリ ログを自動的に有効にします。 自動バックアップが有効になっていることを確認します。

  1. クラウド上でコンソールで、クラウドSQLインスタンスに移動します。
  2. 左側のメニューから 「バックアップ」 を選択します。
  3. 自動バックアップ が有効になっていることを確認します。
  4. 無効になっている場合は、 「構成の編集」 をクリックして自動バックアップを有効にします。

その他のリソース​

管理者は次のいずれかを実行できるようになりました。