メインコンテンツまでスキップ

MySQLコネクタに関するFAQ

このページでは、MySQLコネクタに関する一般的な質問に回答します(サポートされているバージョンとプラットフォーム、認証方法、テスト済みのスケール、取り込み前にbinlogファイルがクリーンアップされたときの回復方法など)。

サポートされている MySQL バージョンとプラットフォームは何ですか?​

MySQL コネクタは次のバージョンとプラットフォームをサポートしています。

  • Amazon RDS for MySQL : バージョン 5.7.44 以降 (スタンドアロンおよび HA デプロイメントの両方)
  • Amazon Aurora MySQL : バージョン 5.7.mysql_aurora.2.12.2 以降 (HA セットアップの場合、サポートはプライマリ インスタンスからのみ)
  • Amazon Aurora MySQLサーバレス : サポートされています
  • Azure Database for MySQL フレキシブル サーバー : バージョン 5.7.44 以降 (スタンドアロンと HA 展開の両方)
  • Google クラウドSQL for MySQL : バージョン 5.7.44 以降
  • EC2上のMySQL :バージョン5.7.44以降

どのような認証方法がサポートされていますか?​

MySQL コネクタは、MySQL バージョンに基づいて次の認証プラグインをサポートします。

  • MySQL 5.7.44 :sha256_passwordのみがサポートされています。レプリケーション ユーザーは、この認証プラグインを使用して作成する必要があります。
  • MySQL 8.0 以降 : sha256_passwordとcaching_sha2_password両方がサポートされています。

コネクタは GTID ベースのレプリケーションをサポートしていますか?​

いいえ、MySQL コネクタは GTID (グローバル トランザクション ID) ベースのレプリケーションをサポートしていません。コネクタは位置ベースの binlog レプリケーションを使用します。

MySQL サーバーで GTID が有効になっている場合でもコネクタを使用できますが、コネクタは binlog ファイルと位置ベースのレプリケーションを使用します。

binlog ファイルと位置は、それらを生成したサーバー上でのみ意味があるため、パイプラインは完全な更新なしに別のサーバーまたはレプリカで続行できません。別のソースノードへの再接続をご覧ください。

XA トランザクションはサポートされていますか?​

いいえ、MySQL コネクタは XA トランザクション (分散トランザクション) をサポートしていません。XA トランザクションが実行されると、テーブルはパイプラインからスキップされます。

空間データ型のテーブルを取り込むことはできますか?​

いいえ、空間データ型 (GEOMETRY、POINT、LINESTRING、POLYGON、MULTIPOINT、MULTILINESTRING、MULTIPOLYGON、GEOMETRYCOLLECTION) はサポートされていません。

テーブルに空間列が含まれている場合は、テーブル全体を取り込みから除外する必要があります。空間型を持つテーブルは、検出された場合、または空間型を持つ新しい列が追加された場合、スキップされます。

同じ宛先テーブルを持つ複数のパイプラインを作成できますか?​

いいえ、1 つの宛先テーブルを管理できるのは 1 つのマネージド インジェスチョン パイプラインのみです。重複する宛先テーブルを持つ 2 つの異なるマネージド インジェスト パイプラインを作成することはできません。

異なるスキーマから同じ名前のテーブルを取り込むことはできますか?​

いいえ、異なるソース スキーマからのものである場合でも、同じパイプラインに同じ名前の 2 つのテーブルを取り込むことはできません。たとえば、1 つのパイプラインにschema1.customersとschema2.customersの両方を取り込むことはできません。

この問題を回避するには、 「複数の宛先のパイプラインを作成する」を参照してください。

MySQL 資格情報をローテーションするにはどうすればいいですか?​

既存の接続の資格情報をローテーションするには:

  1. MySQLのパスワードを更新する
  2. Databricksでカタログエクスプローラーに移動します
  3. 接続先へ移動
  4. 「編集」 をクリックしてパスワードを更新します
  5. 変更を保存する

インジェスト ゲートウェイとパイプラインは、次回の実行時に新しい資格情報を自動的に使用します。

テーブル名と列名は大文字と小文字が区別されますか?​

はい、MySQL コネクタでは、MySQL テーブル名とスキーマ名は大文字と小文字が区別されます。MySQL のスキーマとテーブル名では大文字と小文字が区別されますが、Unity Catalog のカタログ、スキーマ、およびテーブル名では大文字と小文字は区別されません。大文字と小文字の区別による競合がある場合 (たとえば、 mytableとMyTable )、複数の宛先機能を使用して競合を解決します。

詳細については、MySQL ドキュメントの「識別子の大文字と小文字の区別」を参照してください。

MySQL コネクタはどの程度の規模でテストされましたか?​

コネクタは、合計スナップショット データ量が 1 TB 未満の単一のパイプラインで 100 個のテーブルに対してテストされています。

取り込みゲートウェイのマシンタイプの推奨事項:

ゲートウェイベースのパイプラインの場合、インジェクションゲートウェイのdefaultマシンタイプは次のとおりです。

  • AWS: r5n.xlarge
  • アズール: Standard_E4d_v4
  • GCP: n2-highmem-4

スナップショットのパフォーマンスを向上させるには、 r5n.2xlarge 、 Standard_E8d_v4 、またはn2-highmem-8使用を検討してください。

パイプラインの制限:

  • Databricksはパイプラインごとに250個以下のテーブルを推奨しています
  • ハード制限: パイプラインあたり 1,000 フロー (実質的に最大 500 テーブルをサポート)

注: ハード制限では最大 500 個のテーブルがサポートされますが、最適なパフォーマンスを得るには、Databricks では 250 個以下にすることを推奨します。

インジェスチョン ゲートウェイはトリガー モード実行をサポートしていますか?​

いいえ、インジェスト ゲートウェイはトリガー モードをサポートしておらず、ログのクリーンアップによる完全な更新の必要性を回避するために継続的に実行する必要があります。

取り込みパイプラインはスケジュールに従って実行することも、トリガーすることもできますが、ゲートウェイは継続的に実行され続ける必要があります。

この質問は、ゲートウェイベースのパイプラインに適用されます。統合チェンジデータキャプチャ (CDC) パイプラインは、取り込みゲートウェイを使用せず、defaultでTriggerモードでランされます。MySQL向けの統合CDCパイプラインの作成をご覧ください。

完全更新はいつ実行すればよいですか?​

次のシナリオでは完全更新を実行します。

  • テーブル フローが取り込みパイプラインで失敗としてマークされた場合。
  • 互換性のないスキーマの変更によってテーブル フローが失敗するとき。
  • コネクタが処理する前に binlog ファイルがクリーンアップされる場合。
  • テーブルを手動で再同期する必要がある場合。

完全更新を実行するには、 「ターゲット テーブルを完全に更新する」を参照してください。

コネクタが処理する前にbinlogファイルがクリーンアップされた場合はどうすればよいですか?​

コネクタが処理する前に binlog ファイルが消去された場合は、パイプライン内の影響を受けるすべてのテーブルの完全更新のランを実行します。パイプラインはイベントLogsで問題を報告します。ゲートウェイベースのパイプラインでは、取り込みゲートウェイも影響を受けるすべてのテーブルをスキップします。

これを防ぐには:

  • 適切なbinlog保持(最小1日、推奨7日)を構成します。
  • ゲートウェイベースのパイプラインでは、インジェクションゲートウェイを継続的に実行し続けるようにしてください。

私のデータ取り込みゲートウェイは起動に時間がかかります。どうすれば直せますか?​

Gateways はクラシック コンピュート上で実行され、起動するたびに仮想マシン (VM) をプロビジョニングします。 起動に数分以上かかる場合は、以下の点を検討してください。

  • 現在のパイプラインチャンネルに切り替えます。 これは最も一般的な解決策です。プレビューチャンネルのビルドは起動時間が長くなります。これは、UI (チャンネルのパイプ ライン の詳細設定)、バンドル リソース ファイル、またはパイプライン仕様で変更できます。
  • 取り込み実行の間にゲートウェイを再起動しないでください。 ゲートウェイは継続的に実行するように設計されています。 停止して再起動すると、再起動のたびにVMが再プロビジョニングされ、ゲートウェイが停止している間にソースが変更ログを切り捨てた場合、変更ログが欠落するリスクがあります。

ゲートウェイが起動状態のまま15分以上経過する場合は、サポートチケットを作成してください。

これはゲートウェイにのみ適用されます。サーバレスコンピュート上で取り込みパイプラインを実行し、素早く起動します。

コネクタはオンプレミスの MySQL デプロイメントをサポートしていますか?​

はい、オンプレミスの MySQL デプロイメントは、以下を通じて Databricks ワークスペースに接続するとサポートされます。

  • Azure エクスプレスルート
  • AWS ダイレクトコネクト
  • VPN接続

次のことを確認してください。

  • データ転送に十分なネットワーク帯域幅が利用可能
  • ネットワーク接続は安定しており信頼性が高い
  • ファイアウォール ルールにより、 MySQLポートでのトラフィックが許可されます (安全 3306)
  • バイナリログの保持が適切に設定されている

詳細については、 Databricksサポート チームにお問い合わせください。 クロスクラウド接続の詳細については、 「ネットワーク接続」を参照してください。