メインコンテンツまでスキップ

MySQLデータ取り込みコネクタ

備考

プレビュー

MySQLコネクタは現在パブリックプレビュー版です。アクセスをリクエストするには、Databricksのアカウントチームにお問い合わせください。

このページは、セットアップ アプローチを決定する要素やさまざまなユーザー ペルソナに必要なステップなど、 MySQL取り込みワークフローを理解するのに役立ちます。

始める前に知っておくべきこと

トピック

なぜそれが重要なのか

Databricksのユーザーペルソナ

ワークフローは、Databricksのユーザーペルソナによって異なります。

  • シングルユーザー: 管理者ユーザーはソース データベースを構成し、 Unity Catalog接続、取り込みゲートウェイ、取り込みパイプラインを作成します。
  • マルチユーザー:管理者ユーザーがソースデータベースを設定し、管理者以外のユーザーがゲートウェイとパイプラインのペアを作成するための接続を作成します。

展開環境

ソース データベースの構成は、 MySQLデプロイ環境 ( Amazon RDS、Aurora MySQL 、 Azure Database for MySQL 、Google クラウドSQL for MySQL 、またはEC2上のMySQL ) によって異なります。

認証方法

接続を確立するための手順は、選択した認証方法によって異なります。

インタフェース

接続、ゲートウェイ、パイプラインを作成するステップはインターフェイスによって異なります。

摂取頻度

パイプラインのスケジュールは、お客様のレイテンシとコスト要件によって異なります。

一般的なパターン

取り込みのニーズに応じて、パイプラインは履歴追跡、列選択、行フィルタリングなどの設定を使用する場合があります。対応構成はコネクタによって異なります。機能の利用可否については、こちらをご覧ください。

MySQLからのデータ取り込みを開始します

以下の表は、ユーザータイプに基づいた、エンドツーエンドのMySQLデータ取り込みワークフローの概要を示しています。

ユーザー

ステップ

管理

  1. Databricksへのデータ取り込みのためにMySQLを設定します
  2. どちらか:
    • カタログエクスプローラーを使用して接続を作成することで、管理者以外のユーザーでもゲートウェイとパイプラインのペアを作成できるようになります。See MySQL.
    • データ取り込み UI を使用して、接続、ゲートウェイ、およびパイプラインを作成します。 MySQL取り込みパイプラインの作成を参照してください。

非管理者

サポートされている任意のインターフェースを使用して、ゲートウェイとパイプラインを作成します。MySQL取り込みパイプラインの作成を参照してください。

機能の利用可能性

機能

可用性

UIベースのパイプライン作成

緑色のチェックマークサポート対象

APIベースのパイプライン作成

緑色のチェックマークサポート対象

宣言型オートメーションバンドル

緑色のチェックマークサポート対象

増分取り込み

緑色のチェックマークサポート対象

Unity Catalogガバナンス

緑色のチェックマークサポート対象

Databricks Workflowsを使用したオーケストレーション

緑色のチェックマークサポート対象

SCDタイプ2

緑色のチェックマークサポート対象

API ベースの列選択と選択解除

緑色のチェックマークサポート対象

APIベースの行フィルタリング

赤い×印のアイコンサポートされていません

自動スキーマ進化:新規列と削除列

緑色のチェックマークサポート対象

自動スキーマ進化: データ型の変更

赤い×印のアイコンサポートされていません

自動スキーマ進化:列名の変更

緑色のチェックマークサポート対象

新しい列(新しい名前)として扱われ、削除された列(古い名前)としても扱われます。

自動スキーマ進化: 新しいテーブル

緑色のチェックマークサポート対象

スキーマ全体を取り込む場合。パイプラインあたりのテーブル数の制限事項を参照してください。

パイプラインあたりの最大テーブル数

250

認証方法

認証方法

可用性

OAuth U2M

赤い×印のアイコンサポートされていません

OAuth M2M

赤い×印のアイコンサポートされていません

OAuth (マニュアル更新)

赤い×印のアイコンサポートされていません

基本認証(ユーザー名/パスワード)

緑色のチェックマークサポート対象

基本認証(APIキー)

赤い×印のアイコンサポートされていません

Basic認証(サービスアカウントJSONキー)

赤い×印のアイコンサポートされていません