Microsoft SQL Server 取り込みコネクタ

このページは、セットアップ アプローチを決定する要素やさまざまなユーザー ペルソナに必要なステップなど、 SQL Server取り込みワークフローを理解するのに役立ちます。

標準CDC対統合CDC

SQL Server は 2 つの取り込みアーキテクチャをサポートしています。次の表はそれらを比較しています。

機能	標準 CDC (ゲートウェイベース)	統合 CDC
パイプライン数	2つ（取り込みゲートウェイと取り込みパイプライン）	1つ（統一されたパイプライン）
設定	ゲートウェイを作成し、ゲートウェイIDを参照する取り込みパイプラインを作成します。	Unity Catalog接続を参照する単一のパイプラインを作成する
ゲートウェイモード	ゲートウェイは継続的に実行されます	パイプラインは、更新ごとに抽出を組み込みます。
接続リファレンス	ingestion_gateway_id	connection_name （Unity Catalog接続）
コネクタタイプ	暗黙	明示的： connector_type: CDC
ステージングボリューム	ゲートウェイはステージングボリュームを内部で管理します。	ステージングボリュームはdata_staging_optionsを使用して構成します。指定されていない場合、パイプラインはデフォルト設定を自動的に作成します。

機能	標準 CDC (ゲートウェイベース)	統合 CDC
パイプライン数	2つ（取り込みゲートウェイと取り込みパイプライン）	1つ（統一されたパイプライン）
設定	ゲートウェイを作成し、ゲートウェイIDを参照する取り込みパイプラインを作成します。	Unity Catalog接続を参照する単一のパイプラインを作成する
ゲートウェイモード	ゲートウェイは継続的に実行されます	パイプラインは、更新ごとに抽出を組み込みます。
接続リファレンス	ingestion_gateway_id	connection_name （Unity Catalog接続）
コネクタタイプ	暗黙	明示的： connector_type: CDC
ステージングボリューム	ゲートウェイはステージングボリュームを内部で管理します。	ステージングボリュームはdata_staging_optionsを使用して構成します。指定されていない場合、パイプラインはデフォルト設定を自動的に作成します。

同じソースデータベース構成は両方のアーキテクチャに適用されます。Databricks への取り込み用に Microsoft SQL Server を構成するを参照してください。詳細については、「 SQL Server の統合 CDC パイプラインを作成する」を参照してください。

機能の利用可能性

機能	可用性
UIベースのパイプライン作成	サポート対象
APIベースのパイプライン作成	サポート対象
宣言型オートメーションバンドル	サポート対象
増分取り込み	サポート対象
Unity Catalogガバナンス	サポート対象
Lakeflowジョブによるオーケストレーション	サポート対象
SCDタイプ2	サポート対象
API ベースの列選択と選択解除	サポート対象
APIベースの行フィルタリング	サポートされていません
自動スキーマ進化：新規列と削除列	サポート対象
自動スキーマ進化: データ型の変更	サポートされていません
自動スキーマ進化：列名の変更	サポートされていません 完全な更新が必要です。
自動スキーマ進化: 新しいテーブル	サポート対象 スキーマ全体を取り込む場合。パイプラインあたりのテーブル数の制限事項を参照してください。
パイプラインあたりの最大テーブル数	250

機能	可用性
UIベースのパイプライン作成	サポート対象
APIベースのパイプライン作成	サポート対象
宣言型オートメーションバンドル	サポート対象
増分取り込み	サポート対象
Unity Catalogガバナンス	サポート対象
Lakeflowジョブによるオーケストレーション	サポート対象
SCDタイプ2	サポート対象
API ベースの列選択と選択解除	サポート対象
APIベースの行フィルタリング	サポートされていません
自動スキーマ進化：新規列と削除列	サポート対象
自動スキーマ進化: データ型の変更	サポートされていません
自動スキーマ進化：列名の変更	サポートされていません 完全な更新が必要です。
自動スキーマ進化: 新しいテーブル	サポート対象 スキーマ全体を取り込む場合。パイプラインあたりのテーブル数の制限事項を参照してください。
パイプラインあたりの最大テーブル数	250

認証方法

認証方法	可用性
OAuth U2M	サポート対象
OAuth M2M	サポート対象
OAuth (マニュアル更新)	サポートされていません
基本認証（ユーザー名／パスワード）	サポート対象
基本認証（APIキー）	サポートされていません
Basic認証（サービスアカウントJSONキー）	サポートされていません

認証方法	可用性
OAuth U2M	サポート対象
OAuth M2M	サポート対象
OAuth (マニュアル更新)	サポートされていません
基本認証（ユーザー名／パスワード）	サポート対象
基本認証（APIキー）	サポートされていません
Basic認証（サービスアカウントJSONキー）	サポートされていません

始める前に知っておくべきこと

トピック	なぜそれが重要なのか
Databricks ユーザーペルソナ	ワークフローは、Databricks ユーザーのペルソナによって異なります。 シングルユーザー: 管理者ユーザーがソース データベースを構成し、Unity Catalog 接続、インジェスト ゲートウェイ、およびインジェスト パイプラインを作成します。 マルチユーザー: 管理者ユーザーがソース データベースを構成し、管理者以外のユーザーがゲートウェイ パイプライン ペアを作成するための接続を作成します。
データベースのバリエーション	ソース データベースの構成は、SQL Server の展開環境によって異なります。
変更追跡方法	ソース データベースの構成は、ソース内の変更を追跡する方法によって異なります。
認証方法	接続を作成するための手順は、選択した認証方法によって異なります。
インタフェース	接続、ゲートウェイ、パイプラインを作成するステップはインターフェイスによって異なります。
摂取頻度	パイプラインのスケジュールは、レイテンシとコストの要件によって異なります。
一般的なパターン	取り込みのニーズに応じて、パイプラインは履歴追跡、列選択、行フィルタリングなどの設定を使用する場合があります。対応構成はコネクタによって異なります。機能の利用可否については、こちらをご覧ください。

トピック	なぜそれが重要なのか
Databricks ユーザーペルソナ	ワークフローは、Databricks ユーザーのペルソナによって異なります。 シングルユーザー: 管理者ユーザーがソース データベースを構成し、Unity Catalog 接続、インジェスト ゲートウェイ、およびインジェスト パイプラインを作成します。 マルチユーザー: 管理者ユーザーがソース データベースを構成し、管理者以外のユーザーがゲートウェイ パイプライン ペアを作成するための接続を作成します。
データベースのバリエーション	ソース データベースの構成は、SQL Server の展開環境によって異なります。
変更追跡方法	ソース データベースの構成は、ソース内の変更を追跡する方法によって異なります。
認証方法	接続を作成するための手順は、選択した認証方法によって異なります。
インタフェース	接続、ゲートウェイ、パイプラインを作成するステップはインターフェイスによって異なります。
摂取頻度	パイプラインのスケジュールは、レイテンシとコストの要件によって異なります。
一般的なパターン	取り込みのニーズに応じて、パイプラインは履歴追跡、列選択、行フィルタリングなどの設定を使用する場合があります。対応構成はコネクタによって異なります。機能の利用可否については、こちらをご覧ください。

SQL Serverからのデータ取り込みを開始します

次の表は、ユーザー タイプに基づいたエンドツーエンドの SQL Server 取り込みワークフローの概要を示しています。

ユーザー	ステップ
管理	Databricks への取り込み用に Microsoft SQL Server を構成します。 どちらか： Catalog Explorer を使用して接続を作成し、非管理者ユーザーがゲートウェイ-パイプライン ペアを作成できるようにします。SQL Server 接続を作成するを参照してください。 データ取り込み UI を使用して、接続、ゲートウェイ、パイプラインを作成します。「SQL Server からのデータの取り込み」を参照してください。
管理者以外	サポートされている任意のインターフェースを使用して、ゲートウェイとパイプラインを作成します。「SQL Server からのデータの取り込み」を参照してください。

ユーザー	ステップ
管理	Databricks への取り込み用に Microsoft SQL Server を構成します。 どちらか： Catalog Explorer を使用して接続を作成し、非管理者ユーザーがゲートウェイ-パイプライン ペアを作成できるようにします。SQL Server 接続を作成するを参照してください。 データ取り込み UI を使用して、接続、ゲートウェイ、パイプラインを作成します。「SQL Server からのデータの取り込み」を参照してください。
管理者以外	サポートされている任意のインターフェースを使用して、ゲートウェイとパイプラインを作成します。「SQL Server からのデータの取り込み」を参照してください。