SQL Server 接続の制限事項
備考
プレビュー
Microsoft SQL Server コネクタは、ゲート パブリック プレビュー段階です。プレビューに参加するには、Databricks アカウント チームにお問い合わせください。
この記事では、SQL Server を使用してLakeFlow Connect に接続し、データを取り込む場合の制限事項と考慮事項を示します。
- スケジュールされたパイプラインを実行しても、アラートはすぐにはトリガーされません。 代わりに、次の更新が実行されたときにトリガーされます。
- ソース テーブルが削除されると、コピー先テーブルも自動的に削除されます。この動作は DLT の動作と一致しています。
- メンテナンス期間中は、Databricks がお客様のデータにアクセスできない場合があります。
- ソース・テーブル名が既存の宛先テーブル名と競合する場合、フローは失敗します。
- ステージング・カタログをフォーリンカタログにすることはできません。
- Microsoft チェンジデータキャプチャ (CDC) を使用するには、SQL Server 2017 以上が必要です。
- Microsoft 変更追跡を使用するには、SQL Server 2012 以降が必要です。
データベースのバリエーション
- このコネクタは、Azure SQL データベースと Amazon RDS SQL データベースをサポートしています。 これには、Azure 仮想マシン (VM) と Amazon EC2 で実行されている SQL Server が含まれます。 このコネクタは、Azure ExpressRoute と AWS Direct Connect ネットワークを使用したオンプレミスの SQL Server もサポートしています。
- ユーザー名/パスワード認証のみがサポートされています。
テーブル
- Databricks では、パイプラインごとに取り込むテーブルを 50 個以下にすることをお勧めします。 ただし、これらのオブジェクト内でサポートされる行または列の数に制限はありません。
- Databricks では、大文字と小文字が区別される名前が大文字と小文字のみ異なるテーブル (
MyTable
とMYTABLE
など) を 1 つのインジェスト パイプラインで取り込むことはサポートされていません。 このような場合をサポートするには、異なるターゲット スキーマに発行する 2 つのゲートウェイ インジェスト パイプライン ペアを作成します。
スキーマ進化
スキーマ進化はサポートされていません。 変更には、ターゲット・テーブルの完全な更新が必要です。
データ型
-
次の SQL-92 データ型がサポートされています。
- 数値 (固定精度と浮動小数点)
- 文字列とバイナリ
- 日付、時刻、タイムスタンプ
-
Databricks では、SQL-92 データ型の制限により、テストで
AdventureWorksLT
サンプル データを使用することはお勧めしません。
パイプライン
- ゲートウェイごとに 1 つのインジェスト パイプラインのみがサポートされています。 インジェスト パイプラインごとに、対応するゲートウェイも作成する必要があります。
- ゲートウェイは クラシック モードで実行する必要があります。
- 取り込みパイプラインは 、サーバレス モードで実行する必要があります。
- インジェスト パイプラインは、複数の宛先カタログとスキーマをサポートしていません。 複数の送信先カタログまたはスキーマに書き込む必要がある場合は、複数のゲートウェイとインジェスト パイプラインのペアを作成します。
- インジェスト パイプラインを実行するためのトリガー モードのみがサポートされています。