SQL Server 接続の制限

プレビュー

LakeFlow Connect はゲート付きパブリックプレビュー段階です。プレビューに参加するには、Databricks アカウントチームにお問い合わせください。

この記事では、LakeFlow Connect を使用して SQL Server に接続し、そこからデータを取り込む場合の制限と考慮事項について説明します。

スケジュールされたパイプラインを実行しても、アラートはすぐにはトリガーされません。代わりに、次の更新が実行されたときにトリガーされます。
ソーステーブルが削除されると、宛先テーブルも自動的に削除されます。この動作は Delta Live Tables の動作と一致しています。
メンテナンス期間中、Databricks はデータにアクセスできない可能性があります。
ソーステーブル名が既存の宛先テーブル名と競合する場合、フローは失敗します。
ステージング・カタログをフォーリンカタログにすることはできません。
Microsoft チェンジデータキャプチャ (CDC) を使用するには、SQL Server 2017 以上が必要です。
Microsoft 変更追跡を使用するには、SQL Server 2012 以降が必要です。

データベースのバリエーション

Azure SQL Database と Amazon RDS for SQL Server のみがサポートされています。
ユーザー名/パスワード認証のみがサポートされています。

テーブル

Databricks では、パイプラインごとに 50 個以下のテーブルを取り込むことを推奨しています。ただし、これらのオブジェクト内でサポートされる行または列の数に制限はありません。
Databricks では、大文字と小文字が区別される名前が大文字と小文字のみ異なるテーブル (たとえば、 MyTableとMYTABLE ) を単一の取り込みパイプラインに取り込むことはサポートされていません。このようなケースをサポートするには、異なるターゲットスキーマに公開する 2 つのゲートウェイインジェストパイプラインペアを作成します。

旅の進化

スキーマ進化はサポートされていません。変更にはターゲットテーブルの完全な更新が必要です。

データ型

次の SQL-92 データ型がサポートされています。
- 数値 (固定精度と浮動小数点)
- 文字列とバイナリ
- 日付、時刻、タイムスタンプ
Databricks では、SQL-92 データ型の制限により、テストでAdventureWorksLTサンプルデータを使用することは推奨されません。

パイプライン

ゲートウェイごとに 1 つの取り込みパイプラインのみがサポートされます。各取り込みパイプラインごとに、対応するゲートウェイも作成する必要があります。
ゲートウェイはクラシックモードで実行する必要があります。
インジェストパイプラインはサーバレスモードで実行する必要があります。
取り込みパイプラインは、複数の宛先カタログとスキーマをサポートしていません。複数の宛先カタログまたはスキーマに書き込む必要がある場合は、複数のゲートウェイ取り込みパイプラインペアを作成します。
取り込みパイプラインを実行するためのトリガーモードのみがサポートされています。