SQL Server コネクタに関する FAQ
プレビュー
Microsoft SQL Server コネクタは パブリック プレビュー段階です。
このページでは、SQL Server のDatabricksLakeFlow Connect コネクタに関してよく寄せられる質問に回答します。
一般的なマネージド コネクタに関する FAQ
Managed Connector の FAQ の回答は、LakeFlow Connectのすべてのマネージド コネクタに適用されます。SQL-Server 固有の FAQ については、引き続きお読みください。
コネクタ固有の FAQ
このセクションの回答は、SQL Server コネクタに固有のものです。
Databricks は SQL Server にどのように接続しますか?
Databricks は、トランスポート層セキュリティ (TLS) と JDBC 接続を使用して SQL Server に接続します。資格情報は Unity Catalog に安全に格納され、インジェスト フローを実行しているユーザーが適切なアクセス許可を持っている場合にのみ取得できます。Databricks では、データを取り込むために SQL Server に別のユーザーを作成することをお勧めします。このユーザーに公開したくないデータベースまたはテーブルがある場合は、組み込みの SQL Server 権限を使用できます。
パイプラインが失敗した場合、インジェストはデータ損失なしに再開されますか?
はい。Databricks は、コネクタがソースから抽出し、宛先に適用した内容を追跡します。何かが起こった場合、Databricksは、ログがソースデータベースに残っている限り、その時点で再開できます。これは、ログ保持期間によってログが削除される前にパイプラインが実行されず、ターゲット テーブルの完全な更新が必要な場合に影響を受ける可能性があります。
コネクタはどの SQL Server バリエーションをサポートしていますか?
このコネクタは、Azure SQL データベースと AWS RDS SQL データベースをサポートしています。これには、Azure 仮想マシン (VM) と Amazon EC2 で実行されている SQL Server が含まれます。このコネクタは、Azure ExpressRoute、AWS Direct Connect、および十分な帯域幅が使用可能な場合は VPN を使用したオンプレミスの SQL Server もサポートします。
コネクタはどのようにデータを増分プルしますか?
コネクタは、 Microsoft Change Tracking と Microsoft チェンジデータキャプチャ (CDC) を使用します (使用可能な場合)。 テーブルに主キーがある場合、Databricks では最適なパフォーマンスを得るために変更追跡を使用することをお勧めします。テーブルに主キーがない場合、Databricks では CDC を使用することをお勧めします。変更の追跡と CDC の両方が有効になっている場合、コネクタは変更の追跡を使用します。
コネクタは、日付と時刻の列のタイムゾーンをキャプチャしますか?
いいえ。日付と時刻は UTC 形式で取り込まれます。
インジェストゲートウェイのスケジュールをカスタマイズできますか?
いいえ、インジェスト ゲートウェイは、ログの保持によって変更が削除されるのを避けるために、連続モードで実行する必要があります。変更が削除された場合は、すべてのテーブルに対して完全な更新が必要です。
コネクタは、主キーのないテーブルをどのように処理しますか?
コネクタは、大きなオブジェクトを除くすべての列をバンドルされた主キーとして扱います。ソース テーブルに重複する行がある場合、これらの行は宛先テーブルの 1 つの行として取り込まれます。
インジェスト パイプラインの実行はどのくらいの頻度でスケジュールできますか?
インジェスト パイプラインの実行をスケジュールできる頻度に制限はありません。ただし、サーバレス コンピュートの起動には時間がかかるため、インターバルの間には少なくとも 5 分 Databricks ことをおすすめします。 Databricks では、連続モードでのインジェスト パイプラインの実行はサポートされていません。
最初のパイプライン実行でデータベースのすべての行が表示されないのはなぜですか?
インジェスト ゲートウェイは、実行が開始されるとすぐに履歴データと CDC データを抽出します。インジェスト パイプラインは、このすべてのデータが抽出される前に実行される可能性があり、その結果、データがターゲット テーブルに部分的に適用されます。インジェスト パイプラインを数回実行するだけで、すべてのデータが抽出され、ターゲット テーブルに適用される場合があります。