Qlik Replicate への接続
プレビュー
この機能はパブリックプレビュー段階です。
Qlik Replicate は、複数の MYSQL (ORACLE、MICROSOFT SQL SERVER、SAP、メインフレームなど) から Delta Lake にデータを取り込むのに役立ちます。 Replicateの自動チェンジデータキャプチャ(CDC)は、手動でのデータ抽出、APIスクリプトを使用した転送、チョッピング、ステージング、インポートなどの面倒な作業を回避するのに役立ちます。 Qlik Compose は CDC を Delta Lakeに自動化します。
注
Delta Lakeでのデータ分析に役立つソリューションである Qlik Sense に関する情報については、「 Qlik Sense への接続」を参照してください。
Qlik Replicate の一般的なデモについては、次の YouTube ビデオ (14 分) をご覧ください。
Qlik Replicate を使用したデータパイプラインのデモについては、次の YouTube ビデオ (6 分) を参照してください。
Databricksで Qlik Replicate を使用するための手順を次に示します。
ステップ 1: Databricks 個人用アクセストークンを生成する
Qlik Replicate は、Databricks の個人用アクセストークンを使用して Databricks で認証を行います。
注
自動化されたツール、システム、スクリプト、アプリを使用して認証する場合のセキュリティのベスト プラクティスとして、Databricks ではOAuth トークンを使用することをお勧めします。
個人のアクセス トークン認証を使用する場合、 Databricksでは、ワークスペース ユーザーではなく、サービスプリンシパルに属する個人のアクセス トークンを使用することをお勧めします。 サービスプリンシパルのトークンを作成するには、 「サービスプリンシパルのトークンの管理」を参照してください。
ステップ 2: 統合のニーズをサポートするようにクラスターを設定する
Qlik Replicate は S3 バケットにデータを書き込み、Databricks 統合クラスターはその場所からデータを読み取ります。 そのため、統合クラスターには S3 バケットへの安全なアクセスが必要です。
S3 バケットへの安全なアクセス
AWS リソースにアクセスするには、インスタンスプロファイルを使用して Databricks 統合クラスターを起動できます。 インスタンスプロファイルには、ステージング S3 バケットと、Delta テーブルを書き込むターゲット S3 バケットにアクセスできる必要があります。 インスタンスプロファイルを作成し、ロールを使用するように統合クラスターを設定するには、「 チュートリアル: インスタンスプロファイルを使用して S3 アクセスを設定する」の手順に従います。
別の方法として、 IAM 認証情報パススルーを使用して、共有クラスターから S3 データへのユーザー固有のアクセスを有効にすることもできます。
クラスター構成を指定する
[クラスター モード] を [標準] に設定します。
[Databricks Runtime バージョン] を Databricks ランタイム バージョンに設定します。
最適化された書き込みと自動コンパクションを有効にするには、次のプロパティを Spark 構成に追加します。
spark.databricks.delta.optimizeWrite.enabled true spark.databricks.delta.autoCompact.enabled true
統合とスケーリングのニーズに応じてクラスターを構成します。
クラスター構成の詳細については、 「コンピュート構成リファレンス」を参照してください。
JDBC URL と HTTP パスを取得するには、ステップ の「 Databricks コンピュート リソースの接続の詳細を取得する 」を参照してください。
ステップ 3: クラスターに接続するための JDBC および ODBC 接続の詳細を取得する
Databricks クラスターを Qlik Replicate に接続するには、次の JDBC/ODBC 接続プロパティが必要です。
JDBC URL
HTTP パス
ステップ 4: Databricks を使用して Qlik Replicate を構成する
Qlikログイン ページに移動し、指示に従います。