Qlik Replicate への接続
プレビュー
この機能は パブリック プレビュー段階です。
Qlik Replicate は、複数のデータソース(Oracle、 Microsoft SQL Server、SAP、メインフレームなど)からデータを Delta Lakeに引き出すのに役立ちます。 Replicateの自動チェンジデータキャプチャ(CDC)は、手動でのデータ抽出、 API スクリプトを使用した転送、チョッピング、ステージング、インポートなどの面倒な作業を回避するのに役立ちます。 Qlik Compose は、CDC を Delta Lake に自動化します。
Delta Lake のデータ分析に役立つソリューションであるQlik Senseについては、「Qlik Senseへの接続」を参照してください。
Qlik Replicate の一般的なデモについては、次の YouTube ビデオ (14 分) をご覧ください。
Qlik Replicate を使用したデータパイプラインのデモについては、次の YouTube ビデオ (6 分) を参照してください。
Databricksで Qlik Replicate を使用するための手順を次に示します。
手順 1: Databricks 個人用アクセス トークンを生成する
Qlik Replicate は、Databricks の個人用アクセストークンを使用して Databricks で認証を行います。
自動化されたツール、システム、スクリプト、アプリで認証する際のセキュリティのベストプラクティスとして、Databricks では OAuth トークンを使用することをお勧めします。
パーソナルアクセストークン認証 を使用する場合、 Databricks では、ワークスペース ユーザーではなく、 サービスプリンシパル に属する パーソナルアクセストークン を使用することをお勧めします。 サービスプリンシパルのトークンを作成するには、「 サービスプリンシパルのトークンの管理」を参照してください。
ステップ 2: 統合のニーズをサポートするためのクラスターを設定する
Qlik Replicate は S3 バケットにデータを書き込み、Databricks 統合クラスターはその場所からデータを読み取ります。 そのため、統合クラスターには S3 バケットへの安全なアクセスが必要です。
S3バケットへの安全なアクセス
AWSリソースにアクセスするには、インスタンスプロファイルを使用してDatabricks統合クラスターを起動します。インスタンスプロファイルは、ステージング S3 バケットと、Delta テーブルを書き込むターゲット S3 バケットにアクセスできる必要があります。 インスタンスプロファイルを作成し、ロールを使用するように統合クラスターを設定するには、 チュートリアル: インスタンスプロファイルを使用した S3 アクセスの設定の手順に従います。
別の方法として、 IAM 資格情報パススルーを使用して、共有クラスターから S3 データへのユーザー固有のアクセスを有効にすることもできます。
クラスター構成の指定
-
クラスターモード を 標準 に設定します。
-
Databricksランタイムバージョン をDatabricks ランタイム バージョンに設定します。
-
最適化された書き込みと自動圧縮を有効にするには、次のプロパティを Spark 構成に追加します。
inispark.databricks.delta.optimizeWrite.enabled true
spark.databricks.delta.autoCompact.enabled true -
クラスターは、統合とスケーリングのニーズに応じて構成します。
クラスター構成の詳細については、 コンピュート構成リファレンスを参照してください。
JDBCのURL と HTTP パスを取得する手順については、「 Databricksコンピュート リソースの接続の詳細を取得する 」を参照してください。
手順 3: クラスターに接続するための JDBC 接続の詳細と ODBC を取得する
Databricks クラスターを Qlik Replicate に接続するには、次の JDBC/ODBC 接続プロパティが必要です。
- JDBCのURL
- HTTPパス
ステップ 4: Qlik Replicate を Databricks で構成する
Qlik ログイン ページに移動し、指示に従います。