Syncsortに接続する
このドキュメントは廃止されており、更新されない可能性があります。このコンテンツに記載されている製品、サービス、またはテクノロジはサポートされなくなりました。Precisely のドキュメントを参照してください。
Syncsort は、レガシー、メインフレーム、IBM データを Databricks と統合することで、データ サイロを解消するのに役立ちます。これらのソースから Delta Lake にデータを簡単に取り込むことができます。Syncsort は現在 Precisely の一部です。
Databricksで Syncsort を使用するための手順は次のとおりです。
ステップ 1: Databricksの個人アクセス墨を生成する
Syncsort 、 Databricksの個人アクセス権を使用してDatabricksで認証を行います。
自動化されたツール、システム、スクリプト、アプリで認証する際のセキュリティのベストプラクティスとして、DatabricksではOAuth トークンを使用することをお勧めします。
パーソナルアクセストークン認証 を使用する場合、 Databricks では、ワークスペース ユーザーではなく、サービスプリンシパル に属する パーソナルアクセストークン を使用することをお勧めします。 サービスプリンシパルのトークンを作成するには、「 サービスプリンシパルのトークンの管理」を参照してください。
ステップ 2: 統合のニーズをサポートするためのクラスターを設定する
Syncsort は S3 バケットにデータを書き込み、 Databricks 統合クラスターはその場所からデータを読み取ります。 したがって、統合クラスターには、 S3 バケットへの安全なアクセスが必要です。
S3バケットへの安全なアクセス
AWSリソースにアクセスするには、インスタンスプロファイルを使用してDatabricks統合クラスターを起動します。インスタンスプロファイルは、ステージング S3 バケットと、Delta テーブルを書き込むターゲット S3 バケットにアクセスできる必要があります。 インスタンスプロファイルを作成し、ロールを使用するように統合クラスターを設定するには、 チュートリアル: インスタンスプロファイルを使用した S3 アクセスの設定の手順に従います。
別の方法として、 IAM 資格情報パススルーを使用して、共有クラスターから S3 データへのユーザー固有のアクセスを有効にすることもできます。
クラスター構成の指定
-
クラスターモード を 標準 に設定します。
-
Databricksランタイムバージョン をDatabricks ランタイム バージョンに設定します。
-
最適化された書き込みと自動圧縮を有効にするには、次のプロパティをSpark 構成に追加します。
inispark.databricks.delta.optimizeWrite.enabled true
spark.databricks.delta.autoCompact.enabled true -
クラスターは、統合とスケーリングのニーズに応じて構成します。
クラスター構成の詳細については、 コンピュート構成リファレンスを参照してください。
JDBCのURL と HTTP パスを取得する手順については、「 Databricksコンピュート リソースの接続の詳細を取得する 」を参照してください。
手順 3: クラスターに接続するための JDBC 接続の詳細と ODBC を取得する
DatabricksクラスターをSyncsortに接続するには、次のJDBC/ODBC接続プロパティが必要です。
- JDBCのURL
- HTTPパス
ステップ 4: Databricksを使用してSyncsortを構成する
Databricks and Connect for Big Dataのログインページに移動し、指示に従ってください。