Matillion に接続する
Matillion ETLは、Databricksを含むクラウドデータベースプラットフォーム専用に構築されたETL/ELTツールです。 Matillion ETLは、最新のブラウザベースのUIを備えており、強力なプッシュダウンETL/ELT機能を備えています。
Databricks SQL ウェアハウス (旧称 Databricks SQL エンドポイント) と Databricks クラスターを Matillionと統合できます。
Partner Connectを使用してMatillionに接続する
このセクションでは、Partner Connect SQLDatabricksMatillionを使用して、 ワークスペース内の既存の ウェアハウスまたはクラスターを に接続するプロセスを簡素化する方法について説明します。
必要条件
Partner Connect を使用するための 要件 を参照してください。
接続手順
Partner Connectを使用してMatillionに接続するには、このセクションの手順に従います。
既存の Matillion アカウントをお持ちの場合、Databricks では Matillion に手動で接続することをお勧めします。 これは、Partner Connect の接続エクスペリエンスが新しいパートナー アカウントに対して最適化されているためです。
-
サイドバーで、
Marketplace をクリックします。
-
Partner Connect 統合で 、[ すべて表示 ] をクリックします。
-
[Matillion] タイルをクリックします。
[Eメール (Eメール )] ボックスには、Databricks アカウントの Eメール アドレスが表示されます。Matillion は、この Eメール アドレスを使用して、新しい Matillion アカウントを作成するか、既存の Matillion アカウントにログインするように促します。
-
[ Matillion ETL に接続 ] または [ サインイン] をクリックします。
ブラウザに新しいタブが開き、Matillionハブが表示されます。
-
Matillionの画面上の手順に沿って、14日間の試用アカウント Matillion アカウントを作成するか、既存のMatillion アカウントにサインインします。
組織の誰かがすでに Matillionでアカウントを作成しているというエラーが表示された場合は、組織の管理者に連絡して、組織の Matillion アカウントに追加してもらいます。 追加されたら、既存の Matillion アカウントにサインインします。
-
画面の指示に従ってジョブの詳細を入力し、[ 続行] をクリックします。
-
画面上の指示を完了して組織を作成し、「 続行 」をクリックします。
-
作成した組織をクリックし、[ Matillion ETL インスタンスの追加 ] をクリックします。
-
[AWS で続行 ] をクリックします。
Amazon EC2 コンソールが開きます。
-
ドキュメントの「MatillionETL AmazonMachine Image を使用した の起動 MatillionETL」のステップ 5 から開始します。次に 、MatillionETLAmazonドキュメントの Web サービス () での へのアクセスEC2MatillionETLに従います。
-
Matillion ETL のドキュメントの指示に従ってください。
ブラウザでMatillion ETLが開き、[ Create Project ]ダイアログボックスが表示されます。
-
Matillion のドキュメントの「 Databricks プロジェクトで Delta Lake を作成する 」に従ってください。
これらの手順の「 Delta Lake Connection 」セクションの設定については、次の情報を入力します。
- [ワークスペース ID ] に、Databricksワークスペースの ID を入力します。ワークスペースインスタンス名、URL、ID を参照してください。
- [Username] に「
token
」と入力します。 - [パスワード] に、Databricks 個人用アクセス トークンの値を入力します。
ワークスペース ID を取得し、個人用アクセス トークンを生成するには、次の操作を行います。
-
ブラウザの [Partner Connect] タブに戻ります。
-
ワークスペース ID をメモします。
-
[ 新しいトークンの生成] をクリックします。
ブラウザーで新しいタブが開き、Databricks UI の [設定 ] ページが表示されます。 4. [新規トークンを生成] をクリックします。
-
必要に応じて、説明(コメント)と有効期限を入力します。
-
[生成] をクリックします。
-
生成された個人用アクセス トークンをコピーし、安全な場所に保管します。
-
ブラウザの[Matillion]タブに戻ります。
これらの手順の [Delta Lake デフォルト ] セクションの設定については、[ クラスター ] で、SQLウェアハウスまたはクラスターの名前を選択します。
-
「次のステップ」に進みます。
Matillion に手動で接続する
このセクションでは、SQL Databricksワークスペース内の既存の ウェアハウスまたはクラスターを手動Matillion に接続する方法について説明します。
Partner Connect を使用してMatillionに接続して、エクスペリエンスを簡素化できます。
必要条件
Matillionと手動で統合する前に、次のものが必要です。
-
AWS CloudFormation、Amazon Machine Image (AMI)、または AWS Marketplace を使用して起動できる Matillion ETL インスタンス。
-
Databricks 個人用アクセス トークン。
自動化されたツール、システム、スクリプト、アプリで認証する際のセキュリティのベストプラクティスとして、Databricks では OAuth トークンを使用することをお勧めします。
personal access token authentication を使用する場合、 Databricks では、ワークスペース ユーザーではなく 、サービスプリンシパル に属する personal access token を使用することをお勧めします。 サービスプリンシパルのトークンを作成するには、「 サービスプリンシパルのトークンの管理」を参照してください。
接続手順
Matillion に手動で接続するには、次の操作を行います。
-
ワークスペース内で使用する既存のコンピュート リソース ( SQLウェアハウスまたはクラスター) の名前を取得します。 後で、その名前を選択して、コンピュート リソースと Matillion ETL インスタンス間の接続を完了します。
- SQLワークスペースで ウェアハウスを表示するには、サイドバーの
SQL ウェアハウス をクリックします。新しい SQLウェアハウスを作成するには、「SQLウェアハウスの作成」を参照してください。
- ワークスペースでクラスターを表示するには、サイドバーの
コンピュート をクリックします。 クラスターを作成するには、 コンピュート設定リファレンスを参照してください。
- SQLワークスペースで ウェアハウスを表示するには、サイドバーの
-
Matillion のドキュメントの「 Databricks プロジェクトで Delta Lake を作成する 」に従ってください。
これらの手順の「 Delta Lake Connection 」セクションの設定については、次の情報を入力します。
- [ワークスペース ID ] に、Databricksワークスペースの ID を入力します。ワークスペースインスタンス名、URL、ID を参照してください。
- [Username] に「
token
」と入力します。 - [パスワード] に、Databricks 個人用アクセス トークンを入力します。
これらの手順の [Delta Lake デフォルト ] セクションの設定については、[ クラスター ] で、SQLウェアハウスまたはクラスターの名前を選択します。
-
「次のステップ」に進みます。
次のステップ
Matillion の Web サイトで、次のリソースの 1 つ以上を調べてください。