Amazon
Web Services
Microsoft Azure
Google Cloud PlatformFivetran に接続する
Fivetranの自動データ統合は、スキーマや APIs の変化に適応し、信頼性の高いデータアクセスと、すぐにクエリできるスキーマによる簡素化された分析を保証します。
Databricks SQLウェアハウス (以前の Databricks SQLエンドポイント) と Databricks クラスターを Fivetran と統合できます。 Fivetran と Databricks の統合により、異なる Delta Lakeのデータを 1 に一元化できます。
Partner Connect を使用して Fivetran に接続する
このセクションでは、 Partner Connectを使用して Fivetran に接続する方法について説明します。 各ユーザーは独自の接続を作成します。
注
ユーザーごとの接続エクスペリエンスは パブリック プレビュー段階です。 ユーザーごとの接続を作成する機能を無効にするには、Databricks アカウント チームにお問い合わせください。
Partner Connect を使用して接続する前に
Partner Connectを使用してFivetranに接続する前に、次のものがあることを確認してください。
ワークスペース管理者ユーザー ロールまたは次のアクセス許可:
Unity Catalogによって管理されるデータの場合、Fivetran に書き込むカタログに対する次のメタストア オブジェクト権限があります。
- カタログ上の
USE CATALOGと `CREATE SCHEMA`。(オプション)宛先の場所を指定するには、外部ロケーションとクラウドオブジェクトストレージ内のデータへのアクセスで 外部テーブルを作成します 。
レガシー Hive metastoreによって管理されるデータの場合、Fivetran に書き込むカタログに対する次のメタストアオブジェクト権限があります。
USAGEカタログにCREATE(オプション)宛先の場所を指定するには、クラウドオブジェクトストレージ内のデータにアクセスします。
Unity Catalog メタストア オブジェクトの権限は、メタストア管理者、オブジェクトの所有者、またはオブジェクトを含むカタログまたはスキーマの所有者が付与できます。 詳細については、「 Unity Catalog 特権とセキュリティ保護可能なオブジェクト」を参照してください。
レガシー Hive metastore オブジェクトに対する権限は、ワークスペース管理者またはオブジェクトの所有者が付与できます。 詳細については、「 Hive metastore 特権とセキュリティ保護可能なオブジェクト (レガシ)」を参照してください。
クラウド オブジェクト ストレージ内のデータへのアクセスは、クラウド上のオブジェクト ストレージ アカウントに十分な権限を持つワークスペース管理者が構成する必要があります。 詳細については、 「データ アクセス構成を有効にする」を参照してください。
Partner Connect ステップ
Partner Connectを使用して Databricks ワークスペースを Fivetran に接続するには、次の手順を実行します。
サイドバーで、「 Partner Connect」をクリックします。
[ Fivetran ] タイルをクリックします。
このセクションのステップでは、ユーザー レベルの Fivetran 試用版アカウントを作成します。 既存のワークスペース レベルの Fivetran 試用版アカウントにサインインするには、[ 既存の接続を使用する] をクリックし、画面の指示に従って Fivetran にサインインし、この記事の残りの手順をスキップします。
SQLウェアハウスを選択します。 SQLウェアハウスが停止している場合は、[ 開始] をクリックします。
ワークスペースで Unity Catalogが有効になっている場合は、書き込み先の Fivetran のカタログを選択し、[ 次へ] をクリックします。
Partner Connect は、ユーザーに関連付けられた Databricks 個人用アクセストークン を生成します。
[ Fivetranに接続] をクリックします。
Web ブラウザーで新しいタブが開き、 Fivetran Web サイトが表示されます。
Fivetran Webサイトの画面の指示に従って、トライアルパートナーアカウントを作成します。
Fivetran に手動で 接続する
手動接続手順の概要については、このYouTubeビデオ(2分)をご覧ください。
注
SQLウェアハウスとファイブトランをより高速に接続するには、 Partner Connectを使用します。
手動で 接続する前に
Fivetran に手動で接続する前に、次のものが必要です。
Databricks ワークスペース内のクラスターまたは SQLウェアハウス。
クラスターまたは SQLウェアハウスの接続の詳細 (具体的には、 サーバーのホスト名、 ポート、 および HTTP パス の値)。
Databricksの個人的なアクセス権。 個人的なアクセスウイルスを作成するには、次の手順を実行します。
Databricks ワークスペースで、上部のバーにある Databricks ユーザー名をクリックし、ドロップダウンから[設定]を選択します。
[ 開発者] をクリックします。
[アクセストークン] の横にある [管理] をクリックします。
[ 新しいトークンの生成] をクリックします。
（任意）今後このトークンを識別するのに役立つコメントを入力し、トークンのデフォルトの有効期間である90日を変更します。有効期間のないトークンを作成するには（非推奨）、[有効期間 (日) ] ボックスを空白のままにしてください。
[生成] をクリックします。
表示されたトークンを安全な場所にコピーし、[完了] をクリックします。
注
コピーしたトークンは、必ず安全な場所に保存してください。 コピーしたトークンを他のユーザーと共有しないでください。 コピーしたトークンを紛失した場合、まったく同じトークンを再生成することはできません。 代わりに、この手順を繰り返して新しいトークンを作成する必要があります。 コピーしたトークンを紛失した場合、またはトークンが侵害されたと思われる場合は、アクセストークン ページでトークンの横にあるごみ箱 (取り消し) アイコンをクリックして、ワークスペースからそのトークンをすぐに削除することを強くお勧めします。
ワークスペースでトークンを作成または使用できない場合は、ワークスペース管理者がトークンを無効にしたか、トークンを作成または使用する権限を与えていないことが原因である可能性があります。ワークスペース管理者に問い合わせるか、以下をご覧ください。
注
自動化されたツール、システム、スクリプト、アプリを使用して認証する場合のセキュリティのベスト プラクティスとして、Databricks ではOAuth トークンを使用することをお勧めします。
個人用アクセストークン認証を使用する場合、Databricks では、ワークスペース ユーザーではなく、 サービスプリンシパル に属する個人用アクセストークンを使用することをお勧めします。 サービスプリンシパルのトークンを作成するには、「 サービスプリンシパルのトークンを管理する」を参照してください。
ヒント
ワークスペースの Partner Connect の Fivetran タイルにチェック マーク アイコンが含まれている場合は、タイルをクリックして [接続の詳細] を展開することで、接続されている SQLウェアハウスの接続 の詳細を取得できます。 個人用アクセストークン は非表示です。 代わりの個人用アクセストークンを作成し 、Fivetranから要求されたら、代わりにその新しいトークンを入力する必要があります。
マニュアルステップ
Fivetran に手動で接続するには、次の手順を実行します。
https://fivetran.com/login で Fivetran アカウントにサインインするか、新 しい Fivetran アカウントを作成します。
重要
組織の Fivetran アカウントにサインインすると、 [宛先の選択]ページが表示され、Databricks ロゴが付いた 1 つ以上の既存の宛先エントリがリストされる場合があります。 これらのエントリには、自分のワークスペースとは別のワークスペースにあるコンピュート リソースの接続の詳細が含まれる場合があります。 これらの接続の 1 つを引き続き再利用したい場合、およびコンピュート リソースを信頼してアクセスできる場合は、その接続先を選択して次のステップに進みます。 それ以外の場合は、このページを通過するために利用可能な目的地を選択します。
Fivetran のダッシュボードページで、 [宛先]タブをクリックします。
[ 宛先の追加] をクリックします。
宛先名 を入力し、[追加] をクリックします。
[最新の ELTFivetran ] ページで、[コネクタの設定] をクリックします。
[データソース] をクリックし、[ 次へ] をクリックします。
Fivetranのセットアップガイドの画面の指示に従って、コネクタ のセットアップ を完了します。
「 保存とテスト」をクリックします。
テストが成功したら、[ 続行] をクリックします。
[ データの保存先の選択] ページで、[ Databricks on AWS] をクリックします。
[ セットアップの続行] をクリックします。
Fivetran の画面上の指示を完了して、既存の Databricks コンピュート リソースの接続の詳細 (具体的には、 サーバーのホスト名 と HTTP パス フィールドの値、および前に生成したトークン) を入力します。
「 保存とテスト」をクリックします。
テストが成功したら、[ 続行] をクリックします。
次のステップに進みます。
