メインコンテンツまでスキップ

管理されたインジェスト ソースに接続する

この記事では、カタログ エクスプローラーで、管理されたインジェスト ソースの認証の詳細を格納する接続を作成する方法について説明します LakeFlow Connect 。 接続に対する USE CONNECTION 権限または ALL PRIVILEGES を持つユーザーは、Salesforce や SQL Server などのソースから管理されたインジェスト パイプラインを作成できます。

管理者ユーザーは、パイプラインを作成するユーザーが次の場合に、この記事の手順を完了する必要があります。

  • 管理者以外のユーザーです。
  • Databricks APIs、Databricks SDK、Databricks CLI、または Databricks アセットバンドルを使用します。

これらのインターフェイスでは、ユーザーがパイプラインを作成するときに既存の接続を指定する必要があります。

または、管理者ユーザーは、データ取り込み UI で接続とパイプラインを同時に作成できます。 LakeFlow Connectのコネクタを参照してください。

LakeFlow Connect vs. レイクハウスフェデレーション​

DatabricksLakeFlow Connectでは、大量のデータ、低レイテンシのクエリ、サードパーティのAPI 制限に対応するようにスケーリングできるため、 を使用したインジェストをお勧めします。ただし、データを移動せずにクエリを実行することもできます。レイクハウスフェデレーションを使用すると、データを移動せずに外部データソースをクエリできます。

LakeFlow Connect とレイクハウスフェデレーションのどちらかを選択できる場合は、ETL パイプラインのアドホック レポートまたは概念実証作業にレイクハウスフェデレーションを選択します。「レイクハウスフェデレーションとは」を参照してください。

特権の要件​

管理されたインジェストソースに接続するために必要なユーザー権限は、選択したインターフェースによって異なります。

  • データ取り込み UI

    管理者ユーザーは、接続とパイプラインを同時に作成できます。このエンドツーエンドの取り込みウィザードは、UI でのみ使用できます。

  • カタログエクスプローラー

    Catalog Explorer を使用すると、接続の作成とパイプラインの作成が分離されます。これにより、管理者は、管理者以外のユーザーがパイプラインを作成するための接続を作成できます。

    パイプラインを作成するユーザーが管理者以外のユーザーである場合、または Databricks APIsSDK、 Databricks SDK、 Databricks CLI、または Databricks アセット バンドルを使用する予定の場合、管理者はまずカタログ エクスプローラーで接続を作成する必要があります。 これらのインターフェイスでは、ユーザーがパイプラインを作成するときに既存の接続を指定する必要があります。

シナリオ

サポートされているインターフェイス

必要なユーザー権限

管理者ユーザーは、接続とインジェスト パイプラインを同時に作成します。

データ取り込み UI

  • CREATE CONNECTION メタストア上
  • USE CATALOG ターゲットカタログ上
  • (SaaS アプリ) ターゲット カタログ上の既存のスキーマまたはCREATE SCHEMAでUSE SCHEMAおよびCREATE TABLE
  • (データベース) USE SCHEMA、 CREATE TABLE、およびターゲットカタログ上の既存のスキーマまたはCREATE SCHEMA``CREATE VOLUME

管理者ユーザーは、管理者以外のユーザーがパイプラインを作成するための接続を作成します。

管理者：

  • カタログエクスプローラー

管理者以外:

  • データ取り込み UI
  • Databricks APIs
  • Databricks SDK
  • Databricks CLI
  • Databricksアセットバンドル

管理者：

  • CREATE CONNECTION メタストア上

管理者以外:

  • USE CONNECTION または、既存の接続で ALL PRIVILEGES します。
  • USE CATALOG ターゲットカタログ上
  • (SaaS アプリ) ターゲット カタログ上の既存のスキーマまたはCREATE SCHEMAでUSE SCHEMAおよびCREATE TABLE
  • (データベース) USE SCHEMA、 CREATE TABLE、およびターゲットカタログ上の既存のスキーマまたはCREATE SCHEMA``CREATE VOLUME

Catalog Explorer で管理された取り込みの接続を作成する​

このセクションでは、Catalog Explorerで管理されたインジェストソースへの接続を作成する手順について説明します。

Salesforce セールスクラウド​

LakeFlow Connect は、Salesforce Sales Cloud からの取り込みをサポートしています。 Salesforce Data Cloudには対応していませんが、レイクハウスフェデレーションでは、データを移動せずにSalesforce Data Cloudのデータをクエリすることができます。 「 Salesforce Data Cloud での統合クエリの実行」を参照してください。

カタログエクスプローラーで Salesforce インジェスト接続を作成するには、次の操作を行います。

  1. Databricksワークスペースで、 カタログ > 外部ロケーション > 接続 > 接続の作成 を クリックします。

  2. 接続の設定 ウィザードの [接続の基本 ] ページで、一意の [接続名 ] を指定します。

  3. [接続の種類 ] ドロップダウン メニューで、[ Salesforce ] を選択します。

  4. （オプション）コメントを追加します。

  5. 次へ をクリックします。

  6. Salesforce サンドボックス アカウントから取り込む場合は、 Is サンドボックス を trueに設定します。

  7. [ Salesforce でサインイン ] をクリックします。

    Salesforce にリダイレクトされます。

  8. Salesforce サンドボックスから取り込む場合は、[ カスタムドメインを使用 ] をクリックし、サンドボックスの URL を入力して、[ 続行 ] をクリックします。

    カスタムドメインボタンを使用する

    サンドボックスのURLを入力

  9. Salesforce の資格情報を入力し、[ ログイン ] をクリックします。Databricks では、Databricks インジェスト専用の Salesforce ユーザーとしてログインすることをお勧めします。

  10. インジェスト ウィザードに戻ったら、[ 接続の作成 ] をクリックします。

Microsoft SQL Server​

カタログエクスプローラで Microsoft SQL Server 接続を作成するには、次の手順を実行します。

  1. Databricks ワークスペースで、[カタログ] > [外部データ (External Data >)] 接続 をクリックします。
  2. 接続の作成 をクリックします。
  3. 一意の [接続名 ] を入力します。
  4. [接続の種類 ] で [ SQL Server ] を選択します。
  5. [ホスト ] で、SQL Server ドメイン名を指定します。
  6. [ユーザー ] と [パスワード] に、SQL Server のログイン資格情報を入力します。
  7. 作成 をクリックします。

Workday レポート​

カタログ エクスプローラで Workday Reports 接続を作成するには、次の手順を実行します。

  1. Workday アクセス資格情報を作成します。手順については、「 インジェスト用の Workday レポートを構成する」を参照してください。
  2. Databricksワークスペースで、 カタログ > 外部ロケーション > 接続 > 接続の作成 を クリックします。
  3. [ Connection name ] に、Workday 接続の一意の名前を入力します。
  4. [接続の種類 ] で [ Workday レポート] を選択します。
  5. [ Auth type ] で [ OAuth 更新 トークン ] を選択し、ステップ 1 で作成した [Client ID ]、[ Client secret ]、 および [更新トークン ] を入力します。
  6. [ 接続の作成 ] ページで、[ 作成 ] をクリックします。

次のステップ​

Catalog Explorer で管理対象インジェストソースへの接続を作成した後、その接続に対する USE CONNECTION 権限または ALL PRIVILEGES を持つユーザーは、次の方法でインジェストパイプラインを作成できます。

  • インジェスト ウィザード
  • Databricksアセットバンドル
  • Databricks APIs
  • Databricks SDK
  • Databricks CLI

パイプラインを作成する手順については、 マネージド コネクタのドキュメントを参照してください。

に最終更新