管理されたインジェスト ソースに接続する
この記事では、カタログ エクスプローラーで、管理されたインジェスト ソースの認証の詳細を格納する接続を作成する方法について説明します LakeFlow Connect 。 接続に対する USE CONNECTION 権限または ALL PRIVILEGES を持つユーザーは、Salesforce や SQL Server などのソースから管理されたインジェスト パイプラインを作成できます。
管理者ユーザーは、パイプラインを作成するユーザーが次の場合に、この記事の手順を完了する必要があります。
- 管理者以外のユーザーです。
- Databricks API、Databricks SDK、Databricks CLI、または Databricks アセットバンドルを使用します。
これらのインターフェイスでは、ユーザーがパイプラインを作成するときに既存の接続を指定する必要があります。
または、管理者ユーザーは、データ取り込み UI で接続とパイプラインを同時に作成できます。 LakeFlow Connectの管理対象コネクタを参照してください。
LakeFlow Connect vs. レイクハウスフェデレーション
レイクハウスフェデレーションを使用すると、データを移動せずに外部データソースをクエリできます。 LakeFlow Connect とレイクハウスフェデレーションのどちらかを選択できる場合は、ETL パイプラインのアドホック レポートまたは概念実証作業にレイクハウスフェデレーションを選択します。「レイクハウスフェデレーションとは」を参照してください。
特権の要件
管理されたインジェストソースに接続するために必要なユーザー権限は、選択したインターフェースによって異なります。
-
データ取り込み UI
管理者ユーザーは、接続とパイプラインを同時に作成できます。このエンドツーエンドの取り込みウィザードは、UI でのみ使用できます。すべてのマネージド インジェスト コネクタが UI ベースのパイプラインオーサリングをサポートしているわけではありません。
-
カタログエクスプローラー
カタログエクスプローラ を使用すると、接続の作成とパイプラインの作成が分離されます。これにより、管理者は、管理者以外のユーザーがパイプラインを作成するための接続を作成できます。
パイプラインを作成するユーザーが管理者以外のユーザーである場合、または Databricks APISDK、 Databricks SDK、 Databricks CLI、または Databricks アセット バンドルを使用する予定の場合、管理者はまずカタログ エクスプローラーで接続を作成する必要があります。 これらのインターフェイスでは、ユーザーがパイプラインを作成するときに既存の接続を指定する必要があります。
シナリオ | サポートされているインターフェイス | 必要なユーザー権限 |
|---|---|---|
管理者ユーザーは、接続とインジェスト パイプラインを同時に作成します。 | データ取り込み UI |
|
管理者ユーザーは、管理者以外のユーザーがパイプラインを作成するための接続を作成します。 | 管理者：
管理者以外:
| 管理者：
管理者以外:
|
Google アナリティクス 生データ
カタログ エクスプローラーで Google アナリティクス 生データ 接続を作成するには、次の操作を行います。
- Databricksワークスペースで、 カタログ > 外部ロケーション > 接続 > 接続の作成 を クリックします。
- 接続の設定 ウィザードの [接続の基本 ] ページで、一意の [接続名 ] を指定します。
- [接続タイプ ] プルダウン メニューで [ Google アナリティクス 生データ ] を選択します。
- （オプション）コメントを追加します。
- 次へ をクリックします。
- [
service_account_json] フィールドに、BigQuery からダウンロードしたサービス アカウントの JSON の詳細を ソース設定に貼り付けます。 - 接続の作成 をクリックします。
セールスフォース
LakeFlow Connect は、Salesforce Platform からのデータの取り込みをサポートしています。 Databricks は、Salesforce Data Cloud でフェデレーション クエリを実行するための 0 コピー コネクタ もレイクハウスフェデレーションに提供しています。
カタログエクスプローラーで Salesforce インジェスト接続を作成するには、次の操作を行います。
-
Databricksワークスペースで、 カタログ > 外部ロケーション > 接続 > 接続の作成 を クリックします。
-
接続の設定 ウィザードの [接続の基本 ] ページで、一意の [接続名 ] を指定します。
-
[接続の種類 ] ドロップダウン メニューで、[ Salesforce ] を選択します。
-
（オプション）コメントを追加します。
-
次へ をクリックします。
-
Salesforce サンドボックス アカウントから取り込む場合は、 Is サンドボックス を
trueに設定します。 -
[ Salesforce でサインイン ] をクリックします。
Salesforce にリダイレクトされます。
-
Salesforce サンドボックスから取り込む場合は、[ カスタムドメインを使用 ] をクリックし、サンドボックスの URL を入力して、[ 続行 ] をクリックします。
-
Salesforce の資格情報を入力し、[ ログイン ] をクリックします。Databricks では、Databricks への取り込み専用の Salesforce ユーザーとしてログインすることをお勧めします。
セキュリティ上の理由から、Databricks UI で OAuth 2.0 リンクをクリックした場合にのみ認証してください。
- インジェスト ウィザードに戻ったら、[ 接続の作成 ] をクリックします。
サービスナウ
-
OAuth を構成します。手順については、「 Databricks インジェスト用に ServiceNow を構成する」を参照してください。
-
Databricksワークスペースで、 カタログ > 外部ロケーション > 接続 > 接続の作成 を クリックします。
-
接続の設定 ウィザードの [接続の基本 ] ページで、一意の [接続名 ] を指定します。
-
[ 接続の種類 ] ドロップダウン メニューで、[ ServiceNow ] を選択します。
-
（オプション）コメントを追加します。
-
次へ をクリックします。
-
「認証 」ページで、次のように入力します。
- インスタンス ID: ServiceNow インスタンス ID。
- OAuth スコープ: デフォルト値を
useraccountのままにします。 - クライアントシークレット: ソース設定で取得したクライアントシークレット。
- クライアント ID: ソース設定で取得したクライアント ID。
-
[ ServiceNow でサインイン ] をクリックします。
-
ServiceNow の資格情報を使用してサインインします。
Databricks ワークスペースにリダイレクトされます。
-
接続の作成 をクリックします。
SharePointの
Catalog Explorer で SharePoint 接続を作成する手順は、選択した OAuth メソッドによって異なります。次の方法がサポートされています。
- ユーザーツーマシン (U2M) 認証
- 手動トークン更新認証
Databricks では、更新トークンを自分で計算する必要がないため、U2M の使用をお勧めします。これは自動的に処理されます。また、Entra ID クライアントに SharePoint ファイルへのアクセスを許可するプロセスが簡素化され、セキュリティが向上します。
U2M (推奨)
-
ソースの設定を完了します。取得した認証の詳細を使用して、接続を作成します。
-
Databricks ワークスペースで、[カタログ] > [外部データ] > [接続] > [接続の作成 ] をクリックします。
-
接続の設定 ウィザードの [接続の基本 ] ページで、一意の [接続名 ] を指定します。
-
[接続の種類 ] ドロップダウン メニューで、[ Microsoft SharePoint ] を選択します。
-
[認証タイプ ] ドロップダウンメニューで、[ OAuth ] を選択します。
-
（オプション）コメントを追加します。
-
次へ をクリックします。
-
[ 認証 ] ページで、Microsoft Entra ID アプリの次の資格情報を入力します。
- OAuth スコープ : OAuth スコープは、事前に入力された値に設定したままにします。
- クライアントシークレット : ソース設定で取得したクライアントシークレット。
- クライアント ID : ソース設定で取得したクライアント ID。
- ドメイン : 次の形式の SharePoint インスタンス URL。
https://MYINSTANCE.sharepoint.com - テナント ID : ソース セットアップで取得したテナント ID。
-
[ Microsoft SharePoint でサインイン ] をクリックします。
新しいウィンドウが開きます。SharePoint 資格情報でサインインすると、Entra ID アプリに付与しているアクセス許可が表示されます。
-
[同意する] をクリックします。
[正常に承認されました] メッセージが表示され、Databricks ワークスペースにリダイレクトされます。
-
接続の作成 をクリックします。
手動更新トークン
-
ソースの設定を完了します。取得した認証の詳細を使用して、接続を作成します。
-
Databricks ワークスペースで、[カタログ] > [外部データ] > [接続] > [接続の作成 ] をクリックします。
-
接続の設定 ウィザードの [接続の基本 ] ページで、一意の [接続名 ] を指定します。
-
[接続の種類 ] ドロップダウン メニューで、[ Microsoft SharePoint ] を選択します。
-
[認証タイプ ] ドロップダウン メニューで、[ OAuth 更新トークン] を選択します。
-
（オプション）コメントを追加します。
-
次へ をクリックします。
-
[ 認証 ] ページで、Microsoft Entra ID アプリの次の資格情報を入力します。
- テナント ID : ソース セットアップで取得したテナント ID。
- クライアント ID : ソース設定で取得したクライアント ID。
- クライアントシークレット : ソース設定で取得したクライアントシークレット。
- 更新 トークン : ソース セットアップで取得した更新 トークン。
-
接続の作成 をクリックします。
SQL Server
カタログエクスプローラで Microsoft SQL Server 接続を作成するには、次の手順を実行します。
- Databricks ワークスペースで、[カタログ] > [外部データ (External Data >)] 接続 をクリックします。
- 接続の作成 をクリックします。
- 一意の [接続名 ] を入力します。
- [接続の種類 ] で [ SQL Server ] を選択します。
- [ホスト ] で、SQL Server ドメイン名を指定します。
- [ユーザー ] と [パスワード] に、SQL Server のログイン資格情報を入力します。
- 作成 をクリックします。
Workday レポート
カタログ エクスプローラで Workday Reports 接続を作成するには、次の手順を実行します。
- Workday アクセス資格情報を作成します。手順については、「 インジェスト用の Workday レポートを構成する」を参照してください。
- Databricksワークスペースで、 カタログ > 外部ロケーション > 接続 > 接続の作成 を クリックします。
- [ Connection name ] に、Workday 接続の一意の名前を入力します。
- [接続の種類 ] で [ Workday レポート] を選択します。
- [認証タイプ ] で、[ OAuth 更新トークン ] を選択します。
- ソース設定で取得した クライアント ID 、 クライアントシークレット 、 および更新トークン を入力します。
- [ 接続の作成 ] ページで、[ 作成 ] をクリックします。
次のステップ
カタログエクスプローラ で管理対象インジェストソースへの接続を作成した後、その接続に対する USE CONNECTION 権限または ALL PRIVILEGES を持つユーザーは、次の方法でインジェストパイプラインを作成できます。
- インジェスト ウィザード (サポートされているコネクタのみ)
- Databricksアセットバンドル
- Databricks API
- Databricks SDK
- Databricks CLI
パイプラインを作成する手順については、 マネージド コネクタのドキュメントを参照してください。