メインコンテンツまでスキップ

ServiceNow インジェスト パイプラインを作成する

この記事では、 Databricks Lakeflowコネクトを使用して ServiceNow インジェストパイプラインを作成する方法について説明します。

始める前に​

インジェスト パイプラインを作成するには、次の要件を満たす必要があります。

  • ワークスペースでUnity Catalogが有効になっている必要があります。

  • サーバレス コンピュートは、ワークスペースで有効にする必要があります。 サーバレス コンピュートの要件を参照してください。

  • 新しい接続を作成する予定の場合: メタストアに対する CREATE CONNECTION 権限が必要です。

    コネクタが UI ベースのパイプライン オーサリングをサポートしている場合、管理者はこのページのステップを完了することで、接続とパイプラインを同時に作成できます。 ただし、パイプラインを作成するユーザーが API ベースのパイプライン オーサリングを使用している場合、または管理者以外のユーザーである場合、管理者はまずカタログ エクスプローラーで接続を作成する必要があります。 「管理対象取り込みソースへの接続」を参照してください。

  • 既存の接続を使用する予定の場合: 接続オブジェクトに対する USE CONNECTION 権限または ALL PRIVILEGES が必要です。

  • ターゲット・カタログに対する USE CATALOG 権限が必要です。

  • 既存のスキーマに対する USE SCHEMA 権限と CREATE TABLE 権限、またはターゲット・カタログに対する CREATE SCHEMA 権限が必要です。

ServiceNow から取り込むには、「 Databricks への取り込み用に ServiceNow を構成する」を参照してください。

インジェスト パイプラインを作成する​

必要な権限: 接続 USE CONNECTION または ALL PRIVILEGES 。

この手順では、インジェスト パイプラインを作成する方法について説明します。取り込まれた各テーブルは、同じ名前でストリーミングテーブルに書き込まれます。

  1. Databricksワークスペースのサイドバーで、 データ取り込み をクリックします。

  2. [ データの追加 ] ページの [Databricks コネクタ ] で、[ ServiceNow ] をクリックします。

    インジェスト ウィザードが開きます。

  3. ウィザードの [インジェスト パイプライン ] ページで、パイプラインの一意の名前を入力します。

  4. [宛先カタログ ] ドロップダウン メニューで、カタログを選択します。取り込まれたデータとイベント ログは、このカタログに書き込まれます。宛先スキーマは後で選択します。

  5. ソース データへのアクセスに必要な資格情報を格納する Unity Catalog 接続を選択します。

    ソースへの既存の接続がない場合は、[ 接続の作成 ] をクリックし、「 DatabricksインジェストのServiceNowの構成」で取得した認証の詳細を入力します。メタストアに対する CREATE CONNECTION 権限が必要です。

  6. パイプラインの作成および続行 をクリックします。

  7. 「 ソース 」ページで、取り込むテーブルを選択し、「 次へ 」をクリックします。

    [ すべてのテーブル ] を選択すると、コネクタはソース スキーマの既存テーブルと将来のテーブルをすべて宛先スキーマに書き込みます。パイプラインごとに最大 250 個のテーブルがあります。

  8. 宛先 ページで、書き込む Unity Catalog カタログとスキーマを選択します。

    既存のスキーマを使用しない場合は、[ スキーマの作成 ] をクリックします。親カタログに対する USE CATALOG 権限と CREATE SCHEMA 権限が必要です。

  9. パイプラインを保存と続行 をクリックします。

  10. (オプション) [設定 ] ページで、[ スケジュールの作成 ] をクリックします。宛先テーブルを更新する頻度を設定します。

  11. (オプション)パイプライン操作の成功または失敗のEメール 通知を設定します。

  12. パイプラインの保存と実行 をクリックします。

JSON パイプライン定義の例:

JSON
"ingestion_definition": {

     "connection_name": "<connection-name>",

     "objects": [

       {

         "table": {

           "source_schema": "<source-schema>",

           "source_table": "<source-table>",

           "destination_catalog": "<destination-catalog>",

           "destination_schema": "<destination-schema>",

           "table_configuration": {

              "scd_type": "SCD_TYPE_2",

              "include_columns": ["<column-a>", "<column-b>", "<column-c>"]

           }

         }

       }

     ]

 }

追加のリソース​

に最終更新