Microsoft Dynamics 365からデータを取り込む

備考

プレビュー

この機能はパブリックプレビュー段階です。

Databricks LakeFlow Connectを使用して、マネージドMicrosoft Dynamics 365 インジェストパイプラインを作成する方法を学びます。

要件

取り込みパイプラインを作成するには、まず次の要件を満たす必要があります。
- ワークスペースでUnity Catalogが有効になっている必要があります。
- ワークスペースでサーバレスコンピュートを有効にする必要があります。「サーバレスコンピュート要件」を参照してください。
- 新しい接続を作成する場合：メタストアに対してCREATE CONNECTION権限が必要です。Unity Catalogの「権限の管理」を参照してください。
  
  コネクタが UI ベースのパイプラインオーサリングをサポートしている場合、管理者はこのページのステップを完了することで、接続とパイプラインを同時に作成できます。ただし、パイプラインを作成するユーザーが API ベースのパイプラインオーサリングを使用している場合、または管理者以外のユーザーである場合、管理者はまずカタログエクスプローラーで接続を作成する必要があります。「管理対象取り込みソースへの接続」を参照してください。
- 既存の接続を使用する場合: 接続オブジェクトに対するUSE CONNECTION権限またはALL PRIVILEGESが必要です。
- ターゲットカタログに対するUSE CATALOG権限が必要です。
- 既存のスキーマに対するUSE SCHEMAおよびCREATE TABLE権限、またはターゲットカタログに対するCREATE SCHEMA権限が必要です。
Dynamics 365 から取り込むには、まずMicrosoft Dynamics 365 取り込み用のデータソースの構成のステップを完了する必要があります。

取り込みパイプラインを作成する

Databricks UI
Databricks Asset Bundles

Databricksワークスペースのサイドバーで、 データ取り込み をクリックします。
[データの追加] ページの [Databricks コネクタ] で、 [Microsoft Dynamics 365] をクリックします。
インジェストウィザードの [ 接続] ページで、Microsoft Dynamics 365 アクセス資格情報を保存する接続を選択します。メタストアにCREATE CONNECTION権限がある場合は、クリックして 接続の作成をクリックして 、 Microsoft Dynamics 365 取り込み用のデータソースの構成の認証詳細を使用して新しい接続を作成します。
次へをクリックします。
インジェスチョン設定 ページで、パイプラインの一意の名前を入力します。
イベントログを書き込むカタログとスキーマを選択します。カタログに対してUSE CATALOGとCREATE SCHEMA権限を持っている場合は、クリックできます。新しいスキーマを作成するには、ドロップダウンメニューでスキーマを作成します。
パイプラインの作成および続行 をクリックします。
[ソース] ページで、Dataverse 環境の URL を入力し、取り込むテーブルを選択します。
保存して続行 をクリックします。
[宛先] ページで、データをロードするカタログとスキーマを選択します。カタログに対してUSE CATALOGとCREATE SCHEMA権限を持っている場合は、クリックできます。新しいスキーマを作成するには、ドロップダウンメニューでスキーマを作成します。
保存して続行 をクリックします。
（オプション） スケジュールと通知 ページで、 スケジュールを作成します 。宛先テーブルを更新する頻度を設定します。
（オプション）クリック 通知を追加して パイプライン操作の成功または失敗に関する電子メール通知を設定し、 [保存してパイプラインを実行] をクリックします。

宣言型オートメーションバンドルを使用して、D365 パイプラインをコードとして管理します。バンドルにはジョブとタスクの YAML 定義を含めることができ、 Databricks CLIを使用して管理でき、さまざまなターゲットワークスペース (開発、ステージング、本番運用など) で共有して実行できます。詳細については、「宣言的オートメーションバンドルとは何ですか?」を参照してください。。

Databricks CLI を使用して新しいバンドルを作成します。
Bash
```
databricks bundle init
```
バンドルに 2 つの新しいリソースファイルを追加します。
- パイプライン定義ファイル (例: resources/d365_pipeline.yml )。パイプライン.ingestion_定義を参照してください。および例。
- データ取り込みの頻度を制御するジョブ定義ファイル (例: resources/d365_job.yml )。
Databricks CLI を使用してパイプラインをデプロイします。
Bash
```
databricks bundle deploy
```

パイプラインの作成を確認する

パイプラインを作成したら、次の操作を行います。

ワークスペースの 「ジョブとパイプライン」 に移動します。
名前でパイプラインを見つけます。
詳細を表示するにはパイプラインを選択します。
初期取り込みを実行するには、 [開始] を選択します。
パイプラインの実行を監視し、パイプラインがターゲットスキーマにテーブルを作成することを確認します。

取り込んだデータを確認するには:

SQL
-- Check the account table
SELECT * FROM main.d365_data.account LIMIT 10;

-- Verify record counts
SELECT COUNT(*) FROM main.d365_data.account;

注記

最初のパイプライン実行では、選択されたすべてのテーブルの完全更新が実行されます。後続の実行では、Azure Synapse Link の変更ログのVersionNumberカーソルに基づいて増分インジェストが使用されます。

例

これらの例を使用してパイプラインを構成します。

単一のソーステーブルを取り込む

次のパイプライン定義ファイルは、単一のソーステーブルを取り込みます。

YAML
resources:
  pipelines:
    d365_ingestion:
      name: 'd365_ingestion'
      catalog: 'main'
      schema: 'd365_data'
      ingestion_definition:
        channel: 'PREVIEW'
        connection_name: 'd365_connection'
        objects:
          - table:
              source_schema: 'https://yourorg.crm.dynamics.com'
              source_table: account
              destination_catalog: 'main'
              destination_schema: 'd365_data'

複数のソーステーブルを取り込む

次のパイプライン定義ファイルは、複数のソーステーブルを取り込みます。

YAML
resources:
  pipelines:
    d365_ingestion:
      name: 'd365_ingestion'
      catalog: 'main'
      schema: 'd365_data'
      ingestion_definition:
        channel: 'PREVIEW'
        connection_name: 'd365_connection'
        objects:
          - table:
              source_schema: 'https://yourorg.crm.dynamics.com'
              source_table: account
              destination_catalog: 'main'
              destination_schema: 'd365_data'
          - table:
              source_schema: 'https://yourorg.crm.dynamics.com'
              source_table: contact
              destination_catalog: 'main'
              destination_schema: 'd365_data'

バンドルジョブ定義ファイル

以下は、宣言型自動化バンドルで使用するジョブ定義ファイルの例です。ジョブは毎日、最後の実行からちょうど 1 日後に実行されます。

YAML
resources:
  jobs:
    d365_dab_job:
      name: d365_dab_job

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      email_notifications:
        on_failure:
          - <email-address>

      tasks:
        - task_key: refresh_pipeline
          pipeline_task:
            pipeline_id: ${resources.pipelines.d365_ingestion.id}

一般的なパターン

高度なパイプライン構成については、「管理された取り込みパイプラインの一般的なパターン」を参照してください。

次のステップ

パイプラインを開始、スケジュールし、アラートを設定します。一般的なパイプラインメンテナンスタスクを参照してください。

要件​

取り込みパイプラインを作成する​

パイプラインの作成を確認する​

例​

単一のソーステーブルを取り込む​

複数のソーステーブルを取り込む​

バンドルジョブ定義ファイル​

一般的なパターン​

次のステップ​

その他のリソース​

要件