Microsoft Outlookからデータを取り込む
ベータ版
この機能はベータ版です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。Databricksのプレビューを管理するを参照してください。
このページでは、 Databricks LakeFlow Connectを使用してマネージド Outlook インジェスト パイプラインを作成する方法を示します。
要件
-
取り込みパイプラインを作成するには、まず以下の要件を満たす必要があります。
-
ワークスペースでUnity Catalogが有効になっている必要があります。
-
ワークスペースでサーバレスコンピュートを有効にする必要があります。 「サーバレス コンピュート要件」を参照してください。
-
新しい接続を作成する場合:メタストアに対して
CREATE CONNECTION権限が必要です。Unity Catalogの「権限の管理」を参照してください。コネクタが UI ベースのパイプライン オーサリングをサポートしている場合、管理者はこのページのステップを完了することで、接続とパイプラインを同時に作成できます。 ただし、パイプラインを作成するユーザーが API ベースのパイプライン オーサリングを使用している場合、または管理者以外のユーザーである場合、管理者はまずカタログ エクスプローラーで接続を作成する必要があります。 「管理対象取り込みソースへの接続」を参照してください。
-
既存の接続を使用する場合:接続オブジェクトに対して
USE CONNECTION権限、またはALL PRIVILEGES権限が必要です。 -
対象カタログに対して
USE CATALOG権限が必要です。 -
既存のスキーマに対して
USE SCHEMAおよびCREATE TABLE権限、または対象カタログに対してCREATE SCHEMA権限が必要です。
-
-
Microsoft Outlook から取り込むには、まず「 Microsoft Outlook への認証の構成」を完了し、 Outlookを使用して接続を作成する必要があります。
取り込みパイプラインを作成する
このコネクタは、 defaultスキーマの下にある単一のテーブルemail_messagesをサポートします。すべてのメールボックスはこのテーブルに統合され、 mailbox列によって区別されます。宛先スキーマの詳細については、 「サポートされているデータ」を参照してください。
- Databricks UI
- Declarative Automation Bundles
- Databricks notebook
- Databricksワークスペースのサイドバーで、 データ取り込み をクリックします。
- 「データの追加」 ページで、 「Databricksコネクタ」 の下にある 「Outlook」 をクリックします。
- 取り込みウィザードの 「接続」 ページで、Microsoft Outlookのアクセス資格情報が保存されている接続を選択します。メタストアで
CREATE CONNECTION権限を持っている場合は、クリックできますMicrosoft Outlook への認証を構成する際に認証の詳細を使用して新しい接続を作成するには、接続を作成します。
- 次へ をクリックします。
- 取り込み設定 ページで、パイプラインの一意の名前を入力します。
- イベントログを書き込むカタログとスキーマを選択してください。カタログに対して
USE CATALOGとCREATE SCHEMA権限をお持ちの場合は、クリックできます。ドロップダウンメニューから「スキーマを作成」を選択して、新しいスキーマを作成します。
- パイプラインの作成および続行 をクリックします。
- ソース ページで、
email_messagesテーブルを取り込むためのスキーマとしてdefaultを選択します。 - 保存して続行 をクリックします。
- 「宛先」 ページで、データをロードするカタログとスキーマを選択します。カタログに対して
USE CATALOGとCREATE SCHEMA権限をお持ちの場合は、クリックできます。ドロップダウンメニューから「スキーマを作成」を選択して、新しいスキーマを作成します。
- 保存して続行 をクリックします。
- (オプション) スケジュールと通知 ページで、
スケジュールを作成します 。宛先テーブルを更新する頻度を設定します。
- (オプション)クリック
通知を追加して パイプライン操作の成功または失敗に関する電子メール通知を設定し、 [保存してパイプラインを実行] をクリックします。
宣言的オートメーション バンドルを使用して、Outlook パイプラインをコードとして管理します。 バンドルにはジョブとタスクの YAML 定義を含めることができ、 Databricks CLIを使用して管理でき、さまざまなターゲット ワークスペース (開発、ステージング、本番運用など) で共有して実行できます。 詳細については、 「宣言的オートメーション バンドルとは何ですか?」を参照してください。 。
-
Databricks CLIを使用してバンドルを作成します。
Bashdatabricks bundle init -
バンドルに2つの新しいリソースファイルを追加します。
- パイプライン定義ファイル(例:
resources/outlook_pipeline.yml)。パイプライン.ingestion_定義を参照してください。 そして例。 - データ取り込みの頻度を制御するジョブ定義ファイル(例:
resources/outlook_job.yml)。
- パイプライン定義ファイル(例:
-
Databricks CLIを使用してパイプラインをデプロイします。
Bashdatabricks bundle deploy
- 次のノートブックをDatabricksワークスペースにインポートします。
-
セル1はそのままにしておいてください。
-
3番目のセルにパイプライン構成の詳細を入力してください。パイプライン.ingestion_定義を参照してください。 そして例。
-
「 すべて実行 」をクリックします。
例
これらの例を参考に、パイプラインを設定してください。利用可能なコネクタの全リストについては、コネクタオプションを参照してくださいoutlook_options 。
すべての電子メール メッセージを取り込む (無事受信トレイ フォルダー)
この例では、テナント内のアクセス可能なすべてのメールボックスの受信トレイ フォルダーから電子メール メッセージを取り込みます。
- Declarative Automation Bundles
- Databricks notebook
variables:
dest_catalog:
default: main
dest_schema:
default: ingest_destination_schema
resources:
pipelines:
pipeline_outlook:
name: outlook_pipeline
catalog: ${var.dest_catalog}
schema: ${var.dest_schema}
ingestion_definition:
connection_name: <outlook-connection>
objects:
- schema:
source_schema: default
destination_catalog: ${var.dest_catalog}
destination_schema: ${var.dest_schema}
connector_options:
outlook_options:
start_date: '2024-01-01'
pipeline_spec = """
{
"name": "<pipeline-name>",
"ingestion_definition": {
"connection_name": "<outlook-connection>",
"objects": [
{
"schema": {
"source_schema": "default",
"destination_catalog": "main",
"destination_schema": "ingest_destination_schema",
"connector_options": {
"outlook_options": {
"start_date": "2024-01-01"
}
}
}
}
]
},
"channel": "PREVIEW"
}
"""
create_pipeline(pipeline_spec)
フィルターを使用して特定のメールボックスからデータを取り込みます
この例では、フォルダ、送信者、件名でフィルタリングされた特定のメールボックスからの電子メールメッセージを取り込みます。
- Declarative Automation Bundles
- Databricks notebook
variables:
dest_catalog:
default: main
dest_schema:
default: ingest_destination_schema
resources:
pipelines:
pipeline_outlook:
name: outlook_pipeline
catalog: ${var.dest_catalog}
schema: ${var.dest_schema}
ingestion_definition:
connection_name: <outlook-connection>
objects:
- schema:
source_schema: default
destination_catalog: ${var.dest_catalog}
destination_schema: ${var.dest_schema}
connector_options:
outlook_options:
include_mailboxes:
- user1@contoso.com
- user2@contoso.com
include_folders:
- Inbox
- Sent Items
include_senders:
- alerts@vendor.com
- noreply@system.io
include_subjects:
- SubjectExactMatch
- SubjectPrefixMatch*
start_date: '2024-01-01'
body_format: TEXT_PLAIN
attachment_mode: NON_INLINE_ONLY
pipeline_spec = """
{
"name": "<pipeline-name>",
"ingestion_definition": {
"connection_name": "<outlook-connection>",
"objects": [
{
"schema": {
"source_schema": "default",
"destination_catalog": "main",
"destination_schema": "ingest_destination_schema",
"connector_options": {
"outlook_options": {
"include_mailboxes": ["user1@contoso.com", "user2@contoso.com"],
"include_folders": ["Inbox", "Sent Items"],
"include_senders": ["alerts@vendor.com", "noreply@system.io"],
"include_subjects": ["SubjectExactMatch", "SubjectPrefixMatch*"],
"start_date": "2024-01-01",
"body_format": "TEXT_PLAIN",
"attachment_mode": "NON_INLINE_ONLY"
}
}
}
}
]
},
"channel": "PREVIEW"
}
"""
create_pipeline(pipeline_spec)
email_messagesテーブルを明示的に取り込む
この例では、スキーマを対象とする代わりに、 email_messagesテーブルを直接選択します。
- Declarative Automation Bundles
- Databricks notebook
variables:
dest_catalog:
default: main
dest_schema:
default: ingest_destination_schema
resources:
pipelines:
pipeline_outlook:
name: outlook_pipeline
catalog: ${var.dest_catalog}
schema: ${var.dest_schema}
ingestion_definition:
connection_name: <outlook-connection>
objects:
- table:
source_schema: default
source_table: email_messages
destination_catalog: ${var.dest_catalog}
destination_schema: ${var.dest_schema}
destination_table: my_email_messages
connector_options:
outlook_options:
start_date: '2024-01-01'
pipeline_spec = """
{
"name": "<pipeline-name>",
"ingestion_definition": {
"connection_name": "<outlook-connection>",
"objects": [
{
"table": {
"source_schema": "default",
"source_table": "email_messages",
"destination_catalog": "main",
"destination_schema": "ingest_destination_schema",
"destination_table": "my_email_messages",
"connector_options": {
"outlook_options": {
"start_date": "2024-01-01"
}
}
}
}
]
},
"channel": "PREVIEW"
}
"""
create_pipeline(pipeline_spec)
バンドルジョブ定義ファイル
以下は、宣言型自動化バンドルで使用するジョブ定義ファイルの例です。ジョブは毎日、最後の実行からちょうど 1 日後に実行されます。
resources:
jobs:
outlook_dab_job:
name: outlook_dab_job
trigger:
periodic:
interval: 1
unit: DAYS
email_notifications:
on_failure:
- <email-address>
tasks:
- task_key: refresh_pipeline
pipeline_task:
pipeline_id: ${resources.pipelines.pipeline_outlook.id}
一般的なパターン
高度なパイプライン構成については、 「管理された取り込みパイプラインの一般的なパターン」を参照してください。
次のステップ
パイプラインの開始、スケジュール設定、アラートの設定を行います。「一般的なパイプラインのメンテナンス作業」を参照してください。