メインコンテンツまでスキップ
に最終更新

Oktaからデータを取り込む

備考

ベータ版

この機能はベータ版です。使用するには、ワークスペース管理者は プレビュー ページから Lakeflow Connect for Okta を有効にする必要があります。Databricksのプレビューを管理を参照してください。

Okta データを Unity Catalog テーブルに取り込む管理された Lakeflow Connect パイプラインを作成します。Databricks UI、Declarative Automation Bundles、または Databricks ノートブックを使用します。

要件​

  • 取り込みパイプラインを作成するには、まず次の要件を満たす必要があります。

    • ワークスペースでUnity Catalogが有効になっている必要があります。

    • ワークスペースでServerless コンピュートを有効にする必要があります。Serverless コンピュートの要件を参照してください。

    • 新しい接続を作成するには、メタストアに対する CREATE CONNECTION 特権が必要です。Unity Catalog での権限の管理を参照してください。

      コネクタが UI ベースのパイプライン オーサリングをサポートしている場合、管理者はこのページのステップを完了することで、接続とパイプラインを同時に作成できます。 ただし、パイプラインを作成するユーザーが API ベースのパイプライン オーサリングを使用している場合、または管理者以外のユーザーである場合、管理者はまずカタログ エクスプローラーで接続を作成する必要があります。 「管理対象取り込みソースへの接続」を参照してください。

    • 既存の接続を使用するには、接続オブジェクトに対するUSE CONNECTION権限またはALL PRIVILEGES権限が必要です。

    • ターゲットカタログに対してUSE CATALOG権限が必要です。

    • 既存のスキーマに対する USE SCHEMA および CREATE TABLE 特権、またはターゲットカタログに対する CREATE SCHEMA 特権が必要です。

  • Okta から取り込むには、まず Databricks から認証を構成して接続を作成します。Okta の認証を構成するおよびOkta 接続を作成するを参照してください。

コネクターオプション​

Oktaコネクターが受け入れるオプション、そのスコープ、およびそれらが適用されるテーブルについては、「コネクターオプション」を参照してください。パイプラインスコープのオプションをsource_configurationsに設定します。使用例については、「例」を参照してください。

取り込みパイプラインを作成​

サポートされているソーステーブルのリストについては、「サポートされているソーステーブル」を参照してください。

  1. Databricksワークスペースのサイドバーで、 データ取り込み をクリックします。
  2. データの追加 ページの Databricks コネクタ で、 Okta をクリックします。
  3. 取り込みウィザードの 接続 ページで、Okta資格情報が保存されている接続を選択します。メタストアに対する CREATE CONNECTION 権限がある場合は、 プラスアイコン。 接続の作成 をクリックし、Okta の認証を構成する の資格情報を使用して接続を作成します。
  4. 次へ をクリックします。
  5. インジェスト設定 ページで、パイプラインの名前を入力します。
  6. イベント Logs を書き込むカタログとスキーマを選択します。カタログに対するUSE CATALOG権限とCREATE SCHEMA権限を持っている場合は、ドロップダウンメニューの プラスアイコン。 [スキーマの作成] をクリックしてスキーマを作成します。
  7. パイプラインの作成および続行 をクリックします。
  8. ソース ページで、取り込むテーブルを選択します。
  9. 保存して続行 をクリックします。
  10. 宛先 ページで、データを読み込むカタログとスキーマを選択します。カタログに対するUSE CATALOGおよびCREATE SCHEMA権限がある場合は、ドロップダウンメニューの プラスアイコン。 スキーマの作成 をクリックしてスキーマを作成します。
  11. 保存して続行 をクリックします。
  12. (オプション) スケジュールと通知 ページで、 プラスアイコン。 スケジュールの作成 をクリックします。宛先テーブルの更新頻度を設定します。
  13. (オプション) パイプライン操作の成功または失敗のEメール通知を設定するには、 プラスアイコン。 通知の追加 をクリックし、 保存してパイプラインをラン をクリックします。

例​

Okta コネクタを使用すると、default ソーススキーマの 25 個のソーステーブルを利用できます。個別のテーブル、または必要なテーブルを取り込みます。

特定のテーブルの取り込み​

このオプションを使用して、テーブルの特定のサブセットを取り込むか、テーブルごとに宛先の名前をカスタマイズします。オプションのstart_datetimeオプションは、各増分テーブルの最初の同期がどの程度遡って読み込まれるかを設定します。

次のパイプライン定義ファイルは、個々の Okta テーブルを取り込みます：

YAML
resources:
  pipelines:
    okta_pipeline:
      name: okta_pipeline
      catalog: 'main'
      target: 'okta_data'
      ingestion_definition:
        connection_name: okta_connection
        source_configurations:
          - api_source_connector_config:
              configs:
                start_datetime: '<start-datetime>'
        objects:
          - table:
              source_schema: 'default'
              source_table: 'users'
              destination_catalog: 'main'
              destination_schema: 'okta_data'
              destination_table: 'users'
          - table:
              source_schema: 'default'
              source_table: 'groups'
              destination_catalog: 'main'
              destination_schema: 'okta_data'
              destination_table: 'groups'
          - table:
              source_schema: 'default'
              source_table: 'group_members'
              destination_catalog: 'main'
              destination_schema: 'okta_data'
              destination_table: 'group_members'

宣言型オートメーションバンドルのジョブ定義ファイル​

以下は、Declarative Automation Bundlesで使用するジョブ定義ファイルの例です。ジョブは毎日実行されます。

YAML
resources:
  jobs:
    okta_job:
      name: okta_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: okta_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.okta_pipeline.id}

一般的なパターン​

高度なパイプライン構成については、マネージドインジェストパイプラインの一般的なパターンを参照してください。

次のステップ​

パイプラインの起動、スケジュール、アラートの設定を行う。一般的なパイプラインのメンテナンス タスクを参照してください。

その他のリソース​

このページの見出し