メインコンテンツまでスキップ
に最終更新

Anthropicからデータを取り込む

備考

ベータ版

この機能はベータ版です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。Databricksのプレビューを管理するを参照してください。

このページでは、Lakeflow Connectを使用して、Anthropic管理の取り込みパイプラインを作成する方法について説明します。

要件​

  • 取り込みパイプラインを作成するには、まず以下の要件を満たす必要があります。

    • ワークスペースでUnity Catalogが有効になっている必要があります。

    • Serverless コンピュートはワークスペースで有効にする必要があります。「Serverless コンピュートの要件」を参照してください。

    • 新しい接続を作成するには、メタストアに対するCREATE CONNECTION特権が必要です。Unity Catalogでの特権の管理を参照してください。

      コネクタが UI ベースのパイプライン オーサリングをサポートしている場合、管理者はこのページのステップを完了することで、接続とパイプラインを同時に作成できます。 ただし、パイプラインを作成するユーザーが API ベースのパイプライン オーサリングを使用している場合、または管理者以外のユーザーである場合、管理者はまずカタログ エクスプローラーで接続を作成する必要があります。 「管理対象取り込みソースへの接続」を参照してください。

    • 既存の接続を使用するには、接続オブジェクトに対するUSE CONNECTION権限またはALL PRIVILEGESが必要です。

    • ターゲット カタログに対する USE CATALOG 権限が必要です。

    • 既存のスキーマに対するUSE SCHEMAおよびCREATE TABLE権限、またはターゲットカタログに対するCREATE SCHEMA権限が必要です。

  • Anthropicから取り込むには、まずDatabricksから認証を設定する必要があります。Anthropicへの認証を設定するを参照してください。

取り込みパイプラインを作成​

  1. Databricksワークスペースのサイドバーで、 データ取り込み をクリックします。
  2. データの追加 ページで、 Databricksコネクタ の下にある Anthropic をクリックします。
  3. 取り込みウィザードの 接続 ページで、Anthropic のアクセス認証情報を格納している接続を選択します。メタストアに対する CREATE CONNECTION 特権がある場合、 プラスアイコン。 接続の作成 をクリックして、Anthropic 接続の作成で認証情報を使用して新しい接続を作成できます。
  4. 次へ をクリックします。
  5. Ingestion setup ページで、パイプラインの一意の名前を入力します。
  6. イベント event Logs を書き込むカタログとスキーマを選択します。カタログに対するUSE CATALOGおよびCREATE SCHEMA権限がある場合、ドロップダウンメニューで プラスアイコン。 スキーマを作成 をクリックして、新しいスキーマを作成できます。
  7. パイプラインの作成および続行 をクリックします。
  8. ソース ページで、取り込むテーブルを選択します。
  9. 保存して続行 をクリックします。
  10. 宛先 ページで、データをロードするカタログとスキーマを選択します。カタログに対するUSE CATALOG権限とCREATE SCHEMA権限がある場合、ドロップダウンメニューの[ プラスアイコン。 スキーマを作成 ] をクリックして新しいスキーマを作成できます。
  11. 保存して続行 をクリックします。
  12. (オプション) スケジュールと通知 ページで、 プラスアイコン。 スケジュールの作成 をクリックします。宛先テーブルを更新する頻度を設定します。
  13. (オプション) プラスアイコン。通知の追加 をクリックしてパイプライン操作の成功または失敗に関するEメール通知を設定し、 パイプラインを保存して実行 をクリックします。

例​

これらの例を使用してパイプラインを構成してください。

スキーマ全体を取り込む​

以下のパイプライン定義ファイルは、サポートされているすべてのAnthropicテーブルを宛先スキーマに取り込みます。

YAML
resources:
  pipelines:
    anthropic_pipeline:
      name: anthropic_pipeline
      catalog: 'main'
      target: 'anthropic_data'
      ingestion_definition:
        connection_name: anthropic_connection
        objects:
          - schema:
              source_schema: 'default'
              destination_catalog: 'main'
              destination_schema: 'anthropic_data'

特定のテーブルを取り込む​

個々のAnthropicテーブルを取り込む。サポートされているテーブルの完全なリストについては、サポートされているソース テーブルを参照してください。

以下のパイプライン定義ファイルは、個別の Anthropic テーブルを取り込みます:

YAML
resources:
  pipelines:
    anthropic_pipeline:
      name: anthropic_pipeline
      catalog: 'main'
      target: 'anthropic_data'
      ingestion_definition:
        connection_name: anthropic_connection
        objects:
          - table:
              source_schema: 'default'
              source_table: 'audit_log_activities'
              destination_catalog: 'main'
              destination_schema: 'anthropic_data'
              destination_table: 'audit_log_activities'
          - table:
              source_schema: 'default'
              source_table: 'organizations'
              destination_catalog: 'main'
              destination_schema: 'anthropic_data'
              destination_table: 'organizations'
          - table:
              source_schema: 'default'
              source_table: 'users'
              destination_catalog: 'main'
              destination_schema: 'anthropic_data'
              destination_table: 'users'
          - table:
              source_schema: 'default'
              source_table: 'chats'
              destination_catalog: 'main'
              destination_schema: 'anthropic_data'
              destination_table: 'chats'

宣言型オートメーションバンドル ジョブ定義ファイル​

YAML
resources:
  jobs:
    anthropic_job:
      name: anthropic_job
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'
        timezone_id: 'UTC'
      tasks:
        - task_key: anthropic_ingestion
          pipeline_task:
            pipeline_id: ${resources.pipelines.anthropic_pipeline.id}

一般的なパターン​

高度なパイプライン構成については、マネージド取り込みパイプラインの一般的なパターンを参照してください。

次のステップ​

パイプラインの起動、スケジュール、およびアラートを設定する。一般的なパイプラインのメンテナンス タスクを参照してください。

その他のリソース​

このページの見出し