APIコネクター
プレビュー
Lakewatch は プライベートプレビュー段階です。アクセスをリクエストするには、Databricksアカウントチームにお問い合わせください。
APIコネクタは、Unity Catalog接続を通じて、一般的なエンタープライズアプリケーションからセキュリティデータを直接Lakewatchに取り込む管理対象コネクタです。APIコネクタを使用してデータソースを作成すると、Lakewatchは外部ソースからデータを複製する基盤となる取り込みパイプラインを自動的に作成および管理します。
使用可能なコネクタとそのソース固有のセットアップガイドについては、サポートされている Logs を参照してください。
LakewatchのすべてのAPIコネクタは、次の特性を共有しています。
- マネージド取り込み : Lakewatchは、マネージドスケジュールでコネクタを実行し、ユーザーが作成したジョブを必要とせずに再試行とモニタリングを処理します。コネクターデータソースのスケジュールは変更できません。また、継続的なスケジュールはサポートされていません。
- Serverlessインフラストラクチャ ：コネクタはServerless Lakeflow Spark Declarative Pipelines（SDP）上で実行されます。
- 追加専用設計 ：新しいレコードはデータソースの未加工テーブルに追加されます。インプレース更新および行レベルの変更追跡はサポートされていません。
- マルチクラウドサポート : すべてのコネクタは、Databricks on AWS、Azure、またはGCPと互換性があります。
前提条件
APIコネクターを設定する前に、次のことを確認してください。
- Serverless パイプライン : ワークスペースでServerless Lakeflow SDP をオンにします。
- 権限 : Unity Catalog が有効になっており、Unity Catalog 接続を作成または使用するための権限が必要です。接続権限を参照してください。
各コネクタには、ソース固有の追加の前提条件がある場合があります。詳細については、「サポートされている Logs」の下にある各ソースのページを参照してください。
接続権限
APIコネクタは、Unity Catalogによって管理されるセキュリティ保護可能なオブジェクトであるUnity Catalog接続を通じて、ソースアプリケーションに対して認証を行います。コネクタバック型のデータソースを作成するには、これらの接続権限とUnity Catalogデータソース権限の両方が必要です。
コネクターでバックアップされたデータソースを作成する場合、フローの最初のステップで「 ソースへの接続 」の下でこの接続を設定します。リストから既存の接続を選択するか、[ + 接続の作成 ] をクリックして、ソース固有のダイアログ（「 Workday への接続の作成 」など）を開き、そこで接続に名前を付けてソースの認証情報を入力します。必要な権限は、以下によって異なります。
- 新しい接続を作成するには : メタストアに対する
CREATE CONNECTIONが必要です。 - 既存の接続を使用する場合 :その接続、またはメタストアに対する
USE CONNECTION特権が必要です。
メタストア管理者はこれらの権限を付与でき、接続の所有者はそれに対してUSE CONNECTIONを付与できます。詳細については、Unity Catalog の特権とセキュリティ保護可能なオブジェクトを参照してください。
コネクターでデータソースを作成する
コネクターベースのデータソースを作成するには、主に2つのステップがあります。
- ソースアプリケーションの構成 : ソースシステムで認証資格情報（APIトークン、OAuthクライアントなど）を設定します。各コネクタにはソース固有の手順があります。 サポートされているLogsのページを参照してください。
- Lakewatch UIでデータソースを作成する</strong}。 データソース で データソースを追加 をクリックし、ピッカーからコネクタを選択します。データソースの作成フォームには、次のセクションが表示されます：
- Unity Catalog接続を構成する ：フォームは接続セクションから始まります。ステップ1の資格情報を使用して新しい接続を作成するか、既存の接続を選択します。各コネクタには、ソースシステム固有の資格情報（APIトークンやOAuthクライアントなど）が必要です。権限については、接続権限を参照してください。
- 名前 ：データソース名を入力します。Lakewatchは現在の環境にそのテーブルを作成します。
- ヒストリカルデータ : オプションで、Lakewatchがどこまで遡って取り込むかを構成します。どれくらい遡って取り込むかを選択を参照してください。
- 実行とパーサー : 実行 ID を設定し、取り込まれたデータのスキーマを定義するパーサーをアタッチします。
- 詳細設定 ：必要に応じて パフォーマンスを最適化 を設定します。取り込みを高速化するためのパフォーマンス最適化コンピュートを使用する（オン）か、標準コンピュートを使用するか（オフ）を選択します。defaultは、ワークスペースの取り込みコンピュート設定です。
Lakewatchは、パイプラインの作成、スケジューリング、およびモニタリングを自動的に処理します。
どのくらい遡って取り込むかを選択
データソース作成フォームの 「実行」 セクションで、 「ヒストリカルデータの取り込み」 トグルを探します。defaultではオフになっているため、Lakewatchはデータソース作成時に起動され、最後に取得されたイベントから続行されます。ソース履歴のウィンドウをバックフィルするために選択します。選択すると、ヘルプテキストにコネクターの最大ルックバックが表示されます。この設定は初回起動時にのみ有効であり、作成後に変更することはできません。
大規模な履歴ウィンドウは、取り込みに時間がかかり、取り込みコストが増加する可能性があります。
コネクタがヒストリカルルックバックをサポートしていない場合、 ヒストリカルデータを取り込む は表示されません。ソース保持制限については、Logsのコネクタのページを参照してください。
パーサーのアタッチと構成
コネクターに裏打ちされたデータソースを作成すると、Lakewatch はコネクターのソースデータと一致するすべての組み込みパーサーを自動的に選択します。パーサーの選択を解除したり追加したりして調整できますが、少なくとも1つのパーサーを選択したままにする必要があります。データソースの作成後にパーサーを変更することはできません。異なるパーサーを使用するには、データソースを再作成してください。「パーサーの添付」および「データソースのパーサーの変更」を参照してください。
解析された宛先。 defaultでは、各パーサーは環境内のテーブルに書き込みを行い、テーブル名はパーサー名から導出されます。パーサーの解析済み出力を別のテーブルに送信するには、そのパーサーの解析済み宛先（ターゲットテーブル）を設定します。既存のテーブルと競合しない宛先名を選択します。
データソースの作成後にデータソースを管理する
データソースは作成するとすぐに起動を開始します。スケジュールは管理されており変更できませんが、 概要 tabでいつでも他の設定（コンピュートと注釈）を編集したり、データソースの作成と管理の説明に従ってランを監視したり削除したりできます。