APIコネクター
プレビュー
Lakewatch は プライベートプレビュー段階です。アクセスをリクエストするには、Databricksアカウントチームにお問い合わせください。
APIコネクタは、Unity Catalog接続を通じて、一般的なエンタープライズアプリケーションからセキュリティデータを直接Lakewatchに取り込む管理対象コネクタです。APIコネクタを使用してデータソースを作成すると、Lakewatchは外部ソースからデータを複製する基盤となる取り込みパイプラインを自動的に作成および管理します。
使用可能なコネクタとそのソース固有のセットアップガイドについては、サポートされている Logs を参照してください。
LakewatchのすべてのAPIコネクタは、次の特性を共有しています。
- マネージド取り込み : Lakewatchは、マネージドスケジュールでコネクタを実行し、ユーザーが作成したジョブを必要とせずに再試行とモニタリングを処理します。コネクターデータソースのスケジュールは変更できません。また、継続的なスケジュールはサポートされていません。
- Serverless インフラストラクチャ : コネクタは Serverless LakeFlow Pipelines 上で実行されます。
- 追加専用設計 ：新しいレコードはデータソースの未加工テーブルに追加されます。インプレース更新および行レベルの変更追跡はサポートされていません。
- マルチクラウドサポート : すべてのコネクタは、Databricks on AWS、Azure、またはGCPと互換性があります。
前提条件
APIコネクターを設定する前に、次のことを確認してください。
- Serverless パイプライン : ワークスペースで Serverless LakeFlow Pipelines を有効にします。
- 権限 : Unity Catalog が有効になっており、Unity Catalog 接続を作成または使用するための権限が必要です。接続権限を参照してください。
- コネクタのプレビュー : ワークスペース管理者は、 プレビュー ページからコネクタのプレビューを有効にする必要があります。プレビューがオンになるまで、コネクタはデータソース選択画面に表示されません。「コネクタのプレビューを有効にする」を参照してください。
- ネットワークアクセス ：ワークスペースのServerlessネットワークポリシーが制限付きアクセスを使用している場合、アカウント管理者はソースのAPIドメインをポリシーの 許可ドメイン リストに追加する必要があります。ネットワークポリシーでソースAPIドメインを許可するを参照してください。
各コネクタには、ソース固有の追加の前提条件がある場合があります。詳細については、「サポートされている Logs」の下にある各ソースのページを参照してください。
コネクタのプレビューを有効にする
LakewatchのAPIコネクタはベータ版です。 [データソースの追加] ピッカーでコネクタを表示するには、ワークスペース 管理者がそのコネクタのプレビューを個別にオンにする必要があります。ピッカーでコネクタを検索して「この検索またはカテゴリに一致するデータソースはありません」と表示された場合は、そのプレビューがオンになっていることを確認してください。
コネクタのプレビューを有効にするには：
- ワークスペース管理者として、ワークスペースの上部バーにあるユーザー名をクリックし、「 プレビュー 」を選択します。
- コネクタのプレビューをオンにします。次の表に、各コネクタのプレビュー名を示します。
コネクター | プレビュー名 |
|---|---|
1PasswordイベントLogs用Lakeflow Connect | |
Akamai WAF用Lakeflow Connect | |
Atlassian Audit Logs 用 Lakeflow Connect | |
Box 監査 Logs 用の Lakeflow Connect | |
CrowdStrike 用 Lakeflow Connect | |
GitHub用Lakeflow Connect | |
Google ワークスペース 用 Lakeflow Connect | |
Microsoft 365 Unified Audit Logs 用 Lakeflow Connect | |
Okta System Logs用Lakeflow Connect | |
Wiz監査Logs用Lakeflow Connect | |
Workday アクティビティログ用 Lakeflow Connect |
「Databricks プレビューの管理」を参照してください。
接続権限
APIコネクタは、Unity Catalogによって管理されるセキュリティ保護可能なオブジェクトであるUnity Catalog接続を通じて、ソースアプリケーションに対して認証を行います。コネクタバック型のデータソースを作成するには、これらの接続権限とUnity Catalogデータソース権限の両方が必要です。
コネクターでバックアップされたデータソースを作成する場合、フローの最初のステップで「 ソースへの接続 」の下でこの接続を設定します。リストから既存の接続を選択するか、[ + 接続の作成 ] をクリックして、ソース固有のダイアログ（「 Workday への接続の作成 」など）を開き、そこで接続に名前を付けてソースの認証情報を入力します。必要な権限は、以下によって異なります。
- 新しい接続を作成するには : メタストアに対する
CREATE CONNECTIONが必要です。 - 既存の接続を使用する場合 :その接続、またはメタストアに対する
USE CONNECTION特権が必要です。
メタストア管理者はこれらの権限を付与でき、接続の所有者は接続に対してUSE CONNECTIONを付与できます。詳細については、Unity Catalog権限リファレンスを参照してください。
ネットワークポリシーでソースAPIドメインを許可する
APIコネクタはServerlessコンピュートで実行されるため、ワークスペースのServerlessネットワークポリシーが到達可能なホストを制御します。ポリシーが 制限付きアクセス を使用している場合、コネクタはポリシーの 許可されたドメイン リストにあるドメインにのみ到達できます。ソースのAPIドメインがリストにない場合、コネクタはソースホストを解決できず、パイプラインの更新は失敗します。
コネクタがソースにアクセスできるようにするには、アカウント管理者がコネクタのドメインをポリシーの 許可されたドメイン リストに追加する必要があります。「Egressルールを設定する」をご覧ください。
コネクター | 許可するドメイン |
|---|---|
ベースURL のホスト（例： | |
「 Host 」（たとえば、 | |
| |
| |
ベース URL のホスト (たとえば | |
| |
| |
サブスクリプションプランの Office 365 管理 API ホスト: | |
Microsoft クラウド 設定の Microsoft Graph ホスト: | |
ドメイン （例： | |
| |
| |
インスタンスURL のホスト。 | |
サブドメイン （例： |
許可ドメイン リストへの変更のほとんどは、10 分以内にServerless コンピュートに反映されます。「ネットワーク ポリシーの変更を適用する」を参照してください。ポリシーによってブロックされたドメインを見つけるには、「拒否 Logs の確認」を参照してください。
コネクターでデータソースを作成する
コネクターベースのデータソースを作成するには、主に2つのステップがあります。
- ソースアプリケーションの構成 : ソースシステムで認証資格情報（APIトークン、OAuthクライアントなど）を設定します。各コネクタにはソース固有の手順があります。 サポートされているLogsのページを参照してください。
- Lakewatch UIでデータソースを作成する</strong}。 データソース で データソースを追加 をクリックし、ピッカーからコネクタを選択します。データソースの作成フォームには、次のセクションが表示されます：
- Unity Catalog接続を構成する ：フォームは接続セクションから始まります。ステップ1の資格情報を使用して新しい接続を作成するか、既存の接続を選択します。各コネクタには、ソースシステム固有の資格情報（APIトークンやOAuthクライアントなど）が必要です。権限については、接続権限を参照してください。
- 名前 ：データソース名を入力します。Lakewatchは現在の環境にそのテーブルを作成します。
- ヒストリカルデータ : オプションで、Lakewatchがどこまで遡って取り込むかを構成します。どれくらい遡って取り込むかを選択を参照してください。
- 実行とパーサー : 実行 ID を設定し、取り込まれたデータのスキーマを定義するパーサーをアタッチします。
- 詳細設定 ：必要に応じて パフォーマンスを最適化 を設定します。取り込みを高速化するためのパフォーマンス最適化コンピュートを使用する（オン）か、標準コンピュートを使用するか（オフ）を選択します。defaultは、ワークスペースの取り込みコンピュート設定です。
Lakewatchは、パイプラインの作成、スケジューリング、およびモニタリングを自動的に処理します。
どのくらい遡って取り込むかを選択
データソース作成フォームの 「実行」 セクションで、 「ヒストリカルデータの取り込み」 トグルを探します。defaultではオフになっているため、Lakewatchはデータソース作成時に起動され、最後に取得されたイベントから続行されます。ソース履歴のウィンドウをバックフィルするために選択します。選択すると、ヘルプテキストにコネクターの最大ルックバックが表示されます。この設定は初回起動時にのみ有効であり、作成後に変更することはできません。
大規模な履歴ウィンドウは、取り込みに時間がかかり、取り込みコストが増加する可能性があります。
コネクタがヒストリカルルックバックをサポートしていない場合、 ヒストリカルデータを取り込む は表示されません。ソース保持制限については、Logsのコネクタのページを参照してください。
パーサーのアタッチと構成
コネクターに裏打ちされたデータソースを作成すると、Lakewatch はコネクターのソースデータと一致するすべての組み込みパーサーを自動的に選択します。パーサーの選択を解除したり追加したりして調整できますが、少なくとも1つのパーサーを選択したままにする必要があります。データソースの作成後にパーサーを変更することはできません。異なるパーサーを使用するには、データソースを再作成してください。「パーサーの添付」および「データソースのパーサーの変更」を参照してください。
解析された宛先。 defaultでは、各パーサーは環境内のテーブルに書き込みを行い、テーブル名はパーサー名から導出されます。パーサーの解析済み出力を別のテーブルに送信するには、そのパーサーの解析済み宛先（ターゲットテーブル）を設定します。既存のテーブルと競合しない宛先名を選択します。
データソースの作成後にデータソースを管理する
データソースは作成するとすぐに起動を開始します。スケジュールは管理されており変更できませんが、 概要 tabでいつでも他の設定（コンピュートと注釈）を編集したり、データソースの作成と管理の説明に従ってランを監視したり削除したりできます。