APIコネクター
ベータ版
Lakewatchはベータ版です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。ワークスペースレベルのプレビューを管理するを参照してください。
APIコネクタは、Unity Catalog接続を通じて、一般的なエンタープライズアプリケーションからセキュリティデータを直接Lakewatchに取り込む管理対象コネクタです。APIコネクタを使用してデータソースを作成すると、Lakewatchは外部ソースからデータを複製する基盤となる取り込みパイプラインを自動的に作成および管理します。
使用可能なコネクタとそのソース固有のセットアップガイドについては、サポートされている Logs を参照してください。
LakewatchのすべてのAPIコネクタは、次の特性を共有しています。
- マネージドインジェクション :Lakewatch は、設定したスケジュールでコネクタを実行し、ユーザーがジョブを作成することなく、リトライとモニタリングを処理します。コネクタのデータソースは、間隔スケジュールと Cron スケジュールをサポートしていますが、継続的スケジュールはサポートしていません。
- Serverless インフラストラクチャ : コネクタは Serverless LakeFlow Pipelines 上で実行されます。
- 追記専用設計 : 新しいレコードは、構成されたターゲットテーブルに追加されます。インプレース更新および行レベルの変更トラッキングはサポートされていません。
コネクタ出力テーブル
コネクタは、各ソーステーブルを、組み込みパーサー用に設定された宛先に直接書き込みます。Lakewatchは、別個のrawステージングテーブルを作成せず、2回目の解析ステップも適用しません。送信先は、型付きソースフィールドとLakewatch列を含め、コネクタのスキーマを使用します。
取り込み中に、コネクタは lw_meta をデータソースおよび接続 ID、パーサー名とバージョン、および取り込み時間と共に付加します。また、ソースレコードからセキュリティ観測対象を用いて lw_observables を設定します。アタッチされた組み込みパーサーは、各ソーステーブルの宛先を設定します。
各コネクタの出力スキーマおよび監視対象については、サポートされている Logs の各ページをご覧ください。
前提条件
APIコネクタを設定する前に、次の要件を満たしていることを確認してください。
- Serverless パイプライン : ワークスペースで Serverless LakeFlow Pipelines を有効にします。
- 権限 : ワークスペースを Unity Catalog に対して有効にする必要があり、Unity Catalog 接続を作成または使用する権限が必要です。接続の権限を参照してください。
- コネクタプレビュー :コネクタプレビューをオンにするに記載されているコネクタの場合、ワークスペース管理者が プレビュー ページからプレビューをオンにする必要があります。プレビューがオンになるまで、そのコネクタはデータソースピッカーに表示されません。Zendeskは一般公開されており、このオプトインは必要ありません。
- ネットワークアクセス :ワークスペースのServerlessネットワークポリシーが制限付きアクセスを使用している場合、アカウント管理者はソースのAPIドメインをポリシーの 許可ドメイン リストに追加する必要があります。ネットワークポリシーでソースAPIドメインを許可するを参照してください。
一部のコネクタには、ソース固有の追加の前提条件があります。詳細については、サポートされるLogsの個々のソースページを参照してください。
コネクタのプレビューを有効にする
以下にリストされているコネクタはベータ版です。 データソースの追加 ピッカーでこれらのコネクタのいずれかを表示するには、ワークスペース管理者がプレビューを個別にオンにする必要があります。ピッカーでこれらのコネクタのいずれかを検索して"No datasources match this search or category,"と表示された場合は、プレビューがオンになっていることを確認してください。Zendeskは一般公開されており、コネクタプレビューにオプトインする必要はありません。
コネクタのプレビューを有効にするには:
- ワークスペース管理者として、ワークスペースの上部バーにあるユーザー名を選択し、「 プレビュー 」を選択します。
- コネクタのプレビューをオンにします。次の表に、各コネクタのプレビュー名を示します。
コネクター | プレビュー名 |
|---|---|
1PasswordイベントLogs用Lakeflow Connect | |
Akamai WAF用Lakeflow Connect | |
Atlassian Audit Logs 用 Lakeflow Connect | |
Box 監査 Logs 用の Lakeflow Connect | |
CrowdStrike 用 Lakeflow Connect | |
GitHub用Lakeflow Connect | |
Google ワークスペース 用 Lakeflow Connect | |
Microsoft 365 Unified Audit Logs 用 Lakeflow Connect | |
Microsoft Graph Logs 用 Lakeflow Connect | |
Okta System Logs用Lakeflow Connect | |
OpenAI用のLakeflow Connect | |
Wiz監査Logs用Lakeflow Connect | |
Workday アクティビティログ用 Lakeflow Connect |
「Databricks プレビューの管理」を参照してください。
接続権限
APIコネクタは、Unity Catalogによって管理されるセキュリティ保護可能なオブジェクトであるUnity Catalog接続を通じて、ソースアプリケーションに対して認証を行います。コネクタバック型のデータソースを作成するには、これらの接続権限とUnity Catalogデータソース権限の両方が必要です。
コネクタベースのデータソースを作成する際、フローの最初のステップで ソースへの接続 の下にこの接続を設定します。リストから既存の接続を選択するか、 接続の作成 を選択して、ソース固有のダイアログ(例: Workdayへの接続の作成 )を開き、そこで接続に名前を付けてソースの資格情報を入力します。必要な権限は、使用するオプションによって異なります。
- 新しい接続を作成するには : メタストアに対する
CREATE CONNECTIONが必要です。 - 既存の接続を使用する場合 :その接続、またはメタストアで
USE CONNECTIONが必要です。使用できない接続はリストに表示されず、 この接続を使用する権限がありません と表示されます。
メタストア管理者はこれらの権限を付与でき、接続の所有者は接続に対してUSE CONNECTIONを付与できます。詳細については、Unity Catalog権限リファレンスを参照してください。
ネットワークポリシーでソースAPIドメインを許可する
APIコネクタはServerlessコンピュートで実行されるため、ワークスペースのServerlessネットワークポリシーが到達可能なホストを制御します。ポリシーが 制限付きアクセス を使用している場合、コネクタはポリシーの 許可されたドメイン リストにあるドメインにのみ到達できます。ソースのAPIドメインがリストにない場合、コネクタはソースホストを解決できず、パイプラインの更新は失敗します。
コネクタがソースにアクセスできるようにするには、アカウント管理者がコネクタのドメインをポリシーの 許可されたドメイン リストに追加する必要があります。「Egressルールを設定する」をご覧ください。
コネクター | 許可するドメイン |
|---|---|
ベースURL のホスト(例: | |
「 Host 」(たとえば、 | |
| |
| |
ベース URL のホスト (たとえば | |
| |
| |
サブスクリプションプランの Office 365 管理 API ホスト: | |
Microsoft クラウド 設定の Microsoft Graph ホスト: | |
ドメイン (例: | |
| |
| |
インスタンスURL のホスト。 | |
サブドメイン (例: |
許可ドメイン リストへの変更のほとんどは、10 分以内にServerless コンピュートに反映されます。「ネットワーク ポリシーの変更を適用する」を参照してください。ポリシーによってブロックされたドメインを見つけるには、「拒否 Logs の確認」を参照してください。
コネクターでデータソースを作成する
コネクターベースのデータソースを作成するには、主に2つのステップがあります。
-
ソースアプリケーションの構成 :ソースシステムで認証認証情報(APIトークン、OAuthクライアントなど)をセットアップします。各コネクタには、ソース固有の手順があります。サポートされている logs のページを参照してください。
-
Lakewatch UIでのデータソースの作成 : データソース から、 データソースの追加 を選択し、ピッカーからコネクターを選択します。データソース作成フォームには、以下のセクションがあります:
- 名前 : Lakewatchは、
okta_system_logsなどの名前を事前に入力します。そのまま保持するか、別の名前を入力できます。名前にスペース、ピリオド、またはスラッシュを含めることはできません。 - ソースへの接続 : 新しい接続を作成するか、ステップ1の認証情報を使用して既存の接続を選択します。各コネクタには、ソースシステムに固有の認証情報(APIトークンやOAuthクライアントなど)が必要です。権限については、接続権限を参照してください。
- 実行 : ラン-as IDを設定します。複数のフォルダーが利用可能な場合は、データソースのテーブルを保持するフォルダーも選択します。コネクターがヒストリカルルックバックをサポートしている場合、 ヒストリカルデータの取り込み もここに表示されます。「データを取り込む期間を選択する」を参照してください。
- 詳細設定 : オプションで、 スケジュール を設定します。間隔を設定する場合は 少なくとも毎日 、cron スケジュールを設定する場合は 正確に を設定します。defaultは少なくとも10分ごとです。インジェクションスケジュールの設定をご覧ください。また、 パフォーマンス最適化 をオンにして、取り込みを高速化するためにパフォーマンス最適化コンピュートを使用したり、オフのままにして標準コンピュートを使用したりすることもできます。default は ワークスペースの取り込みコンピュート設定 です。
パーサー カードはこれらのセクションの後に続きます。パーサーの添付と構成を参照してください。
- 名前 : Lakewatchは、
Lakewatchは、パイプラインの作成、スケジューリング、およびモニタリングを自動的に処理します。
取り込みスケジュールを構成します
詳細設定 で、 スケジュール を設定します:
- 少なくとも間隔 :間隔を入力し、その単位を選択します。
- 正確に :ビジュアルピッカーで正確なスケジュールを構成するか、 Cron構文の表示 を選択してQuartz Cron式を入力します。
APIコネクタは連続スケジューリングをサポートしていません。データソースの作成後にスケジュールを変更するには、 Configuration tabを使用します。作成後のデータソースの管理を参照してください。
どのくらい遡って取り込むかを選択
データソースの作成フォームで、 Execution セクションにある ヒストリカルデータを取り込む オプションを探してください。defaultではチェックが外れているため、Lakewatchはデータソースの作成時点から起動し、その後、最後に取り込まれたイベントから処理を続行します。選択すると、ソース履歴の一定期間をバックフィルできます。選択すると、補足テキストにコネクタの最大遡及期間が表示されます。この設定は、データソースの初回起動時にのみ有効になり、作成後は変更できません。
より大きい履歴ウィンドウでは、インジェストに時間がかかる可能性があり、インジェストコストが増加する可能性があります。
コネクタがヒストリカルデータのルックバックをサポートしていない場合、 「ヒストリカルデータの取り込み」 は表示されません。ソース保持制限については、「サポートされているLogs」のコネクタのページを参照してください。
パーサーのアタッチと構成
コネクタ・バックエンドのデータソースを作成するとき、Lakewatchはコネクタのすべてのパーサーを選択します。コネクタはそれらすべてを必要とするため、選択されたままになります。パーサーの選択を解除したり、別のパーサーを追加したりすることはできません。パーサーを確認するには、その名前を選択します。各パーサーについて、バージョンを選択して、解析された宛先を設定できます。
データソースの作成後、パーサーの追加や削除はできません。各パーサーのバージョンと送信先テーブルは、引き続き変更可能です。別のパーサーセットを使用するには、データソースを再作成してください。パーサーとデータソースでのパーサーの変更を参照してください。
defaultでは、各ソーステーブルの宛先は、環境内の <parser>_<datasource> という名前のテーブルです。ここで、<datasource> はデータソース名です。たとえば、Okta System Log パーサーは、データソース名が okta_system_logs の場合、okta_system_log_okta_system_logs に書き込みます。コネクタの出力を別のテーブルに送信するには、パーサーの名前を選択し、「 送信先テーブル名 」を変更します。テーブルはデータソースのカタログとスキーマを使用するため、変更できるのはテーブル名のみです。既存のテーブルと衝突しない宛先名を使用してください。
作成後にデータ ソースを管理する
データソースは作成するとすぐに起動します。処理スケジュール、コンピュート モード、実行ユーザー ID、または注釈を編集するには、その Configuration tabを開きます。 概要 tabには、データソースの状態と概要が表示されます。ランを監視したり、データソースを削除したりするには、データソースの作成と管理をご覧ください。
スケジュールを編集するには:
- [データソース] からデータソースを開き、 [構成] tabを選択します。
- Schedule の横にある編集アイコンをクリックして、 Processing schedule を開きます。
- ラン で 少なくとも各 を選択して間隔を設定するか、 ちょうど を選択して cron スケジュールを構成します。
- 保存 をクリックします。
Schedule フィールドには、新しい間隔またはcron式が表示されます。