メインコンテンツまでスキップ

データソースの作成と管理

備考

ベータ版

Lakewatch はベータ版です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。ワークスペースレベルのプレビューを管理するを参照してください。

Lakewatchデータソースは、未処理のセキュリティデータをインジェストし、セキュリティ分析のためにスキーム化されたガバナンス対象の Unity Catalog テーブルに書き込むように構成されたパイプラインです。データソースは、 インジェストメソッド と 1 つ以上の パーサー を組み合わせたものです。このページでは、両方のコンポーネントと、UI でデータソースを作成および管理する方法について説明します。

取り込み方法​

取り込み方法は、Lakewatchデータソースがデータの場所に基づいてセキュリティデータをプルする方法を定義します。各メソッドには、独自の作成フローと出力パスがあります。APIコネクタは、スキーマ化された出力を設定された宛先テーブルに直接書き込みます。

Lakewatchは、次の3つの取り込み方法を提供しています。

  • クラウドストレージ: Unity Catalog ボリュームまたは外部ロケーションを通じてクラウドオブジェクトストレージからファイルを取り込みます。Lakewatchは、Auto Loaderを使用してソースを読み取り、新しいファイルが到着したときにそれらを拾い上げます。
  • 既存のテーブル: ワークスペースに既に存在するUnity Catalog Deltaテーブルまたはビューを取り込みます。Lakewatchはソースを直接読み取り、データをコピーする代わりに接続されたパーサーを実行します。
  • APIコネクタ: Unity Catalog接続によって管理されるマネージドコネクタを介して、ソフトウェア・アズ・ア・サービス(SaaS)アプリケーションからセキュリティデータを取り込みます。すべてのAPIコネクタは、ビルド済みのパーサーとペアになっています。
注記

クラウドストレージおよび既存のテーブルソースの場合、取り込みメソッドはソースを解析および正規化して、Lakewatch解析テーブルに格納します。Unity Catalog テーブルが既にクエリーを実行できる状態であれば、テーブルを取り込む必要はありません。それらに対して直接 クエリー をランし、検出ルール を記述します。

パーサー​

クラウドストレージおよび既存のテーブルデータソースの場合、パーサーは取り込まれたデータを解析済みテーブルにスキーマ化します。各パーサーは、ログソースの出力列を記述し、Lakewatch管理のlw_id、lw_meta、およびlw_observables列を持つ解析済みテーブルを書き込みます。

APIコネクタのデータソースの場合、Lakewatchはコネクタで使用可能な一連の組み込みパーサーを完全に選択します。このセット内のすべてのパーサーが必要になります。クラウドストレージおよび既存テーブルのデータソースの場合、作成時に1つ以上のパーサーを選択します。ソースに一致する組み込みパーサーを選択するか、スクラッチから、または組み込みパーサーからカスタムパーサーを作成します。

クラウドストレージまたは既存のテーブルデータソースが実行されると、各受信イベントは宣言順に、一致する最初の添付パーサーに格納されるため、各イベントは最大で1つの解析済みテーブルに書き込まれます。パーサー定義によってこのルーティングが行われるため、データソースでフィルタを設定する必要はありません。一致ルールについては、分類を参照してください。

APIコネクタのデータソースの場合、コネクタはスキーマを構成済みの組み込みパーサーの宛先に直接書き込み、インジェクション中にLakewatchメタデータと可観測項目を追加します。コネクタの出力テーブルを参照してください。

データソースを作成するとき、Lakewatchは各パーサーの出力テーブルをチェックします。テーブル名が欠落している、別のパーサーのテーブルを繰り返している、または実行者IDがテーブルを使用できない場合、Lakewatchは 続行する前にパーサーの問題を解決してください。 を表示します。 問題を解決 ボタン付き。それを選択して 変換先の問題を解決 を開き、テーブル名を変更して、 変更を適用 を選択します。既存のテーブルは、実行者IDで読み取りおよび書き込みが可能である必要があります。新しいテーブルは、データソースのスキーマ内に作成可能である必要があります。これには、実行者IDに対してUSE CATALOG、USE SCHEMA、およびCREATE TABLEが必要です。実行者IDの設定を参照してください。

注記

データソースの作成中に解析済み出力をプレビューすると、lw_meta.datasource_name は null として表示されます。データソースは作成するまで名前が付けられないため、Lakewatch はデータソースが作成されてランが行われた後にのみ datasource_name を入力します。

新しいデータソースを作成​

データソース に移動し、 データソースの追加 を選択します。 新しいデータソースの追加 ページには、起動方法が2つあります。

  • 管理コネクタ: 取り込むログソースを選択します。 Lakeflow Connect とタグ付けされたソースは、サービスのAPIに接続します。 ファイル、テーブル、キュー のタグが付けられたソース(Cloudflare監査Logsなど)は、ストレージからサービスのLogsを読み取り、対応する組み込みパーサーが付属しています。リストの最初には、いくつかの一般的なソースが表示されます。 すべて参照 を選択して、すべてのソースを検索します。 近日公開 とマークされたソースは選択できません。
  • カスタムおよび内部 Logs: オブジェクトストレージ、メッセージキュー、Unity Catalog テーブル、ボリュームなど、データの場所を選択してパーサーをアタッチします。

インジェクションメソッドは次の通りです:

データソースを作成する際、 実行 の下にフォルダを選択してください。フォルダフィールドは、データソースに使用できるフォルダが複数ある場合にのみ表示されます。データソース名にスペース、ピリオド、またはスラッシュを含めることはできません。

データソースを作成するには、データソースを作成するフォルダーに対する CREATE_DATASOURCE が必要です。データソースマネージャー、フォルダー管理者、およびLakewatch管理者権限グループには、この権限が含まれています。「権限グループ」を参照してください。この権限がない場合、フォームに「 このスキーマにデータソースを作成する権限がないようです。 」と表示されます。別のフォルダーを選択するか、フォルダー管理者にこれらの権限グループのいずれかを依頼してください。APIコネクタデータソースを作成するには、メタストアに対するCREATE CONNECTION(新しい接続を作成するため)または既存の接続に対するUSE CONNECTIONも必要です。これらの権限は、データソースの「ラン」IDとは別個のものです。データソースの「ラン」IDは、ソースを読み取り、データソースのテーブルに書き込むための独自のアクセス権を持っている必要があります。

既存のデータソースの管理​

データソースを管理するには、 Datasources からデータソースを開きます。詳細ページには、次のtabがあります。

  • 概要 :Ingestionアクティビティ(過去7日間に取り込まれたイベントと、前の7日間との比較)、最新の実行のステータス、およびデータソースの処理設定、ソース、Rawランディングテーブル、所有者、およびラン-as IDの概要。
  • パーサー : 接続されたパーサーです。それぞれのピン留めされたバージョン、宛先テーブル、直近24時間および直近7日間の行数、そして過去7日間の各パーサーの行数割合が表示されます。宛先テーブルを選択すると、そのSQLドラフトがLakewatchクエリーで開かれます。また、そのパスをコピーすることもできます。接続されたパーサーと一致しなかった行は、 一致しない行 の下に表示されます。パーサーの新しいバージョンが利用可能な場合、その行メニューに バージョンをアップグレード が表示されます。パーサーを変更するには、 データソースのパーサーを変更する の説明に従い、 パーサーの編集 を選択します。
  • 構成 :データソースの編集可能な設定。次のセクションで説明します。
  • ラン履歴 : 進行中のランを含む最新の25件のラン。各ランの起動時間、状態、詳細が表示されます。基礎となるジョブ ランへのLinkは、ワークスペース管理者とデータソースの「実行者」IDのみに表示されます。
  • システムエラー : このデータソースで発生した最新の 50 件のアクティブなシステムエラー。エラーを選択すると詳細ページが開きます。すべてのシステムエラーを表示するには、 すべてのシステムエラーを表示 を選択してください。

データソースへのアクセス権は、そのフォルダに対する権限から取得されます。データソースを表示または管理できるユーザーを変更するには、フォルダの権限を編集します。環境とフォルダ を参照してください。

「 データソースアクション 」メニュー( ⋮ )から、「 YAMLとして編集 」または「 データソースの削除 」を選択します。削除は、実行中のデータソースを停止する唯一の方法です。データソースは完全に削除されますが、書き込まれたテーブルは削除されません。

データソース設定を編集​

データソースの設定は、その「 構成 」tabで編集します。「 説明 」と「 コンピュートモード 」は、変更するとすぐに保存されます。スケジュールを変更するには、「 スケジュール 」の横にある編集アイコンを選択し、「 処理スケジュール 」ダイアログで「 保存 」を選択します。注釈も同じように動作します。「 注釈の追加 」または注釈の編集アイコンを選択してから、「 保存 」を選択します。データソースのソース、名前、スキーマ、および所有者は、作成後に変更できません。

設定を編集するには、データソースに対するMANAGE権限が必要です。また、データソースは自分自身、または使用資格のあるService Principalとしてランする必要があります。別のユーザーとしてランしている場合、ページにバナーが表示されます。まず実行ユーザーを変更するには、バナーで ラン asを変更 を選択してください。詳しくは実行ユーザーの設定をご覧ください。

Lakewatchは、トップバーで選択されたSQLウェアハウスを使用して、各変更を検証し、保存します。warehouseが選択されていない場合、tabは保存前にwarehouseを選択するようにプロンプトを表示します。

データソースをYAMLとして編集する場合、Lakewatchは ID、ソース、およびヘルスフィールドは読み取り専用です。これらのフィールドへの変更は保存されません。 を表示します。ソースを変更するには、新しいデータソースを作成します。

保存されていない YAML ドラフトがあるときに他の誰かがデータソースを変更すると、Lakewatch は このデータソースは他の場所で変更されました。ドラフトは保持されます。保存する前にキャンセルして再読み込みしてください。 と表示します。 キャンセル を選択して破棄を確認し、データソースを再度開いて編集をやり直します。

構成 tabには以下の設定があります。

  • 説明: データソースの説明。

  • スケジュール: データソースのインジェクションジョブの実行頻度。新しいデータソースのdefaultは10分ごとです。

    • [単位] ごとに実行: 指定した間隔で実行します。
    • [Time]に正確に: 正確なスケジュールに従ってランします。ビジュアルピッカーで作成するか、 [Show cron syntax] を選択して Quartz cron expression を入力します。無効な式は [Valid Quartz cron expression]を入力する と表示され、保存が防止されます。
    • 連続: 約30分間のラン中に新しいデータが到着すると取り込み、その後直ちに新しいランを起動します。APIコネクタ データソースは、 「連続」 をサポートしていません。代わりに、 「少なくとも毎日」 または 「正確に」 を使用してください。
  • コンピュート・モード: インジェストでパフォーマンス最適化コンピュートを使用するか、標準コンピュートを使用するか。 標準 または パフォーマンス最適化 を選択するか、 カタログのdefault を選択してワークスペースのインジェスト・コンピュート設定を使用します。

  • コンピュートグループ: インジェクションジョブがコンピュートにグループ化される仕組み。 コンピュートの編集 を選択し、 自動 (default)、 専用 、または 共有ジョブグループ を選択してグループ名を入力します。 コンピュートリソース で 保存 を選択します。

  • 注釈: データソースにタグとして適用されるキーと値のペア。

JSONまたはJSONLを読み取るクラウドストレージ データソースの場合、作成後にエンベロープされたレコードのアンラップ方法を変更することもできます。「 概要 」tabで、ソースの詳細にある「 アンラップの編集 」を選択します。変更は、新たに取り込まれたデータにのみ適用されます。「エンベロープされたレコードのアンラップ」を参照してください。

変更を保存したときにランが進行中の場合、Lakewatch はそれを停止しません。そのランは以前の設定で完了し、次のランは新しい設定を使用します。たとえば、 スケジュール を 継続的 から [時間単位]ごとに少なくとも1回 に変更すると、現在の継続的なランは完了するまで実行され続け、その後新しいスケジュールが有効になります。

実行者IDを設定する​

すべてのデータソースには、Lakewatchがソースを読み取り、設定された資格情報を使用し、データソースの出力テーブルを書き込むために使用するユーザーまたはService Principalである 実行アイデンティティ があります。このアイデンティティは作成中に設定され、作成後に詳細ページから編集できます。

  • default: データソースの作成時にIDを選択しない場合、実行IDはdefaultで自身になります。
  • Service Principalを選択する: Service Principalとして実行するには、そのService Principalに対する Service Principalユーザー ロールを持っている必要があります。Service Principalの詳細ページには直接割り当てられたロールのみが表示されますが、グループメンバーシップを通じて付与されたロールはアクティブです。「Service Principalの管理」を参照してください。
  • 再割り当て: データソースを編集する際に、実行者IDを変更できます。Lakewatchは、変更を保存する際に新しいIDとしてソースと認証情報のアクセス権を再検証します。

LakewatchはデータソースをこのIDとして検証および実行するため、実行者IDはデータソースに必要なすべての許可を保持する必要があります。

  • ソースの読み取り: 必要なアクセス権は取り込み方法によって異なります。例えば、実行アイデンティティには、外部ロケーションに対するREAD FILESと、クラウドストレージ用のボリュームに対するREAD VOLUMEが必要です。各方法に必要な特定のアクセス権については、「新しいデータソースを作成する」の下にあるそれぞれのページを参照してください。
  • 設定済みの認証情報を使用する: 設定されている場合、実行ユーザーIDには Unity Catalog サービス認証情報の ACCESS 権限、または認証情報を保持する Secret Scope への読み取りアクセス権が必要です。
  • 出力テーブルの書き込み: 実行者アイデンティティは、Lakewatchがデータソースの出力テーブルを作成する各スキーマで USE CATALOG、USE SCHEMA、および CREATE TABLE を必要とします。

Lakewatchは、実行者IDに対して宛先スキーマやテーブルへのアクセス権を自動的に付与しません。このIDをデータソースにアタッチする前に、このアクセス権を付与してください。

データソースのパーサーの変更​

パーサーを変更するには、データソースを開き、 パーサー tabを選択して、 パーサーの編集 を選択します。変更を行い、 保存 を選択します。変更可能な内容は、インジェクションメソッドによって異なります。

warehouseを選択し、パーサーごとに有効な出力テーブルを指定します。Lakeflow Connectには少なくとも1つのパーサーが必要です。 と表示される場合は、トップバーでSQL Warehouseを選択します。

API コネクタ データソースを作成する場合、Lakewatch はそのコネクタのすべてのパーサーを添付します。作成時または作成後にパーサーを追加または削除することはできません。パーサーのバージョンまたは解析先の宛先は変更できます。別のパーサーセットを使用するには、データソースを再作成してください。

クラウドストレージおよび既存テーブルのデータソースの場合:

  • パーサーの追加: 他の組み込みパーサーまたは作成されたパーサーをアタッチします。受信イベントは、宣言順にアタッチされたパーサーと照合されます。そのため、新たに追加されたパーサーは、以前のパーサーと一致しないイベントに対して有効になります。新しいパーサーは最近の時点から起動され、そこから生データを再処理します。既にアタッチされているパーサーは元の場所に保持され、再処理されることはありません。「パーサー」をご覧ください。
  • パーサーの削除: 不要になったパーサーを切り離します。新しいイベントはそのパーサーの解析済みテーブルに書き込まれなくなり、以前に書き込まれた解析済みテーブルは削除されません。データが不要になった場合は、Unity Catalogで個別に削除してください。パーサーを削除すると、受信イベントのルーティング方法が変更されるため、残りのパーサーが最近の生データを再処理し、解析済みテーブルに重複する行が生成される可能性があります。
  • パーサーの並べ替え: パーサーは宣言順に一致するため、並べ替えると追加や削除と同じようにルーティングが変更されます。データソースは最近の生データを再処理します。これにより、影響を受ける解析済みテーブルに重複する行が生成される可能性があります。

APIコネクタデータソースを含むすべてのデータソースについて:

  • パーサーのバージョンの変更: データソースは特定のパーサーバージョンをピン留めするため、パーサーへの後続の編集による影響は受けません。新しいバージョンを取得するには、データソースの編集時にそれを選択するか、 パーサー tabのパーサーの行メニューで バージョンをアップグレード を選択します。新しいバージョンがパーサーが一致するイベントを変更した場合、データソースはパーサーの追加または削除と同じ方法で最近の生データを再処理するため、重複する行が生成される可能性があります。それ以外の場合、新しいバージョンは変更を保存した後に取り込まれたイベントに適用され、既存の解析済みデータは再処理されません。
  • 解析先の変更: パーサーが書き込むテーブルを変更できます。テーブルにはデータ ソースのカタログとスキーマが使用されるため、変更できるのはテーブル名だけです。既存のテーブルと競合しない接続先名を使用してください。古いテーブルに既に書き込まれたデータは移動されません。

データソースエラーのトラブルシューティング​

データソース リストには、各データソースの最近の ラン履歴 、 エラー 数、および 7日間のイベント 傾向が表示されます。基本的なラン詳細を表示するには、データソースの ラン履歴 tabを開き、 ジョブランの表示 を選択してジョブに移動します。そこで、ラン履歴、ランごとのステータス、およびLogを調査できます。このLinkは、ワークスペース管理者とデータソースのランアズアイデンティティにのみ表示されます。

データソースのランが失敗すると、Lakewatchはシステムエラーに失敗を記録します。これにより、影響を受けるデータソースが特定され、エラーメッセージが含まれます。システムエラーを ジョブランの表示 とともに使用して、どのフェーズが失敗したか(パイプラインエラーなど)を確認します。データソース関連のTriggerの完全なリストについては、システムエラーのTriggerは何か?を参照してください。

データソースのラン者IDがソースへの読み取りアクセス権を失うと、ランは失敗し、データソースの エラー 数は増加します。

復旧するには、以下のステップを実行します。

  1. ソースへの実行者IDのアクセス権を復元します。同じランとしてのIDを保持する場合、構成の変更は不要です。次にスケジュールされたランで、復元されたアクセス権が使用されます。
  2. datasourceを別のランIDに再割り当てしたり、別の設定を変更したりする場合は、 構成 tabで変更を行います。
  3. ラン履歴 tabでリカバリを確認します。ランが再び成功してもシステムエラーは開いたままなので、修正を確認したら状態を 解決済み に変更してください。

データソースを開くことはできるが編集できない場合、ページには このデータソースを編集するにはMANAGE権限が必要です。所有者に付与を依頼してください。 と表示されます。