OpenAI 監査Logs

備考

プレビュー

Lakewatchはプライベートプレビュー段階です。アクセスをリクエストするには、Databricksアカウントチームにお問い合わせください。

Lakewatch APIコネクタを使用して、OpenAI API Platformから組織の監査ログイベントを取り込みます。このページでは、前提条件、構成手順、コネクタスキーマ、およびLakewatchパーサーの監視対象について説明します。

前提条件

コネクタには以下が必要です：

ワークスペースでServerless Lakeflow pipelinesが有効になっています。
Unity Catalog、Unity Catalog接続を作成または使用する権限。接続権限を参照してください。
OpenAI組織で監査ログがオンになっています。監査ログがオンになった後、それをオフにできるのはOpenAIサポートのみです。OpenAIの管理者および監査Logs APIのドキュメントを参照してください。
OpenAI組織内の組織所有者ロール。コネクタを認証する管理者APIキーを作成するために必要です。OpenAIの管理者APIsガイドをご覧ください。

既知の制限事項

slowly changing dimensions（SCD）タイプ2はサポートされていません。
このコネクタは、OpenAI管理者APIキー認証をサポートしています。標準のプロジェクトAPIキーとOAuthはサポートされていません。
過去の遡り期間は365日を超えて設定できません。インジェストの遡り期間を選択する方法を参照してください。

インジェスト用の OpenAI を構成する

コネクタは、管理APIキーを使用してOpenAI管理APIに対して認証を行います。このキーはBearerトークンとして送信されます。管理APIキーは、管理APIのEndpointでのみ動作します。完全なステップについては、OpenAIへの認証の構成を参照してください。

組織の所有者として OpenAI プラットフォームにサインインします。
組織の 管理者キー ページを開きます。
管理APIキーを作成し、アクセス許可を 読み取り専用 に設定します。読み取り専用アクセスで取り込みには十分です。APIキーのアクセス許可の割り当てに関するOpenAIのガイドをご覧ください。
Admin APIキーをコピーします。OpenAIは、フルキーを1回のみ表示します。

ヒント

Lakewatch UI を使用して接続を作成するときに、前のステップでコピーした Admin API Key を入力します。

次のステップ

OpenAIを構成した後、Lakewatch UIでOpenAIコネクタを使用してデータソースを作成します。手順についてはAPIコネクタを参照してください。

コネクタとLakewatchスキーマ

Lakewatch は、OpenAI 組織の監査ログイベントを audit_log_entries という名前の 1 つのテーブルに取り込みます。

ソーステーブル	OpenAIデータ	組み込みのLakewatchパーサー
`audit_log_entries`	APIキー、ユーザー、プロジェクト、組織設定の変更などの組織の監査Logsイベント	`openai_audit`

ソーステーブル	OpenAIデータ	組み込みのLakewatchパーサー
`audit_log_entries`	APIキー、ユーザー、プロジェクト、組織設定の変更などの組織の監査Logsイベント	`openai_audit`

コネクタは、ソーステーブルをデータソースの生ターゲットに書き込みます。組み込みパーサーは、データソースを構成するときに解析済みターゲットを設定しない限り、パーサーにちなんだ名前の別個の解析済みテーブルを書き込みます。

Lakewatch で管理される列

このコネクタは、ソースidフィールドをnull以外の主キーとして使用し、ソースeffective_atフィールドを増分取り込みのカーソルとして使用します。Lakewatch IDを合成するコネクタとは異なり、このコネクタはlw_id列を追加しません。パーサーは、ソースeffective_atフィールドから解析されたtime列を割り当てます。

Lakewatch で作成されたパイプラインの場合、コネクタはこれらの列を RAW テーブルにも追加し、解析済みテーブルはそれらを引き継ぎます。

lw_meta: 標準のLakewatch処理メタデータ。
lw_observables：パーサーでセキュリティ観測可能としてマークされたフィールドから抽出された値。

パーサーリファレンスを参照してください。

未加工のコネクタテーブルスキーマ

audit_log_entries テーブルには、監査ログイベントごとに 1 行が書き込まれます。各行には、イベントの ID、型、および時間が含まれ、さらにイベントのスコープとなるアクターとプロジェクトも含まれます。data 列には、イベント type にちなんで名付けられた詳細オブジェクト (例: project.updated) を含む、VARIANT としての元の監査ログレコード全体が格納されます。

スキーマ

Column	Data type
`id`	`STRING`
`type`	`STRING`
`effective_at`	`TIMESTAMP`
`actor`	`VARIANT`
`project`	`STRUCT<id: STRING, name: STRING>`
`data`	`VARIANT`

フィールドの定義については、OpenAI の監査ログオブジェクトドキュメントを参照してください。

パーサー観測可能項目

openai_auditパーサーは入れ子になったオブジェクトをVARIANTとして書き込み、これらのフィールドをlw_observablesに抽出します：

可観測項目

Field	Observable
`actor.session.user.id`	`actor_id`
`actor.session.user.email`	`email`
`actor.session.ip_address`	`ip`
`actor.api_key.user.id`	`actor_id`
`actor.api_key.user.email`	`email`
`actor.api_key.service_account.id`	`actor_id`

Field	Observable
`actor.session.user.id`	`actor_id`
`actor.session.user.email`	`email`
`actor.session.ip_address`	`ip`
`actor.api_key.user.id`	`actor_id`
`actor.api_key.user.email`	`email`
`actor.api_key.service_account.id`	`actor_id`

data のフィールドは、イベント type に依存します。パーサーは data をスキャンし、サブフィールド名を照合して値を lw_observables に抽出します。一致では、大文字と小文字が区別されません。

データの可観測項目

`data` subfield name	Observable
`email`	`email`
`allowed_ips`	`ip`
`principal_id`, `service_account_id`	`actor_id`
`role_arn`	`aws_arn`
`account_id`	`aws_account_id`

前提条件​

既知の制限事項​

インジェスト用の OpenAI を構成する​

次のステップ​

コネクタとLakewatchスキーマ​

Lakewatch で管理される列​

未加工のコネクタテーブルスキーマ​

パーサー観測可能項目​