Logs de auditoria da OpenAI

info

Visualização

O Lakewatch está em Prévia privada. Para solicitar acesso, entre em contato com a equipe da sua account da Databricks.

Use o conector de API do Lakewatch para ingerir eventos de logs de auditoria da organização da plataforma de API da OpenAI. Esta página aborda os pré-requisitos, instruções de configuração, o esquema do conector e os observáveis do parser do Lakewatch.

Pré-requisitos

O conector exige:

Lakeflow pipelines serverless ativados em seu workspace.
Unity Catalog, com privilégios para criar ou usar uma conexão do Unity Catalog. Consulte Permissões de conexão.
O log de auditoria está ativado para sua organização OpenAI. Depois que o log de auditoria for ativado, somente o suporte da OpenAI poderá desativá-lo. Consulte Documentação da API de logs de administração e auditoria da OpenAI.
A função de proprietário da organização na sua organização OpenAI para criar a key da API de administrador que autentica o conector. Consulte o guia de APIs de administração da OpenAI.

Limitações conhecidas

Não há suporte para SCD (dimensão de alteração lenta) tipo 2.
O conector suporta autenticação de key de API de administrador da OpenAI. As key de API de projeto padrão e o OAuth não são suportados.
A retrospectiva histórica não pode exceder 365 dias. Consulte Escolha até onde retroceder na ingestão.

Configurar o OpenAI para ingestão

O conector autentica na API de Administração do OpenAI com uma key da Admin API, que ele envia como um token Bearer. As key da Admin API funcionam apenas com os endpoints da API de Administração. Para os passos completos, consulte Configurar autenticação no OpenAI.

Entre na plataforma OpenAI como Proprietário da Organização.
Abra a página key de administrador para sua organização.
Crie uma key de API de administrador e defina sua permissão como Somente leitura . O acesso somente leitura é suficiente para ingestão. Consulte o guia da OpenAI para atribuir permissões de key de API.
Copie a key da Admin API. O OpenAI mostra a key completa apenas uma vez.

dica

Ao criar uma conexão através da UI do Lakewatch, insira a key da API de administrador que você copiou no passo anterior.

Os passos seguintes

Depois de configurar o OpenAI, crie uma fonte de dados com o conector OpenAI na UI do Lakewatch. Consulte conectores de API para instruções.

Esquemas de conectores e Lakewatch

O Lakewatch ingere eventos de logs de auditoria da organização da OpenAI em uma única tabela chamada audit_log_entries.

Tabela de origem	Dados da OpenAI	Analisador Lakewatch integrado
`audit_log_entries`	Eventos de Logs de auditoria da organização, como alterações de key de API, usuário, projeto e configurações da organização	`openai_audit`

Tabela de origem	Dados da OpenAI	Analisador Lakewatch integrado
`audit_log_entries`	Eventos de Logs de auditoria da organização, como alterações de key de API, usuário, projeto e configurações da organização	`openai_audit`

O conector grava a tabela de origem no destino bruto da fonte de dados. O analisador integrado grava uma tabela analisada separada com o nome do analisador, a menos que você defina um destino analisado ao configurar a fonte de dados.

Colunas gerenciadas pelo Lakewatch

O conector usa o campo de origem id como a key primária não nula e o campo de origem effective_at como o cursor para ingestão incremental. Ao contrário dos conectores que sintetizam um ID do Lakewatch, este conector não adiciona uma coluna lw_id. O analisador atribui a coluna time analisada do campo de origem effective_at.

Para pipelines criados pelo Lakewatch, o conector também adiciona estas colunas à tabela bruta, e a tabela processada as transporta:

lw_meta: Metadados de processamento do Lakewatch padrão.
lw_observables: Valores extraídos de campos marcados como observáveis de segurança no analisador.

Consulte Referência do parser.

Esquema bruto da tabela do conector

A tabela audit_log_entries grava uma linha por evento de log de auditoria. Cada linha contém o ID, o tipo e a hora do evento, juntamente com o autor e o projeto ao qual o evento está associado. A coluna data armazena o registro completo do log de auditoria original como VARIANT, incluindo o objeto de detalhes nomeado após o evento type, como project.updated.

Esquema

Column	Data type
`id`	`STRING`
`type`	`STRING`
`effective_at`	`TIMESTAMP`
`actor`	`VARIANT`
`project`	`STRUCT<id: STRING, name: STRING>`
`data`	`VARIANT`

Para definições de campo, consulte a documentação do objeto de log de auditoria da OpenAI.

Observáveis do analisador

O analisador openai_audit grava objetos aninhados como VARIANT e extrai esses campos em lw_observables:

Observáveis

Field	Observable
`actor.session.user.id`	`actor_id`
`actor.session.user.email`	`email`
`actor.session.ip_address`	`ip`
`actor.api_key.user.id`	`actor_id`
`actor.api_key.user.email`	`email`
`actor.api_key.service_account.id`	`actor_id`

Field	Observable
`actor.session.user.id`	`actor_id`
`actor.session.user.email`	`email`
`actor.session.ip_address`	`ip`
`actor.api_key.user.id`	`actor_id`
`actor.api_key.user.email`	`email`
`actor.api_key.service_account.id`	`actor_id`

Os campos em data dependem do evento type. O analisador verifica data e extrai valores para lw_observables fazendo a correspondência de nomes de subcampos. A correspondência não diferencia maiúsculas de minúsculas.

Observáveis de dados

`data` subfield name	Observable
`email`	`email`
`allowed_ips`	`ip`
`principal_id`, `service_account_id`	`actor_id`
`role_arn`	`aws_arn`
`account_id`	`aws_account_id`

Pré-requisitos​

Limitações conhecidas​

Configurar o OpenAI para ingestão​

Os passos seguintes​

Esquemas de conectores e Lakewatch​

Colunas gerenciadas pelo Lakewatch​

Esquema bruto da tabela do conector​

Observáveis do analisador​