Conectores de API
Beta
O Lakewatch está em Beta. Os administradores do Workspace podem controlar o acesso a esse recurso na página Pré-visualizações . Consulte Gerenciar prévias no nível do workspace.
Os conectores de API são conectores gerenciados que extraem dados de segurança de aplicativos empresariais populares diretamente para o Lakewatch por meio de conexões do Unity Catalog. Quando você cria uma fonte de dados com um conector de API, o Lakewatch cria e gerencia automaticamente o pipeline de ingestão subjacente que replica os dados da fonte externa.
Para os conectores disponíveis e seus guias de configuração específicos da fonte, consulte Logs suportados.
Todos os conectores de API no Lakewatch compartilham as seguintes características:
- Ingestão gerenciada : o Lakewatch faz a execução do conector conforme você programa e manipula as repetições e o monitoramento sem necessidade de Job criados pelo usuário. As fontes de dados do conector suportam programar por intervalo e cron, mas não programar continuamente.
- Infraestrutura Serverless : os conectores entram em execução em LakeFlow Pipelines Serverless.
- Design somente para anexação : Novos registros são anexados às tabelas de destino configuradas. Não há suporte para atualizações in-place e acompanhamento de mudanças em nível de linha.
Tabelas de saída do conector
O conector grava cada tabela de origem diretamente no destino configurado para seu analisador integrado. O Lakewatch não cria uma tabela de staging bruta separada nem aplica uma segunda etapa de análise. O destino usa o esquema do conector, incluindo seus campos de origem tipados e colunas do Lakewatch.
Durante a ingestão, o conector adiciona lw_meta com a fonte de dados e a identidade da conexão, o nome e a versão do analisador e o tempo de ingestão. Ele também preenche lw_observables com observáveis de segurança dos registros de origem. O parser integrado anexado define o destino de cada tabela de origem.
Para ver o esquema de saída e os observáveis de cada conector, consulte a respectiva página em Logs suportados.
Pré-requisitos
Antes de configurar um conector de API, verifique se você atende aos seguintes requisitos:
- Pipelines Serverless : ative LakeFlow Pipelines Serverless no seu Workspace.
- Permissões : seu workspace deve estar habilitado para o Unity Catalog, e você deve ter privilégios para criar ou usar uma conexão do Unity Catalog. Consulte Permissões de conexão.
- Visualização do conector : Para um conector listado em Ativar a visualização do conector, um administrador do workspace deve ativar sua visualização na página Visualizações . Até que a visualização seja ativada, esse conector não aparecerá no seletor de fonte de dados. O Zendesk está geralmente disponível e não requer essa ativação.
- Acesso à rede : se a política de rede serverless do seu workspace usa acesso restrito, um administrador account deve adicionar os domínios de API da fonte à lista de domínios permitidos da política. Consulte Permitir domínios de API de origem na sua política de rede.
Alguns conectores têm pré-requisitos específicos de fonte adicionais. Para detalhes, veja as páginas de fonte individuais em Logs suportados.
Ativar a visualização do conector
Os conectores listados abaixo estão em Beta. Para ver um desses conectores no seletor Adicionar fonte de dados , um administrador do workspace deve ativar sua pré-visualização individualmente. Se a pesquisa no seletor de um desses conectores retornar "Nenhuma fonte de dados corresponde a esta pesquisa ou categoria," verifique se sua pré-visualização está ativada. O Zendesk está geralmente disponível e não requer uma opt-in de pré-visualização do conector.
Para ativar uma pré-visualização de conector:
- Como administrador do workspace, selecione seu nome de usuário na barra superior do workspace e selecione Previews (Visualizações ).
- Habilite a prévia para seu conector. A tabela a seguir lista o nome da prévia de cada conector.
Conector | Nome da visualização |
|---|---|
Lakeflow Connect para logs de auditoria do 1Password | |
Lakeflow Connect para Akamai WAF | |
Lakeflow Connect para logs de auditoria do Atlassian | |
Lakeflow Connect para Logs de Auditoria do Box | |
Lakeflow Connect para CrowdStrike | |
LakeFlow Connect para GitHub | |
Lakeflow Connect para Google Workspace | |
Lakeflow Connect para logs de auditoria unificados do Microsoft 365 | |
Lakeflow Connect para logs do Microsoft Graph | |
Lakeflow Connect para Logs de Sistema Okta | |
Lakeflow Connect para OpenAI | |
Lakeflow Connect para logs de auditoria do Wiz | |
Lakeflow Connect para registro de atividades do Workday |
Consulte Gerenciar prévias do Databricks.
Permissões de conexão
Os conectores de API são autenticados no aplicativo de origem por meio de uma conexão do Unity Catalog, um objeto protegível regido pelos privilégios do Unity Catalog. A criação de uma fonte de dados com suporte de conector requer esses privilégios de conexão e os privilégios de fonte de dados do Unity Catalog.
Ao criar uma fonte de dados com suporte a conector, você configura essa conexão em Conexão com a fonte na primeira etapa do fluxo: selecione uma conexão existente na lista ou selecione Criar conexão para abrir uma caixa de diálogo específica da fonte (por exemplo, Criar uma conexão com o Workday ) onde você nomeia a conexão e insere as credenciais da fonte. O privilégio de que você precisa depende da opção que você usa:
- Para criar uma nova conexão : você precisa de
CREATE CONNECTIONno metastore. - Para usar uma conexão existente : você precisa de
USE CONNECTIONnessa conexão ou no metastore. As conexões que você não pode usar não estão disponíveis na lista e exibem Você não tem permissão para usar esta conexão .
Um administrador do metastore pode conceder esses privilégios, e o proprietário de uma conexão pode conceder USE CONNECTION nela. Para obter detalhes, consulte referência de privilégios do Unity Catalog.
Permitir domínios de API de origem na sua política de rede
Os conectores de API têm execução em compute Serverless, então a política de rede Serverless do Workspace controla quais hosts eles podem alcançar. Se a política usa Acesso restrito , o conector só pode alcançar os domínios na lista Domínios permitidos da política. Se o domínio da API de uma origem não estiver na lista, o conector não poderá resolver o host da origem e a atualização do pipeline falhará.
Para permitir que um conector acesse sua fonte, um administrador account deve adicionar os domínios do conector à lista Domínios permitidos da política. Consulte Definir regras de saída.
Conector | Domínios para permitir |
|---|---|
O host da sua URL base (por exemplo, | |
Seu Host (por exemplo, | |
| |
| |
O host da sua URL base (por exemplo, | |
| |
| |
O host da API de Gerenciamento do Office 365 para seu plano de inscrição: | |
O host do Microsoft gráfico para sua configuração de Microsoft cloud : | |
Seu Domínio (por exemplo, | |
| |
| |
O host da sua URL da instância . | |
O host do seu Subdomínio (por exemplo, |
A maioria das alterações na lista Domínios permitidos chega ao compute Serverless em dez minutos. Consulte Aplicar alterações na política de rede. Para encontrar domínios bloqueados pela política, consulte Verificar logs de negação.
Criar uma fonte de dados com um conector
A criação de uma origem de dados baseada em conector envolve os passos principais:
-
Configurar o aplicativo de origem : Configure as credenciais de autenticação (tokens de API, clientes OAuth, etc.) no sistema de origem. Cada conector tem instruções específicas da fonte. Veja sua página em Logs suportados.
-
Criar uma fonte de dados na interface do Lakewatch : Em Datasources , selecione Add datasource e selecione um conector no seletor. O formulário de criação de fonte de dados é aberto com estas seções:
- Nome : o Lakewatch preenche um nome, como
okta_system_logs. Você pode mantê-lo ou inserir um diferente. O nome não pode conter espaços, pontos ou barras. - Conexão com a fonte : Crie uma nova conexão ou selecione uma existente usando as credenciais do o passo 1. Cada conector requer credenciais específicas para o sistema de origem (por exemplo, um token de API ou cliente OAuth). Para privilégios, consulte Permissões de conexão.
- Execução : defina a identidade de execução. Se mais de uma pasta estiver disponível para você, escolha também a pasta que contém as tabelas da fonte de dados. Se o conector suportar lookback histórico, Ingerir data histórica também aparecerá aqui. Veja Escolher até onde voltar para ingerir.
- Configurações avançadas : opcionalmente, defina uma programar : Pelo menos a cada para um intervalo ou Exatamente em para uma programar cron. O default é pelo menos a cada 10 minutos. Consulte Configurar para programar a ingestão. Você também pode ativar o Otimizado para desempenho para usar compute otimizado para desempenho para uma ingestão mais rápida ou deixá-lo desativado para o compute padrão. O default é a configuração de compute de ingestão do Workspace.
O cartão Parsers segue estas seções. Consulte Anexar e configurar parsers.
- Nome : o Lakewatch preenche um nome, como
O Lakewatch lida automaticamente com a criação, programar e o monitoramento do pipeline.
Configurar programar a ingestão
Em Configurações avançadas , configure o programar :
- Pelo menos a cada : Insira um intervalo e selecione sua unidade.
- Exatamente em : Configure um programar exato com o seletor visual, ou selecione Mostrar sintaxe cron para inserir uma expressão Quartz cron.
Os conectores de API não suportam agendamento contínuo. Para alterar o programar após a criação da fonte de dados, use a tab Configuração . Consulte Gerenciar a fonte de dados após a criação.
Escolha a data de início da ingestão
No formulário de criação da fonte de dados, procure a opção Ingerir data histórica na seção Execução . Ele é limpo por default, então o Lakewatch começa na criação da fonte de dados e continua a partir do último evento ingerido. Selecione-o para fazer o backfill de uma janela de história de origem. Depois de selecioná-la, o texto de ajuda mostra o lookback máximo para o conector. Essa configuração entra em vigor apenas quando a fonte de dados começa pela primeira vez e não pode ser alterada após a criação.
Janelas históricas maiores podem levar mais tempo para serem ingeridas e aumentar o custo de ingestão.
Se o conector não suportar o histórico de pesquisas, Ingerir data histórica não aparecerá. Para limites de retenção de fonte, consulte a página do conector em Logs suportados.
Anexar e configurar analisadores
Ao criar uma fonte de dados baseada em conector, o Lakewatch seleciona todos os parsers do conector. O conector requer todos eles, então eles permanecem selecionados: você não pode desmarcar um parser ou adicionar outro. Para revisar um parser, selecione seu nome. Para cada parser, você pode selecionar sua versão e definir seu destino analisado.
Após a criação da fonte de dados, não é possível adicionar ou remover analisadores. Você ainda pode alterar a versão e a tabela de destino de cada analisador. Para usar um conjunto diferente de analisadores, recrie a fonte de dados. Consulte Analisadores e Alterar analisadores em uma fonte de dados.
Por default, o destino de cada tabela de origem é uma tabela em seu ambiente chamada <parser>_<datasource>, onde <datasource> é o nome da fonte de dados. Por exemplo, o analisador de Log do Sistema Okta escreve em okta_system_log_okta_system_logs quando o nome da fonte de dados é okta_system_logs. Para enviar a saída do conector para uma tabela diferente, selecione o nome do analisador e altere Nome da tabela de destino . A tabela usa o catálogo e o esquema da fonte de dados, portanto, apenas o nome da tabela pode ser alterado. Use um nome de destino que não entre em conflito com uma tabela existente.
Gerenciar a fonte de dados após a criação
A fonte de dados começa a ser executada assim que você a cria. Abra sua Configuração tab para editar o programar de processamento, modo de compute, identidade de execução ou anotações. A tab Visão geral mostra o status e o resumo da fonte de dados. Para monitorar execuções ou excluir a fonte de dados, consulte Criar e gerenciar fontes de dados.
Para editar sua agenda:
- Abra o datasource em Datasources e selecione a tab Configuration .
- Clique no ícone de editar próximo a Programação para abrir a Programação de processamento .
- Em Execução , selecione Pelo menos a cada e defina um intervalo, ou selecione Exatamente em e configure um programar cron.
- Clique em Salvar .
O campo programar mostra o novo intervalo ou expressão cron.