Conectores de API
Visualização
O Lakewatch está em Prévia privada. Para solicitar acesso, entre em contato com a equipe da sua conta da Databricks.
Os conectores de API são conectores gerenciados que extraem dados de segurança de aplicativos empresariais populares diretamente para o Lakewatch por meio de conexões do Unity Catalog. Quando você cria uma fonte de dados com um conector de API, o Lakewatch cria e gerencia automaticamente o pipeline de ingestão subjacente que replica os dados da fonte externa.
Para os conectores disponíveis e seus guias de configuração específicos da fonte, consulte Logs suportados.
Todos os conectores de API no Lakewatch compartilham as seguintes características:
- Ingestão gerenciada : O Lakewatch faz a execução do conector em um programar gerenciado e lida com tentativas e monitoramento sem a necessidade de Job criados pelo usuário. Você não pode alterar o programar de uma fonte de dados de conector e o programar contínuo não é suportado.
- Infraestrutura Serverless : os conectores entram em execução em LakeFlow Pipelines Serverless.
- Design somente de anexação : novos registros são anexados à tabela bruta da fonte de dados; não há suporte para atualizações no local e acompanhamento de mudanças em nível de linha.
- Compatibilidade com multi-cloud : todos os conectores são compatíveis com Databricks on AWS, Azure ou GCP.
Pré-requisitos
Antes de configurar um conector de API, verifique se você tem:
- Pipelines Serverless : ative LakeFlow Pipelines Serverless no seu Workspace.
- Permissões: O Unity Catalog deve estar habilitado e você deve ter privilégios para criar ou usar uma conexão do Unity Catalog. Consulte Permissões de conexão.
- Pré-visualização do conector : Um administrador do Workspace deve ativar a pré-visualização do conector na página Pré-visualizações . Até que a pré-visualização esteja ativada, o conector não aparecerá no seletor de fonte de dados. Consulte Ativar a pré-visualização do conector.
- Acesso à rede : se a política de rede serverless do seu workspace usa acesso restrito, um administrador account deve adicionar os domínios de API da fonte à lista de domínios permitidos da política. Consulte Permitir domínios de API de origem na sua política de rede.
Cada conector pode ter pré-requisitos adicionais específicos da fonte. Consulte as páginas de fonte individuais em Logs com suporte para obter detalhes.
Ativar a visualização do conector
Os conectores de API no Lakewatch estão em Beta. Para ver um conector no seletor Adicionar fonte de dados , um administrador do workspace deve ativar a pré-visualização desse conector individualmente. Se a pesquisa no seletor de um conector retornar "Nenhuma fonte de dados corresponde a esta pesquisa ou categoria", verifique se a visualização dele está ativada.
Para ativar uma pré-visualização de conector:
- Como administrador do workspace, clique no nome de usuário na barra superior do workspace e selecione Previews (Visualizações ).
- Habilite a prévia para seu conector. A tabela a seguir lista o nome da prévia de cada conector.
Conector | Nome da visualização |
|---|---|
Lakeflow Connect para logs de auditoria do 1Password | |
Lakeflow Connect para Akamai WAF | |
Lakeflow Connect para logs de auditoria do Atlassian | |
Lakeflow Connect para Logs de Auditoria do Box | |
Lakeflow Connect para CrowdStrike | |
LakeFlow Connect para GitHub | |
Lakeflow Connect para Google Workspace | |
Lakeflow Connect para logs de auditoria unificados do Microsoft 365 | |
Lakeflow Connect para Logs de Sistema Okta | |
Lakeflow Connect para logs de auditoria do Wiz | |
Lakeflow Connect para registro de atividades do Workday |
Consulte Gerenciar prévias do Databricks.
Permissões de conexão
Os conectores de API são autenticados no aplicativo de origem por meio de uma conexão do Unity Catalog, um objeto protegível regido pelos privilégios do Unity Catalog. A criação de uma fonte de dados com suporte de conector requer esses privilégios de conexão e os privilégios de fonte de dados do Unity Catalog.
Ao criar uma fonte de dados baseada em conector, você configura essa conexão em Conexão com a fonte no primeiro o passo do fluxo: selecione uma conexão existente na lista ou clique em + Criar conexão para abrir uma caixa de diálogo específica da fonte (por exemplo, Criar uma conexão com o Workday ), onde você nomeia a conexão e insere as credenciais da fonte. O privilégio de que você precisa depende de qual:
- Para criar uma nova conexão : você precisa de
CREATE CONNECTIONno metastore. - Para usar uma conexão existente : Você precisa de
USE CONNECTIONnessa conexão ou no metastore.
Um administrador do metastore pode conceder esses privilégios, e o proprietário de uma conexão pode conceder USE CONNECTION nela. Para obter detalhes, consulte referência de privilégios do Unity Catalog.
Permitir domínios de API de origem na sua política de rede
Os conectores de API têm execução em compute Serverless, então a política de rede Serverless do Workspace controla quais hosts eles podem alcançar. Se a política usa Acesso restrito , o conector só pode alcançar os domínios na lista Domínios permitidos da política. Se o domínio da API de uma origem não estiver na lista, o conector não poderá resolver o host da origem e a atualização do pipeline falhará.
Para permitir que um conector acesse sua fonte, um administrador account deve adicionar os domínios do conector à lista Domínios permitidos da política. Consulte Definir regras de saída.
Conector | Domínios para permitir |
|---|---|
O host da sua URL base (por exemplo, | |
Seu Host (por exemplo, | |
| |
| |
O host da sua URL base (por exemplo, | |
| |
| |
O host da API de Gerenciamento do Office 365 para seu plano de inscrição: | |
O host do Microsoft gráfico para sua configuração de Microsoft cloud : | |
Seu Domínio (por exemplo, | |
| |
| |
O host da sua URL da instância . | |
O host do seu Subdomínio (por exemplo, |
A maioria das alterações na lista Domínios permitidos chega ao compute Serverless em dez minutos. Consulte Aplicar alterações na política de rede. Para encontrar domínios bloqueados pela política, consulte Verificar logs de negação.
Criar uma fonte de dados com um conector
A criação de uma origem de dados baseada em conector envolve os passos principais:
- Configurar o aplicativo de origem : defina credenciais de autenticação (tokens de API, clientes OAuth, etc.) no sistema de origem. Cada conector tem instruções específicas de origem; consulte a sua página em Logs suportados.
- Criar uma fonte de dados na interface do usuário do Lakewatch . Em Fontes de dados , clique em Adicionar fonte de dados e selecione um conector no seletor. O formulário de criação de fonte de dados é aberto com estas seções:
- Configure uma conexão do Unity Catalog : O formulário começa com a seção de conexão. Crie uma nova conexão ou selecione uma existente usando as credenciais do o passo 1. Cada conector requer credenciais específicas para o sistema de origem (por exemplo, um token de API ou cliente OAuth). Para privilégios, consulte Permissões de conexão.
- Nome : insira um nome para a fonte de dados. O Lakewatch cria suas tabelas no seu ambiente atual.
- Data histórica : Configure opcionalmente há quanto tempo o Lakewatch ingere dados. Consulte Escolha há quanto tempo ingerir.
- Execução e analisadores : defina a identidade de execução e anexe os analisadores que esquematizam os dados ingeridos.
- Configurações avançadas : Opcionalmente, defina Otimizado para desempenho : use compute otimizado para desempenho para ingestão mais rápida (ativado) ou compute padrão (desativado). O valor default é a configuração de compute de ingestão do Workspace.
O Lakewatch lida automaticamente com a criação, programar e o monitoramento do pipeline.
Escolha a data de início da ingestão
No formulário de criação da fonte de dados, procure o botão Ingerir data histórica na seção Execução . Ela fica desmarcada por default, então o Lakewatch começa a ingerir dados quando a fonte de dados é criada e, depois, continua a partir do último evento ingerido. Selecione-a para preencher retroativamente um período da história da fonte. Depois de selecioná-lo, o texto de ajuda mostra o período máximo de consulta retroativa do conector. Esta configuração só entra em vigor ao começar pela primeira vez e não pode ser alterada após a criação.
Janelas históricas maiores podem demorar mais para serem ingeridas e podem aumentar o custo da ingestão.
Se o conector não suportar lookback histórico, Ingerir data histórica não aparecerá. Para limites de retenção de fonte, consulte a página do conector em Logs suportados.
Anexar e configurar analisadores
Ao criar uma fonte de dados baseada em conector, o Lakewatch seleciona automaticamente todos os analisadores integrados que correspondem aos dados de origem do conector. Você pode ajustar essa seleção cancelando a seleção ou adicionando analisadores, mas pelo menos um analisador deve permanecer selecionado. Não é possível alterar os analisadores depois que a fonte de dados é criada; para usar analisadores diferentes, recrie a fonte de dados. Consulte Anexar analisadores e Alterar analisadores em uma fonte de dados.
Destino analisado. Por default, cada analisador grava em uma tabela no seu ambiente, com o nome da tabela derivado do nome do analisador. Para enviar a saída analisada de um analisador para uma tabela diferente, defina um destino analisado (tabela de destino) para esse analisador. Escolha um nome de destino que não entre em conflito com uma tabela existente.
Gerenciar a fonte de dados após a criação
A fonte de dados começará a ser executada assim que você a criar. O programar dela é gerenciado e não pode ser alterado, mas você pode editar suas outras configurações (compute e anotações) a qualquer momento na tab Visão geral e monitorar execuções ou excluí-la conforme descrito em Criar e gerenciar fontes de dados.