Conectores de API

info

Visualização

O Lakewatch está em Prévia privada. Para solicitar acesso, entre em contato com a equipe da sua conta da Databricks.

Os conectores de API são conectores gerenciados que extraem dados de segurança de aplicativos empresariais populares diretamente para o Lakewatch por meio de conexões do Unity Catalog. Quando você cria uma fonte de dados com um conector de API, o Lakewatch cria e gerencia automaticamente o pipeline de ingestão subjacente que replica os dados da fonte externa.

Para os conectores disponíveis e seus guias de configuração específicos da fonte, consulte Logs suportados.

Todos os conectores de API no Lakewatch compartilham as seguintes características:

• Ingestão gerenciada : O Lakewatch faz a execução do conector em um programar gerenciado e lida com tentativas e monitoramento sem a necessidade de Job criados pelo usuário. Você não pode alterar o programar de uma fonte de dados de conector e o programar contínuo não é suportado.
• Infraestrutura Serverless : Os conectores são executados em Lakeflow Spark Declarative Pipelines (SDP) Serverless.
• Design somente de anexação : novos registros são anexados à tabela bruta da fonte de dados; não há suporte para atualizações no local e acompanhamento de mudanças em nível de linha.
• Compatibilidade com multi-cloud : todos os conectores são compatíveis com Databricks on AWS, Azure ou GCP.

Pré-requisitos

Antes de configurar um conector de API, verifique se você tem:

1. Pipelines serverless : Habilite o Lakeflow SDP serverless em seu workspace.
2. Permissões: O Unity Catalog deve estar habilitado e você deve ter privilégios para criar ou usar uma conexão do Unity Catalog. Consulte Permissões de conexão.

Cada conector pode ter pré-requisitos adicionais específicos da fonte. Consulte as páginas de fonte individuais em Logs com suporte para obter detalhes.

Permissões de conexão

Os conectores de API são autenticados no aplicativo de origem por meio de uma conexão do Unity Catalog, um objeto protegível regido pelos privilégios do Unity Catalog. A criação de uma fonte de dados com suporte de conector requer esses privilégios de conexão e os privilégios de fonte de dados do Unity Catalog.

Ao criar uma fonte de dados baseada em conector, você configura essa conexão em Conexão com a fonte no primeiro o passo do fluxo: selecione uma conexão existente na lista ou clique em + Criar conexão para abrir uma caixa de diálogo específica da fonte (por exemplo, Criar uma conexão com o Workday ), onde você nomeia a conexão e insere as credenciais da fonte. O privilégio de que você precisa depende de qual:

• Para criar uma nova conexão : você precisa de CREATE CONNECTION no metastore.
• Para usar uma conexão existente : Você precisa de USE CONNECTION nessa conexão ou no metastore.

Um administrador de metastore pode conceder esses privilégios e o proprietário de uma conexão pode conceder USE CONNECTION a ela. Para obter detalhes, consulte Privilégios do Unity Catalog e objetos protegíveis.

Criar uma fonte de dados com um conector

A criação de uma origem de dados baseada em conector envolve os passos principais:

1. Configurar o aplicativo de origem : defina credenciais de autenticação (tokens de API, clientes OAuth, etc.) no sistema de origem. Cada conector tem instruções específicas de origem; consulte a sua página em Logs suportados.
2. Criar uma fonte de dados na interface do usuário do Lakewatch . Em Fontes de dados , clique em Adicionar fonte de dados e selecione um conector no seletor. O formulário de criação de fonte de dados é aberto com estas seções:
   1. Configure uma conexão do Unity Catalog : O formulário começa com a seção de conexão. Crie uma nova conexão ou selecione uma existente usando as credenciais do o passo 1. Cada conector requer credenciais específicas para o sistema de origem (por exemplo, um token de API ou cliente OAuth). Para privilégios, consulte Permissões de conexão.
   2. Nome : insira um nome para a fonte de dados. O Lakewatch cria suas tabelas no seu ambiente atual.
   3. Data histórica : Configure opcionalmente há quanto tempo o Lakewatch ingere dados. Consulte Escolha há quanto tempo ingerir.
   4. Execução e analisadores : defina a identidade de execução e anexe os analisadores que esquematizam os dados ingeridos.
   5. Configurações avançadas : Opcionalmente, defina Otimizado para desempenho : use compute otimizado para desempenho para ingestão mais rápida (ativado) ou compute padrão (desativado). O valor default é a configuração de compute de ingestão do Workspace.

O Lakewatch lida automaticamente com a criação, programar e o monitoramento do pipeline.

Escolha a data de início da ingestão

No formulário de criação da fonte de dados, procure o botão Ingerir data histórica na seção Execução . Ela fica desmarcada por default, então o Lakewatch começa a ingerir dados quando a fonte de dados é criada e, depois, continua a partir do último evento ingerido. Selecione-a para preencher retroativamente um período da história da fonte. Depois de selecioná-lo, o texto de ajuda mostra o período máximo de consulta retroativa do conector. Esta configuração só entra em vigor ao começar pela primeira vez e não pode ser alterada após a criação.

nota

Janelas históricas maiores podem demorar mais para serem ingeridas e podem aumentar o custo da ingestão.

Se o conector não suportar lookback histórico, Ingerir data histórica não aparecerá. Para limites de retenção de fonte, consulte a página do conector em Logs suportados.

Anexar e configurar analisadores

Ao criar uma fonte de dados baseada em conector, o Lakewatch seleciona automaticamente todos os analisadores integrados que correspondem aos dados de origem do conector. Você pode ajustar essa seleção cancelando a seleção ou adicionando analisadores, mas pelo menos um analisador deve permanecer selecionado. Não é possível alterar os analisadores depois que a fonte de dados é criada; para usar analisadores diferentes, recrie a fonte de dados. Consulte Anexar analisadores e Alterar analisadores em uma fonte de dados.

Destino analisado. Por default, cada analisador grava em uma tabela no seu ambiente, com o nome da tabela derivado do nome do analisador. Para enviar a saída analisada de um analisador para uma tabela diferente, defina um destino analisado (tabela de destino) para esse analisador. Escolha um nome de destino que não entre em conflito com uma tabela existente.

Gerenciar a fonte de dados após a criação

A fonte de dados começará a ser executada assim que você a criar. O programar dela é gerenciado e não pode ser alterado, mas você pode editar suas outras configurações (compute e anotações) a qualquer momento na tab Visão geral e monitorar execuções ou excluí-la conforme descrito em Criar e gerenciar fontes de dados.