Connecteurs API

info

Aperçu

Lakewatch est en aperçu privé. Pour demander l’accès, veuillez contacter l’équipe de votre compte Databricks.

Les connecteurs API sont des connecteurs gérés qui extraient les données de sécurité des applications d’entreprise populaires directement dans Lakewatch par le biais de connexions Unity Catalog. Lorsque vous créez une source de données avec un connecteur API, Lakewatch crée et gère automatiquement le pipeline d’ingestion sous-jacent qui réplique les données de la source externe.

Pour les connecteurs disponibles et leurs guides de configuration spécifiques à la source, consultez Logs.

Tous les connecteurs API de Lakewatch partagent les caractéristiques suivantes :

• Ingestion gérée : Lakewatch exécute le connecteur selon un calendrier géré et gère les nouvelles tentatives et le monitoring sans nécessiter de jobs créés par l'utilisateur. Vous ne pouvez pas modifier le calendrier d'une source de données de connecteur et la programmation continue n'est pas prise en charge.
• Infrastructure Serverless : les connecteurs s’exécutent sur des Lakeflow Spark Declarative Pipelines (SDP) Serverless.
• Conception par ajout uniquement : les nouveaux enregistrements sont ajoutés à la table brute de la source de données ; les mises à jour sur place et le suivi des modifications au niveau des lignes ne sont pas pris en charge.
• Prise en charge multicloud : tous les connecteurs sont compatibles avec Databricks sur AWS, Azure ou GCP.

Prérequis

Avant de configurer un connecteur d'API, assurez-vous que vous avez :

1. Pipelines Serverless : activez Lakeflow SDP serverless dans votre workspace.
2. Autorisations : Unity Catalog doit être activé et vous devez disposer des privilèges nécessaires pour créer ou utiliser une connexion Unity Catalog. Voir Autorisations de connexion.

Chaque connecteur peut avoir des prérequis supplémentaires spécifiques à la source. Voir les pages de sources individuelles sous Logs pris en charge pour plus de détails.

Autorisations de connexion

Les connecteurs d’API s’authentifient auprès de l’application source par le biais d’une connexion Unity Catalog, un objet sécurisable régi par des privilèges Unity Catalog. La création d’une source de données prise en charge par un connecteur nécessite à la fois ces privilèges de connexion et les privilèges de source de données Unity Catalog.

Lorsque vous créez une source de données basée sur un connecteur, vous configurez cette connexion sous Connexion à la source lors de la première étape du flux : soit vous sélectionnez une connexion existante dans la liste, soit vous cliquez sur + Créer une connexion pour ouvrir une boîte de dialogue spécifique à la source (par exemple, Créer une connexion à Workday ) dans laquelle vous nommez la connexion et saisissez les identifiants de la source. Le privilège dont vous avez besoin dépend de ce qui :

• Pour créer une nouvelle connexion : Vous avez besoin de CREATE CONNECTION sur le métastore.
• Pour utiliser une connexion existante : vous avez besoin de USE CONNECTION sur cette connexion, ou sur le métastore.

Un administrateur de métastore peut accorder ces privilèges, et le propriétaire d’une connexion peut accorder USE CONNECTION sur celle-ci. Pour plus de détails, consultez Privilèges et objets sécurisables Unity Catalog.

Créer une source de données avec un connecteur

La création d’une source de données prise en charge par un connecteur implique deux étapes principales :

1. Configurer l’application source : configurez les identifiants d’authentification (jetons API, clients OAuth, etc.) dans le système source. Chaque connecteur dispose d’instructions spécifiques à la source ; consultez sa page sous Logs pris en charge.
2. Créer une source de données dans l’interface utilisateur de Lakewatch . À partir de Sources de données , cliquez sur Ajouter une source de données et sélectionnez un connecteur dans le sélecteur. Le formulaire de création de source de données s’ouvre avec les sections suivantes :
   1. Configurer une connexion au Unity Catalog : Le formulaire commence par la section de connexion. Créez une connexion ou sélectionnez-en une existante à l’aide des identifiants de l’étape 1. Chaque connecteur nécessite des identifiants spécifiques au système source (par exemple, un jeton d’API ou un client OAuth). Pour les privilèges, voir Autorisations de connexion.
   2. Nom : saisissez un nom pour la source de données. Lakewatch crée ses tables dans votre environnement actuel.
   3. Données historiques : configurez éventuellement la profondeur de l'historique d'ingestion de Lakewatch. Voir Choisir la profondeur de l’historique d’ingestion.
   4. Exécution et parseurs : définissez l’identité d’exécution et joignez les parseurs qui schématisent les données ingérées.
   5. Paramètres avancés : vous pouvez définir Optimisé pour les performances : utilisez un compute optimisé pour les performances pour une ingestion plus rapide (activé) ou un compute standard (désactivé). Utilise default le paramètre de compute d'ingestion de l'Workspace.

Lakewatch gère automatiquement la création, la planification et le monitoring des pipelines.

Choisir l’historique d’ingestion

Sur le formulaire de création de source de données, recherchez le bouton Ingérer les données historiques dans la section Exécution . Il est effacé par default, donc Lakewatch start à la création de la source de données et continue ensuite à partir du dernier événement ingéré. Sélectionnez-le pour remplir une fenêtre de l'historique de la source. Après l'avoir sélectionné, un texte d'aide affiche le recul maximum du connecteur. Ce paramètre ne prend effet qu'au premier start et ne peut être modifié après la création.

remarque

Les fenêtres historiques plus importantes peuvent être plus longues à ingérer et peuvent augmenter le coût d'ingestion.

Si le connecteur ne prend pas en charge l'examen historique, Ingérer les données historiques n'apparaît pas. Pour les limites de rétention des sources, consultez la page du connecteur sous Logs pris en charge.

Attacher et configurer des parseurs

Lorsque vous créez une source de données basée sur un connecteur, Lakewatch sélectionne automatiquement tous les parsers intégrés qui correspondent aux données sources du connecteur. Vous pouvez ajuster cette sélection en désélectionnant ou en ajoutant des parsers, mais au moins un parser doit rester sélectionné. Vous ne pouvez pas modifier les parsers après la création de la source de données ; pour utiliser des parsers différents, recréez la source de données. Voir Attacher des parsers et Modifier les parsers sur une source de données.

Destination analysée. Par default, chaque parseur écrit dans une table de votre environnement, le nom de la table étant dérivé du nom du parseur. Pour envoyer le résultat analysé d'un parseur vers une autre table, définissez une destination analysée (table cible) pour ce parseur. Choisissez un nom de destination qui n'entre pas en collision avec une table existante.

Gérer la source de données après la création

La source de données commence à s’exécuter dès que vous la créez. Son calendrier est géré et ne peut pas être modifié, mais vous pouvez modifier ses autres paramètres (compute et annotations) à tout moment sous le Vue d’ensemble tab, et surveiller les exécutions ou la supprimer comme décrit dans Créer et gérer des sources de données.