Aller au contenu principal
Dernière mise à jour le

Connectez-vous à Qlik Replicate

info

Aperçu

Cette fonctionnalité est en aperçu public.

Qlik Replicate vous aide à extraire des données de plusieurs sources de données (Oracle, Microsoft SQL Server, SAP, mainframe et plus encore) vers Delta Lake. La capture de données de modification (CDC) automatisée de Replicate vous aide à éviter la lourde tâche d'extraire manuellement des données, de les transférer à l'aide d'un script API, de les découper, de les préparer et de les importer. Qlik Compose automatise la CDC dans Delta Lake.

remarque

Pour information sur Qlik Sense, une solution qui vous aide à analyser les données dans Delta Lake, voir Connecter à Qlik Sense.

Pour une démonstration générale de Qlik Replicate Replicate, regardez la vidéo YouTube suivante (14 minutes).

Pour une démonstration de pipelines de données avec Qlik Replicate, consultez la vidéo YouTube suivante (6 minutes).

Voici les étapes pour utiliser Qlik Replicate avec Databricks.

Étape 1 : Générer un jeton d'accès personnel Databricks​

Qlik Replicate s'authentifie auprès de Databricks à l'aide d'un jeton d'accès personnel Databricks.

remarque

En tant que bonne pratique de sécurité lorsque vous vous authentifiez avec des outils, des systèmes, des scripts et des applications automatisés, Databricks vous recommande d'utiliser des jetons OAuth.

Si vous utilisez l'authentification par jeton d'accès personnel, Databricks recommande d'utiliser des jetons d'accès personnels appartenant aux Service Principal plutôt qu'aux utilisateurs du Workspace. Pour créer des jetons pour les Service Principals, consultez Gérer les jetons pour un Service Principal.

Étape 2 : Configurez un cluster pour prendre en charge les besoins d'intégration.​

Qlik Replicate écrira des données dans un compartiment S3 et le cluster d’intégration Databricks lira les données à partir de cet emplacement. Par conséquent, le cluster d'intégration nécessite un accès sécurisé au compartiment S3.

Sécuriser l'accès à un compartiment S3​

Pour accéder aux ressources AWS, vous pouvez lancer le cluster d'intégration Databricks avec un profil d'instance. Le profil d'instance doit avoir accès au bucket S3 de staging et au bucket S3 cible où vous souhaitez écrire les tables Delta. Pour créer un profil d'instance et configurer le cluster d'intégration pour utiliser le rôle, suivez les instructions dans Didacticiel : Configurer l'accès S3 avec un profil d'instance.

Comme alternative, vous pouvez utiliser la fonctionnalité de transmission des identifiants IAM, qui permet un accès par utilisateur aux données S3 à partir d'un cluster partagé.

Spécifier la configuration du cluster​

  1. Définissez le Mode du cluster sur Standard .

  2. Définissez la version de Databricks Runtime sur une version de Databricks Runtime.

  3. Activez les écritures optimisées et le compactage automatique en ajoutant les propriétés suivantes à votre configuration Spark:

    ini
    spark.databricks.delta.optimizeWrite.enabled true
    spark.databricks.delta.autoCompact.enabled true

  4. Configurez votre cluster en fonction de vos besoins d'intégration et de mise à l'échelle.

Pour plus de détails sur la configuration des clusters, consultez la référence de la configuration compute.

Voir Obtenir les détails de connexion pour une ressource de compute Databricks pour les étapes d’obtention de l’URL JDBC et du chemin HTTP.

Étape 3 : Obtenez les détails de connexion JDBC et ODBC pour vous connecter à un cluster.​

Pour connecter un cluster Databricks à Qlik Replicate, vous avez besoin des propriétés de connexion JDBC/ODBC suivantes :

  • URL JDBC
  • Chemin HTTP

Étape 4 : Configurer Qlik Replicate avec Databricks​

Accédez à la page de connexion Qlik et suivez les instructions.

Ressources supplémentaires​

Aide

Sur cette page