Importer des données dans Lakeflow Designer
Vous pouvez intégrer toutes les données accessibles via Databricks dans une préparation de données visuelles dans Lakeflow Designer.
Toute ingestion de données dans Designer start avec l'opérateur Source . Lorsque vous ouvrez le volet de configuration d’un opérateur Source, vous disposez des options suivantes.
Parcourir les tables existantes
Cliquez sur Parcourir les ressources existantes pour ouvrir le sélecteur d’assets et parcourir les tables et les volumes dans Unity Catalog. Utilisez cette option lorsque vos données sont déjà dans Databricks.
Vous pouvez également sélectionner une vue de métrique Unity Catalog comme source. Lorsque vous sélectionnez une vue de métrique, sélectionnez les dimensions et les mesures à inclure, et Designer génère la query agrégée.
Ingérer un dossier ou un volume
Au lieu d'un fichier individuel, l'opérateur source peut cibler un volume ou un chemin de dossier entier d'Unity Catalog. Designer détecte le format des fichiers dans le dossier et les charge dans une seule table :
- Pour les formats de fichier structurés tels que CSV, JSON, Excel et Parquet, Designer lit tous les fichiers et combine leurs lignes en un seul tableau.
- Pour les fichiers de document tels que les PDF, Designer lit chaque fichier comme une seule ligne, vous obtenez donc une ligne par fichier.
Glissez ou déposez un fichier local
Faites glisser un fichier CSV ou Excel de votre machine locale directement sur le canevas. Designer upload le fichier vers un volume dans Unity Catalog et crée automatiquement un opérateur Source.
Le glisser-déposer de fichiers Excel nécessite l'activation de la prise en charge du format de fichier Excel. Consultez Lire et Stream des fichiers Excel.
Créez une table à partir d’un fichier.
Sélectionnez Créer une table à partir du fichier dans le volet de configuration de la source pour upload un fichier CSV ou Excel local et créer une table Unity Catalog à partir de celui-ci. Utilisez cette option lorsque vous souhaitez que les données soient persistantes en tant que table gérée plutôt que stockées dans un volume. De plus, pour de grandes quantités de données, cela offre les meilleures performances. Les fichiers uploadés sont soumis à la limite de taille de fichier de volume Unity Catalog. Consultez Travailler avec des fichiers dans les volumes Unity Catalog.
Importer depuis Google Drive
Pour importer un fichier depuis Google Drive :
- Dans le volet de configuration de la source, sélectionnez Importer depuis Google Drive .
- Sélectionnez une connexion Unity Catalog qui a accès à Google Drive.
- Fournissez l'URL du fichier.
Cela nécessite une connexion Unity Catalog configurée pour l'accès à Google Drive. Consultez Ingérer des fichiers depuis Google Drive pour savoir comment configurer les connexions.
Importer depuis SharePoint
Pour importer un fichier depuis SharePoint :
- Dans le volet de configuration de la source, sélectionnez Importer depuis SharePoint .
- Sélectionnez une connexion Unity Catalog qui a accès à votre site SharePoint.
- Fournissez le Link direct du fichier.
Pour obtenir l'URL correcte, cliquez avec le bouton droit sur le fichier dans SharePoint, sélectionnez Aperçu , et copiez l'URL depuis la barre d'adresses du navigateur. N'utilisez pas de Link de partage.
Ceci nécessite une connexion Unity Catalog configurée pour l'accès à SharePoint. Voir Ingérer des fichiers depuis SharePoint pour savoir comment configurer les connexions.
Utilisez Lakeflow Connect pour des sources supplémentaires
Si une source de données n'est pas directement disponible dans Designer, vérifiez Lakeflow Connect pour un connecteur géré. Lakeflow Connect prend en charge l'ingestion depuis les applications SaaS (Salesforce, Workday, HubSpot, et plus encore), les bases de données, le stockage cloud et les sources de streaming. Après avoir ingéré des données avec Lakeflow Connect dans une table Unity Catalog, vous pouvez l'utiliser comme source dans Designer.