Importer des données dans Lakeflow Designer
Vous pouvez intégrer toutes les données accessibles via Databricks dans une préparation de données visuelles dans Lakeflow Designer.
Toute ingestion de données dans Designer start avec l'opérateur Source . Lorsque vous ouvrez le volet de configuration d’un opérateur Source, vous disposez des options suivantes.
Parcourir les tables existantes
Cliquez sur Parcourir les ressources existantes pour ouvrir le sélecteur d’assets et parcourir les tables et les volumes dans Unity Catalog. Utilisez cette option lorsque vos données sont déjà dans Databricks.
Glissez ou déposez un fichier local
Faites glisser un fichier CSV ou Excel de votre machine locale directement sur le canevas. Designer upload le fichier vers un volume dans Unity Catalog et crée automatiquement un opérateur Source.
Le glisser-déposer de fichiers Excel nécessite l'activation de la prise en charge du format de fichier Excel. Consultez Lire et Stream des fichiers Excel.
Créez une table à partir d’un fichier.
Sélectionnez Créer une table à partir du fichier dans le volet de configuration de la source pour upload un fichier CSV ou Excel local et créer une table Unity Catalog à partir de celui-ci. Utilisez cette option lorsque vous souhaitez que les données soient persistantes en tant que table gérée plutôt que stockées dans un volume. De plus, pour de grandes quantités de données, cela offre les meilleures performances. Les fichiers uploadés sont soumis à la limite de taille de fichier de volume Unity Catalog. Consultez Travailler avec des fichiers dans les volumes Unity Catalog.
Importer depuis Google Drive
Pour importer un fichier depuis Google Drive :
- Dans le volet de configuration de la source, sélectionnez Importer depuis Google Drive .
- Sélectionnez une connexion Unity Catalog qui a accès à Google Drive.
- Fournissez l'URL du fichier.
Cela nécessite une connexion Unity Catalog configurée pour l'accès à Google Drive. Consultez Ingérer des fichiers depuis Google Drive pour savoir comment configurer les connexions.
Importer depuis SharePoint
Pour importer un fichier depuis SharePoint :
- Dans le volet de configuration de la source, sélectionnez Importer depuis SharePoint .
- Sélectionnez une connexion Unity Catalog qui a accès à votre site SharePoint.
- Fournissez le Link direct du fichier.
Pour obtenir l'URL correcte, cliquez avec le bouton droit sur le fichier dans SharePoint, sélectionnez Aperçu , et copiez l'URL depuis la barre d'adresses du navigateur. N'utilisez pas de Link de partage.
Ceci nécessite une connexion Unity Catalog configurée pour l'accès à SharePoint. Voir Ingérer des fichiers depuis SharePoint pour savoir comment configurer les connexions.
Utilisez Lakeflow Connect pour des sources supplémentaires
Si une source de données n'est pas directement disponible dans Designer, vérifiez Lakeflow Connect pour un connecteur géré. Lakeflow Connect prend en charge l'ingestion depuis les applications SaaS (Salesforce, Workday, HubSpot, et plus encore), les bases de données, le stockage cloud et les sources de streaming. Après avoir ingéré des données avec Lakeflow Connect dans une table Unity Catalog, vous pouvez l'utiliser comme source dans Designer.