Connecteurs Communauté dans Lakeflow Connect
Bêta
Cette fonctionnalité est en Bêta. Les administrateurs du Workspace peuvent contrôler l'accès à cette fonctionnalité à partir de la page Previews . Consultez Gérer les aperçus Databricks.
Les connecteurs communautaires sont des connecteurs open source qui étendent Lakeflow Connect aux sources sans prise en charge des connecteurs gérés. La communauté les construit et les maintient. Vous avez les options suivantes :
-
- Utilisez un connecteur de Communauté enregistré.
- Utilisez un connecteur de Communauté enregistré pour ingérer des données depuis une source prise en charge dans Databricks.
-
- Créer un connecteur personnalisé
- Créez un connecteur personnalisé pour une nouvelle source à l'aide du cadre communautaire et de templates.
Fonctionnement des connecteurs de communauté
Les connecteurs de la communauté sont basés sur l'interface LakeflowConnect, qui encapsule l'API de source de données Spark Python. Chaque connecteur gère l'authentification, la découverte de schémas et la lecture incrémentielle des données afin que vous puissiez créer, configurer et exécuter un pipeline d'ingestion alimenté par des LakeFlow Pipelines.
Lorsque vous utilisez un connecteur communautaire, Databricks clone le code source du connecteur d’un repository GitHub vers un répertoire Workspace que vous spécifiez. Le pipeline lit ensuite le code source du connecteur au moment de l’exécution et exécute la logique d’ingestion par rapport à la source configurée.
Sources prises en charge
La communauté enregistre régulièrement de nouveaux connecteurs. Pour la liste la plus récente des sources prises en charge, consultez l'interface utilisateur Ajouter des données ( Ingestion de données ) dans votre Workspace Databricks ou le repository LakeFlow Communauté Connectors sur GitHub.
Considérations
- Les connecteurs communautaires sont en cours de développement actif. Les interfaces et le comportement sont susceptibles de changer.
- Databricks ne maintient pas les connecteurs communautaires. Ils ne sont pas couverts par les SLA de Databricks et ne garantissent pas la compatibilité ascendante.
Soumettre des commentaires
Signalez les bugs et soumettez des demandes de fonctionnalités dans le repository Lakeflow Community Connectors.