Développer sur Databricks
Les utilisateurs développeurs Databricks englobent les data scientists, les data engineers, les data analysts, les ingénieurs Machine Learning, ainsi que les ingénieurs DevOps et MLOps — tous construisant des Solutions et des intégrations pour étendre et personnaliser Databricks selon leurs besoins spécifiques. Outre les nombreuses APIs Databricks et les fonctionnalités de Data Engineering disponibles dans le Workspace, il existe également de nombreux outils pour se connecter à Databricks et développer localement qui prennent en charge les utilisateurs développeurs de Databricks.
Cet article fournit un aperçu des APIs et des outils disponibles pour les utilisateurs développeurs Databricks.
Start à coder dans le Workspace.
Développer dans le Workspace est un excellent moyen de vous familiariser rapidement avec les APIs Databricks. Databricks prend en charge Python, SQL, Scala, R et d'autres fonctionnalités axées sur les développeurs dans le Workspace, y compris des outils et des infrastructures publiques utiles.
Voici quelques façons de start :
- Lisez une présentation et trouvez des Link vers des tutoriels pour divers scénarios pour Python, Scala et R. Pour un tableau des outils pris en charge dans divers langages, consultez la Vue d'ensemble des langages.
- Parcourir la référence du langage SQL pour un aperçu de l'étendue des capacités.
- Parcourez le Didacticiel : Charger et transformer des données à l’aide de DataFrames Apache Spark en Python, Scala ou R pour obtenir une introduction aux Spark API. D’autres exemples simples pour PySpark se trouvent dans Notions de base de PySpark.
- Parcourez la documentation de référence disponible, y compris la référence de l'API REST qui donne un bon aperçu des objets Databricks qui peuvent également être créés et modifiés avec d'autres outils.
- Installez le SDK Python dans un Notebook et écrivez une fonction simple.
- Déplacez des fichiers à l'aide des commandes
fsdes utilitaires Databricks, pour vous familiariser avec l'utilisation desdbutilsutilitaires pour manipuler l'environnement Databricks.
Créez des applications et des Solutions personnalisées
Databricks fournit des outils pour le développement en workspace et le développement local. Dans le Workspace, vous pouvez créer des applications à l’aide de l’interface utilisateur, les données sont facilement accessibles dans les volumes Unity Catalog et les fichiers de Workspace, des fonctionnalités propres au Workspace telles que le Genie Code pour le debugging sont disponibles, d’autres fonctionnalités telles que les Notebooks sont entièrement fonctionnels et le contrôle de version est disponible avec les dossiers Git.
Vous pouvez également développer des solutions personnalisées à l'aide d'un IDE sur votre machine locale pour profiter des fonctionnalités complètes d'un environnement de développement riche. Le développement local prend en charge un plus large éventail de langages, ce qui signifie que des fonctionnalités dépendantes du langage telles que le debugging et les frameworks de test sont disponibles pour prendre en charge des projets plus importants, ainsi qu'un accès direct au contrôle de code source.
Pour des recommandations d'utilisation des outils, consultez Outils de développement locaux.
Fonctionnalité | Description |
|---|---|
Configurez l’authentification et l’autorisation de vos outils, scripts et applications pour qu’ils fonctionnent avec Databricks. | |
Créez des applications personnalisées sécurisées pour les données et l'IA sur la plateforme Databricks, que vous pouvez partager avec d'autres utilisateurs. | |
Connectez-vous à vos workspaces Databricks distants depuis Visual Studio Code pour une configuration facile de votre connexion au Workspace Databricks, et une interface utilisateur pour la gestion des Ressources Databricks. | |
Configurez une connexion à un Workspace Databricks distant et exécutez des fichiers sur des clusters Databricks à partir de PyCharm. Ce plugin est développé et fourni par JetBrains en partenariat avec Databricks. | |
Automatisez vos interactions avec Databricks à l'aide d'un SDK, au lieu d'appeler directement les API REST. Les SDK sont également disponibles dans le Workspace. |
Se connecter à Databricks
La connexion à Databricks est un composant nécessaire pour de nombreuses intégrations et solutions, et Databricks offre une large sélection d'outils de connexion parmi lesquels choisir. Le tableau suivant fournit des outils pour connecter votre environnement de développement et vos processus à votre workspace et à vos ressources Databricks.
Fonctionnalité | Description |
|---|---|
Connectez-vous à Databricks en utilisant des environnements de développement intégrés (IDEs) populaires tels que PyCharm, IntelliJ IDEA, Eclipse, RStudio et JupyterLab. | |
Configuration facile de votre connexion au Databricks Workspace, et une interface utilisateur pour la gestion des ressources Databricks. | |
Connectez votre IDE à votre compute Databricks via un tunnel SSH. | |
Connectez-vous à Databricks pour exécuter des commandes et des scripts SQL, interagir par programmation avec Databricks, et intégrer les fonctionnalités de Databricks SQL dans des applications écrites dans des langages populaires tels que Python, Go, JavaScript et TypeScript. |
Vous pouvez également connecter de nombreux autres outils tiers populaires à des clusters et à des SQL Warehouses pour accéder aux données dans Databricks. Consultez les partenaires technologiques.
Gérer l'infrastructure et les ressources
Les développeurs et les data engineers peuvent choisir parmi les outils suivants pour automatiser le provisionnement et la gestion de l'infrastructure et des ressources. Ces outils prennent en charge des scénarios de pipeline CI/CD simples et complexes.
Pour des recommandations d'utilisation des outils, consultez Outils de développement locaux.
Fonctionnalité | Description |
|---|---|
Accédez aux fonctionnalités de Databricks en utilisant l'interface de ligne de commande (CLI) Databricks. La CLI encapsule l'API REST de Databricks, donc au lieu d'envoyer des appels d'API REST directement à l'aide de curl ou de Postman, vous pouvez utiliser la CLI Databricks pour interagir avec Databricks. Utilisez la CLI à partir d'un terminal local ou utilisez-la depuis le workspace terminal web. | |
Définissez et gérez les Ressources Databricks et votre pipeline CI/CD en utilisant les meilleures pratiques de développement, de test et de déploiement conformes aux normes du secteur pour vos projets de données et d'IA avec les Declarative Automation Bundles, qui est une fonctionnalité de la CLI Databricks. | |
Provisionnez l'infrastructure et les ressources Databricks à l'aide de Terraform. | |
Intégrez des systèmes et frameworks CI/CD populaires tels que GitHub Actions, Jenkins et Apache Airflow. |
Collaborez et partagez du code
Parmi de nombreuses autres fonctionnalités de collaboration dans le Workspace, Databricks prend spécifiquement en charge les utilisateurs développeurs qui souhaitent collaborer et partager du code dans le Workspace grâce à ces fonctionnalités :
Fonctionnalité | Description |
|---|---|
Développez des UDF (fonctions définies par l'utilisateur) pour réutiliser et partager le code. | |
Configurez les dossiers Git pour gérer le contrôle de version et de source des contributions à vos fichiers de projet Databricks. |
Interagissez avec la communauté de développeurs Databricks
Databricks dispose d'une Communauté de développeurs active, qui est soutenue par les programmes et Ressources suivants :
- Databricks MVPs : Ce programme reconnaît les membres de la Communauté, les data scientists, les data engineers, les développeurs et les passionnés de l'open source qui se surpassent dans la Communauté des données et de l'IA. Pour plus d'informations, consultez Databricks MVPs.
- Formation : Databricks propose des modules d'apprentissage pour les développeurs Apache Spark, les ingénieurs en IA générative, les data engineers, et plus encore.
- **Communauté** : Une multitude de connaissances est disponible auprès de la communauté Databricks et de la communauté Apache Spark.