Ferramentas para desenvolvedores

Databricks fornece um ecossistema de ferramentas para ajudá-lo a desenvolver aplicativos e soluções que se integram ao Databricks e gerenciam programaticamente Databricks recursos e dados.

Este artigo apresenta uma visão geral dessas ferramentas e recomendações sobre as melhores ferramentas para cenários comuns de desenvolvedores.

Quais ferramentas a Databricks oferece para os desenvolvedores?

A tabela a seguir fornece uma lista das ferramentas de desenvolvedor fornecidas pela Databricks.

Ferramenta

Descrição

Autenticação e autorização

Configure a autenticação e a autorização para que suas ferramentas, scripts e aplicativos funcionem com a Databricks.

Databricks Connect

Conecte-se à Databricks usando ambientes de desenvolvimento integrado (IDEs) populares, como PyCharm, IntelliJ IDEA, Eclipse, RStudio e JupyterLab.

Se o senhor estiver usando o Visual Studio Code, o site Databricks recomenda a extensãoDatabricks para o Visual Studio Code, que foi desenvolvida com base no site Databricks Connect, pois fornece recursos adicionais para facilitar a configuração.

Extensão do Databricks para o Visual Studio Code

Conecte-se ao espaço de trabalho remoto do Databricks a partir do ambiente de desenvolvimento integrado (IDE) do Visual Studio Code.

Plugin PyCharm Databricks

Configure uma conexão com um site remoto Databricks workspace e execute arquivos em Databricks clusters a partir de PyCharm. Esse plug-in é desenvolvido e fornecido pela JetBrains em parceria com a Databricks.

SDKs da Databricks

Automatize Databricks a partir da biblioteca de códigos escritos para linguagens populares, como Python, Java, Go e R. Em vez de enviar REST API chamadas diretamente usando curl/ Postman, o senhor pode usar um SDK para interagir com Databricks usando uma linguagem de programação de sua escolha.

Drivers e ferramentas SQL

Conecte-se a Databricks para executar SQL comandos e scripts, interagir programaticamente com Databricks e integrar a funcionalidade Databricks SQL a aplicativos escritos em linguagens populares, como Python, Go, JavaScript e TypeScript.

CLI do Databricks

Acesse a funcionalidade do Databricks usando a interface de linha de comando (CLI) do Databricks. A CLI envolve a API REST do Databricks, portanto, em vez de enviar chamadas à API REST diretamente usando curl ou Postman, o senhor pode usar a CLI do Databricks para interagir com o Databricks.

Databricks Pacotes ativos

Implemente as práticas recomendadas de desenvolvimento, teste e implantação padrão da indústria (CI/CD) para seus dados Databricks e projetos AI usando Databricks ativo Bundles (DABs).

Provedor Terraform da Databricks e Terraform CDKTF para Databricks

provisionamento Databricks infraestrutura e recurso usando Terraform.

Provedor de recursos Pulumi Databricks

provisionamento Databricks infraestrutura e recurso usando o Pulumi Infrastructure-as-Code (IaC).

Ferramentas de CI/CD

Integrar sistemas e estruturas populares de CI/CD, como GitHub Actions, Jenkins e Apache Airflow.

Dica

Você também pode conectar muitas outras ferramentas populares de terceiros a clusters e SQL warehouses para acessar dados no Databricks.Consulte os Parceiros tecnológicos.

Qual ferramenta de desenvolvedor devo usar?

A tabela a seguir descreve as recomendações de ferramentas da Databricks para cenários comuns de desenvolvedores.

Cenários

Recomendação

  • Desenvolvimento interativo e depuração a partir de um IDE local

Extensão do Databricks para o Visual Studio Code

Plugin PyCharm Databricks

Para outros IDEs, use o Databricks CLI com o Databricks Connect

  • Interação direta com o Databricks a partir da linha de comando

  • Script de shell

  • Experimentação

  • Chamar a API REST diretamente

  • gerenciar perfis de autenticação local

  • Sincronizar o código do IDE com o site Databricks workspace

CLI do Databricks

  • gerenciar fluxo de trabalho e projetos implantados para Databricks

  • Aplicar as práticas recomendadas de CI/CD

  • Co-versão, coautor, co-implantado seu recurso e ativo como uma unidade

  • Suporta os recursos mais comuns

Databricks ativo Bundles (um recurso do site CLI)

  • Infraestrutura como código, CI/CD

  • Administrar e criar espaços de trabalho, catálogos, metastores e aplicar permissões

  • Garanta a portabilidade do ambiente e a recuperação de desastres

  • Muitos apoiaram o recurso

Provedor Databricks Terraform

  • Desenvolvimento de aplicativos

  • Integre com os sistemas de implantação existentes

  • Criar um Databricks fluxo de trabalho personalizado e um novo serviço da web

Databricks Python SDK

SDK Java da Databricks

Databricks Go SDK

Databricks R SDK

  • Somente cenários avançados

  • Quase todos os Databricks recursos estão disponíveis

API REST da Databricks