Desenvolver em Databricks

Databricks Os usuários desenvolvedores abrangem data scientists, engenheiros de dados, analistas de dados, engenheiros de aprendizado de máquina, bem como engenheiros de DevOps e MLOps - todos criando soluções e integrações para estender e personalizar Databricks para suas necessidades específicas. Além dos muitos Databricks APIs e do recurso de engenharia de dados disponíveis no workspace, há também muitas ferramentas para conexão com o Databricks e desenvolvimento local que dão suporte aos usuários desenvolvedores do Databricks.

Esta página oferece uma visão geral das APIs e ferramentas disponíveis para usuários desenvolvedores do Databricks.

começar a codificar no workspace

Desenvolver no site workspace é uma ótima maneira de se familiarizar rapidamente com o site Databricks APIs. Databricks suporta Python, SQL, Scala, R e outros recursos voltados para o desenvolvedor no workspace, incluindo ferramentas e utilitários úteis.

Aqui estão algumas maneiras de começar:

• Leia uma visão geral e encontre links para tutoriais de vários cenários para Python, Scalae R. Para obter uma tabela de ferramentas compatíveis com vários idiomas, consulte Visão geral dos idiomas.
• Consulte a referência da linguagem SQL para ver a profundidade e a amplitude dos recursos.
• Faça o tutorial: Load and transformation de dados using Apache Spark DataFramesin Python, Scala, or R to get an introduction to Spark APIs. Outros exemplos simples para o PySpark estão em PySpark basics.
• Procure a documentação de referência disponível, incluindo a referência da API REST, que fornece uma boa imagem dos objetos do Databricks que também podem ser criados e modificados com outras ferramentas.
• Instale o Python SDK em um Notebook e escreva uma função simples.
• Mova alguns arquivos usando as utilidadesDatabricks fs comando, para se familiarizar com o uso das utilidades dbutils para manipular o ambiente Databricks.

Criar aplicativos e soluções personalizados

Databricks fornece ferramentas tanto para workspace quanto para desenvolvimento local. No workspace você pode criar aplicativos usando a interface do usuário, os dados são facilmente acessíveis em volumes Unity Catalog e arquivos workspace , recursos exclusivos workspace , como o Genie Code para .NET Framework, estão disponíveis, outras funcionalidades, como o Notebook, são completas e o controle de versão está disponível com pastas Git .

Como alternativa, desenvolva soluções personalizadas usando um IDE em seu computador local para aproveitar toda a funcionalidade de um ambiente de desenvolvimento avançado. O desenvolvimento local oferece suporte a uma variedade maior de idiomas, o que significa que recursos dependentes do idioma, como depuração e estruturas de teste, estão disponíveis para dar suporte a projetos maiores, juntamente com acesso direto ao controle de origem.

Para recomendações de uso de ferramentas, consulte Casos de uso de ferramentas de desenvolvedor.

• • Autenticar e autorizar
  • Configure a autenticação e a autorização para que suas ferramentas, scripts e aplicativos funcionem com a Databricks.
• • Databricks Apps
  • Crie dados seguros e aplicativos personalizados AI na plataforma Databricks, que podem ser compartilhados com outros usuários.
• • Extensão do Databricks para Visual Studio Code
  • Conecte-se ao seu espaço de trabalho remoto Databricks a partir do Visual Studio Code para facilitar a configuração da sua conexão com o Databricks workspace e uma interface de usuário para gerenciar o recurso Databricks.
• • Plugin PyCharm Databricks
  • Configure uma conexão com um site remoto Databricks workspace e execute arquivos em Databricks clustering a partir de PyCharm. Este plug-in é desenvolvido e fornecido pela JetBrains em parceria com a Databricks.
• • SDKs da Databricks
  • Automatize suas interações com a Databricks usando um SDK, em vez de chamar as APIs REST diretamente. Os SDKs também estão disponíveis no site workspace.
    • SDK do Databricks para Python
    • SDKs do Databricks para JavaScript
    • SDK do Databricks para Go
    • SDK do Databricks para Java
    • SDK do Databricks para R

Conectar-se ao Databricks

A conexão com a Databricks é um componente necessário de muitas integrações e soluções, e a Databricks oferece uma grande variedade de ferramentas de conexão para o senhor escolher. A tabela a seguir fornece ferramentas para conectar o ambiente e os processos de desenvolvimento ao site Databricks workspace e ao recurso.

• • Databricks Connect
  • Conecte-se à Databricks usando ambientes de desenvolvimento integrado (IDEs) populares, como PyCharm, IntelliJ IDEA, Eclipse, RStudio e JupyterLab.
• • Extensão do Databricks para Visual Studio Code
  • Fácil configuração de sua conexão com o site Databricks workspace e uma interface de usuário para gerenciar o recurso Databricks.
• • Túnel SSH
  • Conecte seu IDE ao seu compute Databricks por meio de um túnel SSH.
• • Drivers e ferramentas SQL
  • Conecte-se a Databricks para executar SQL comandos e scripts, interagir programaticamente com Databricks e integrar a funcionalidade Databricks SQL a aplicativos escritos em linguagens populares, como Python, Go, JavaScript e TypeScript.

dica

O senhor também pode conectar muitas outras ferramentas populares de terceiros ao clustering e ao warehouse SQL para acessar os dados em Databricks. Veja o parceiro tecnológico.

gerenciar infraestrutura e recursos

Os desenvolvedores e engenheiros de dados podem escolher entre as seguintes ferramentas para automatizar o provisionamento e gerenciamento de infraestrutura e recursos. Essas ferramentas oferecem suporte a cenários de pipeline CI/CD tanto simples quanto complexos.

Para recomendações de uso de ferramentas, consulte Casos de uso de ferramentas de desenvolvedor.

• • CLI do Databricks
  • Acesse a funcionalidade do Databricks usando a interface de linha de comando (CLI) do Databricks. A CLI envolve a API REST do Databricks, portanto, em vez de enviar chamadas à API REST diretamente usando curl ou Postman, o senhor pode usar a CLI do Databricks para interagir com o Databricks. Use o CLI em um terminal local ou use-o no workspace terminal da Web.
• • Pacotes de Automação Declarativa
  • Defina e gerencie recursos Databricks e seu pipeline CI/CD usando as melhores práticas de desenvolvimento, teste e implantação padrão do setor para seus projetos de dados e AI com os Pacotes de Automação Declarativa, que são um recurso da CLI do Databricks .
• • Provedor Databricks Terraform
  • provisionamento Databricks infraestrutura e recurso usando Terraform.
• • Ferramentas de CI/CD
  • Integrar sistemas e estruturas populares de CI/CD, como GitHub Actions, Jenkins e Apache Airflow.

Colabore e compartilhe código

Entre muitos outros recursos de colaboração no workspace, o Databricks oferece suporte específico aos usuários desenvolvedores que desejam colaborar e compartilhar códigos no workspace com esses recursos:

• • UDFs
  • Desenvolva UDFs (funções definidas pelo usuário) para reutilizar e compartilhar código.
• • Pastas Git
  • Configure as pastas do Git para contribuições de controle de versão e fonte para os arquivos de projeto do Databricks.

Envolver-se com a comunidade de desenvolvedores da Databricks

Databricks tem uma comunidade de desenvolvedores ativa, que é apoiada pelos seguintes programas e recursos:

• Databricks MVPs : Esse programa reconhece os membros da comunidade, data scientists, engenheiros de dados, desenvolvedores e entusiastas do código aberto que vão além dos dados e da comunidade AI. Para obter mais informações, consulte Databricks MVPs.
• treinamento: Databricks oferece módulos de aprendizagem para Apache SparkAIdesenvolvedores de, engenheiros de geração, engenheiros de dados e muito mais.
• comunidade : Há uma grande quantidade de conhecimento disponível no site Databricks comunidade e no site Apache Spark comunidade.