O que aconteceu com o Databricks Repos?

Databricks implementou novos elementos de interface de usuário que permitem que os usuários trabalhem diretamente com as pastas apoiadas no repositório Git a partir da interface do usuário do espaço de trabalho, substituindo efetivamente a funcionalidade anterior e separada do recurso "Repos".

O que essa mudança significa para mim?

Se o senhor for usuário do recurso Databricks Repos para controle de código-fonte baseado em co-versão Gitdo projeto ativo, a funcionalidade principal não foi alterada. A diferença mais notável é que muitas operações contextuais da UI agora se referem a "pastas Git" em vez de "Repos".

Por exemplo, uma pasta do Databricks apoiada por um repositório Git pode ser criada selecionando New (Novo ) e Repo (Repositório ) na interface do usuário:

Agora, o senhor seleciona New e escolhe a pasta Git . Mesma coisa, nome diferente!

Essa alteração fornece algumas melhorias que simplificam o trabalho com pastas controladas por versão:

1. Melhor organização de pastas : as pastas Git podem ser criadas em qualquer nível da árvore de arquivos workspace, permitindo que o senhor organize as pastas Git da maneira mais adequada ao seu projeto. Por exemplo, o senhor pode criar pastas Git em /Workspace/Users/<user email>/level_1/level_2/level_3/<Git folder name>. Repos só pode ser criado em um nível de diretório fixo, como a raiz da pasta do usuário Repos, como /Workspace/Repos/<user email>/<Repo name>.

   • Observação: as pastas do site Git podem conter ou ser colocadas em conjunto com outros ativos que não são compatíveis com o site Repos atualmente. Os tipos de ativo não suportados, como o DBSQL ativo e os experimentos do MLflow, podem ser movidos para as pastas Git. O suporte à serialização para outros ativos será adicionado ao longo do tempo.

2. Comportamentos simplificados da interface do usuário : Essa alteração traz uma interação comum do workspace - trabalhar com o Git- diretamente para o seu Databricks workspace e reduz o tempo gasto na navegação entre as pastas workspace e as pastas Git controladas por versão.

O que mudou, especificamente?

1. As pastas Git podem ser criadas fora do diretório /Repos.
2. Git As pastas são criadas selecionando New > Git folder em um Databricks workspace. Isso cria uma nova pasta Git em /Workspace/Users/<user-email>/.
3. Git podem ser criadas em vários níveis da árvore de arquivos workspace, desde que estejam sob /Workspace/Users/<user-email>. Por exemplo, o senhor pode criar pastas Git em /Workspace/Users/<user-email>/level_1/level_2/level_3/<git-folder-name>. O senhor pode ter várias pastas Git em /Workspace/Users/<user-email>.
4. Os ativos sem suporte são permitidos nas pastas Git. O suporte à serialização para outros tipos de ativos será adicionado com o tempo.
5. Ao contrário dos Repos, o senhor não pode criar uma nova pasta Git no Databricks sem um URL de repositório remoto.

O que acontece com meus Repos atuais?

Se o senhor tiver Repos definido para suas pastas Databricks workspace, elas não serão removidas e não será necessário migrar essas pastas existentes de Repos para Git. Em vez disso, o Repos foi integrado à interface de usuário Databricks workspace e não é mais apresentado como um conjunto separado de pastas organizadas em um nó Repo de nível superior. Agora eles podem ser encontrados na pasta raiz /Workspace como /Workspace/Repos.

• As referências /Repos existentes continuarão funcionando. Os caminhos que começam com /Repos ou /Workspace/Repos referem-se à mesma pasta, e os caminhos declarados nas referências jobs, dbutils.notebook.run e %run podem permanecer inalterados.
• Em alguns casos raros, o senhor deve fazer uma modificação única em seu site workspace para que esse redirecionamento funcione. Para obter mais detalhes sobre essa modificação, consulte Referências a objetos workspace.

Databricks recomenda que os usuários criem novas pastas Git em vez de Repos se precisarem se conectar ao controle de versão Git a partir do site Databricks workspace. Colocar Git repos e outros workspace ativos torna as pastas Git mais fáceis de descobrir e gerenciar do que Repos.

Git permissões de pasta As pastas Git têm as mesmas permissões de pastaworkspace que outras pastas workspace. Os usuários devem ter a permissão CAN_MANAGE para realizar a maioria das operações do Git.

Qual DBR devo usar para executar o código nas pastas do Git?

Para uma execução consistente do código entre pastas Git e Repos legados, a Databricks recomenda que os usuários executem o código somente em pastas Git com DBR 15+.

Comportamento atual do diretório de trabalho (CWD)

Databricks Runtime (DBR) versão 14 ou superior permite o uso de caminhos relativos e oferece a mesma experiência de diretório de trabalho atual (CWD) para todo o Notebook, em que o usuário executa o Notebook a partir do diretório de trabalho atual. Os comportamentos do diretório de trabalho atual (CWD) podem ser inconsistentes entre o Notebook em uma pasta Git e uma pasta nãoGit para versões mais antigas do Databricks Runtime (DBR).

Comportamento do sys.path do Python

O Databricks Runtime (DBR) versão 14.3 ou superior fornece o mesmo comportamento sys.path nas pastas Git e nos Repos antigos. Com as versões anteriores do DBR, o comportamento da pasta Git difere dos Repos legados, pois o diretório raiz do repo não é adicionado automaticamente a sys.path para pastas Git. No caso do Python, sys.path contém uma lista de diretórios que o interpretador pesquisa ao importar módulos. Se não for possível usar o DBR 15 ou o acima, o senhor pode anexar manualmente um caminho de pasta a sys.path como solução alternativa.

Para obter exemplos sobre como adicionar diretórios a sys.path usando caminhos relativos, consulte Importar módulos Python e R.

Precedência da biblioteca Python

O Databricks Runtime (DBR) versão 14.3 ou superior fornece a mesma precedência de biblioteca Python nas pastas Git e nos Repos legados.