O que aconteceu com o Databricks Repos?

A Databricks lançou novos elementos de interface de usuário que permitem que os usuários trabalhem diretamente com pastas apoiadas em repositórios Git a partir da interface de usuário workspace, substituindo efetivamente a funcionalidade anterior e separada do recurso "Repos".

O que essa mudança significa para mim?

Se o senhor for um usuário do recurso Databricks Repos para controle de fonte baseado em Git com versão conjunta do projeto ativo, a funcionalidade principal não foi alterada. A diferença mais notável é que muitas operações contextuais da UI agora se referem a "pastas Git" em vez de "Repos".

Por exemplo, uma pasta do Databricks apoiada por um Git repo poderia ser criada selecionando New (Novo ) e depois repo na interface do usuário:

Agora, o senhor seleciona New e escolhe a pasta Git. É a mesma coisa, mas com um nome diferente!

Essa alteração oferece alguns aprimoramentos que simplificam o trabalho com pastas controladas por versão:

1. Melhor organização de pastas: As pastas do Git podem ser criadas em qualquer nível da árvore de arquivos workspace, permitindo que o senhor organize as pastas do Git da maneira mais adequada ao seu projeto. Por exemplo, o senhor pode criar pastas Git em /Workspace/Users/<user email>/level_1/level_2/level_3/<Git folder name>. Repos só pode ser criado em um nível de diretório fixo, como a raiz da pasta do usuário Repos, como /Workspace/Repos/<user email>/<Repo name>.

   • Observação: as pastas do Git podem conter ou se associar a outros ativos que não são compatíveis com os Repos atualmente. Tipos de ativo não suportados, como DBSQL ativo e experimentos MLflow, podem ser movidos para pastas Git. O suporte à serialização para outros ativos será adicionado ao longo do tempo.

2. Comportamentos simplificados da interface do usuário: Essa alteração traz uma interação comum do workspace - trabalhar com o Git - diretamente para o seu Databricks workspace e reduz o tempo gasto na navegação entre o workspace e as pastas do Git controladas por versão.

O que mudou, especificamente?

1. As pastas Git podem ser criadas fora do diretório /Repos.

2. As pastas Git são criadas selecionando New > Git folder em um Databricks workspace. Isso cria uma nova pasta Git em /Workspace/Users/<user-email>/.

3. As pastas do Git podem ser criadas em várias profundidades da árvore de arquivos workspace, desde que estejam sob /Workspace/Users/<user-email>. Por exemplo, o senhor pode criar pastas Git em /Workspace/Users/<user-email>/level_1/level_2/level_3/<git-folder-name>. O senhor pode ter várias pastas Git em /Workspace/Users/<user-email>.

4. Os ativos sem suporte são permitidos nas pastas Git. O suporte à serialização para outros tipos de ativos será adicionado com o tempo.

5. Ao contrário dos Repos, o senhor não pode criar uma nova pasta Git no Databricks sem um URL de repositório remoto.

O que acontece com meus Repos atuais?

Se o senhor tiver Repos definido para as pastas Databricks workspace, elas não serão removidas e não será necessário migrar essas pastas existentes de Repos para Git. Em vez disso, o Repos foi integrado à interface de usuário Databricks workspace e não é mais apresentado como um conjunto separado de pastas organizadas em um nó de repositório de nível superior. Agora eles podem ser encontrados na pasta raiz /Workspace como /Workspace/Repos.

• As referências /Repos existentes continuarão funcionando. Os caminhos que começam com /Repos ou /Workspace/Repos referem-se à mesma pasta, e os caminhos declarados nas referências jobs, dbutils.notebook.run e %run podem permanecer inalterados.

• Em alguns casos raros, o senhor deve fazer uma modificação única em seu site workspace para que esse redirecionamento funcione. Para obter mais detalhes sobre essa modificação, consulte Referências a objetos do espaço de trabalho.

A Databricks recomenda que os usuários criem novas pastas Git em vez de Repos se precisarem se conectar ao controle de origem do Git a partir do site da Databricks workspace. Colocar repositórios do Git e outros workspace ativos torna as pastas do Git mais fáceis de descobrir e gerenciar do que Repos.

Git permissões de pasta As pastas Git têm as mesmas permissões de pastaworkspace que outras pastas workspace. Os usuários devem ter a permissão CAN_MANAGE para realizar a maioria das operações do Git.

Qual DBR devo usar para executar o código nas pastas do Git?

Para uma execução consistente do código entre pastas Git e Repos legados, a Databricks recomenda que os usuários executem o código somente em pastas Git com DBR 15+.

Comportamento do diretório de trabalho atual (CWD)

Databricks Runtime (A versão 14 ou superior do DBR permite o uso de caminhos relativos e oferece a mesma experiência de diretório de trabalho atual (CWD) para todo o Notebook, em que o usuário executa o Notebook a partir do diretório de trabalho atual. Os comportamentos do diretório de trabalho atual (CWD) podem ser inconsistentes entre o Notebook em uma pasta Git e uma pasta nãoGit para versões mais antigas do Databricks Runtime (DBR).

Comportamento do sys.path do Python

O Databricks Runtime (DBR) versão 14.3 ou superior fornece o mesmo comportamento sys.path nas pastas Git e nos Repos antigos. Nas versões anteriores do DBR, o comportamento da pasta Git difere dos Repos herdados, pois o diretório raiz do repo não é adicionado automaticamente a sys.path nas pastas Git. No caso do Python, sys.path contém uma lista de diretórios que o interpretador pesquisa ao importar módulos. Se não for possível usar o DBR 15 ou o acima, o senhor pode anexar manualmente um caminho de pasta a sys.path como solução alternativa.

Para obter exemplos sobre como adicionar diretórios a sys.path usando caminhos relativos, consulte Importar módulos Python e R.

Precedência da biblioteca Python

O Databricks Runtime (DBR) versão 14.3 ou superior fornece a mesma precedência da biblioteca Python nas pastas Git e nos Repos legados.