Desative o acesso a DBFS root e as montagens no seu Databricks existente. workspace

info

Visualização

Esse recurso está em Public Preview.

Esta página descreve como desativar o acesso ao Databricks Filesystem (DBFS root e montagens no espaço de trabalho Databricks existente. Para DBFS root desativar account o recurso e as montagens no nível para novos espaços de trabalho, utilize a configuração Desativar recurso account legado.

Após migrar seu fluxo de trabalho baseado em arquivos para volumes Unity Catalog, locais externos ou arquivos workspace, é possível impedir que os usuários enviem, modifiquem ou acessem dados nas montagens DBFS root e DBFS. Desativar DBFS root e as montagens aumenta sua postura de segurança, removendo o acesso ao armazenamento compartilhado que não é governado por Unity Catalog.

O que são " DBFS root " e "mounts"?

DBFS é um sistema de arquivos distribuído em uma área de trabalho do Databricks, acessível pelo esquema URI dbfs: e utilizado para interagir com armazenamento baseado em nuvem. O esquema URI dbfs: é utilizado para acessar diversas áreas de armazenamento em um workspace, incluindo:

• DBFS root A área acessível diretamente sob a raiz do sistema de arquivos, por exemplo, quando você digita dbfs:/. Todos os usuários do workspace podem acessar o conteúdo criado diretamente em DBFS root, exceto o conteúdo sob um dos prefixos reservados abaixo, cada um sujeito a condições especiais. Consulte O que é o “ DBFS root”?
• Montagens DBFS : uma abordagem tradicional para definir o acesso ao armazenamento externo em nuvem, acessível em dbfs:/mnt/<mount_name>. Consulte Montar armazenamento de objetos.
• Prefixos reservados para Databricks : O prefixo utilizado pelos volumesUnity Catalog e outros caminhos do sistema Databricks, como dbfs:/databricks-datasets/ e MLflow ativo. Por exemplo, dbfs:/Volumes/.

Todos os caminhos também podem ser acessados usando caminhos no estilo POSIX. Consulte Preciso fornecer um esquema de URI para acessar os dados?.

Para obter mais informações sobre DBFS, incluindo DBFS root e montagens, consulte O que é DBFS?

O que é ser desativado?

Após desativar o DBFS root e as montagens:

• Todo o acesso a DBFS root e montagens no espaço de trabalho existente está desativado e bloqueado em todas as interfaces (UI, APIs, CLI, FUSE).

• As tentativas de ler ou gravar arquivos do DBFS root e das montagens falham com um erro. Por exemplo, a mensagem de erro “ DBFS root ” está desativada .

• O navegador " DBFS " e a opção de upload para DBFS não estão mais acessíveis a partir da interface do usuário. As tarefas, notebooks ou scripts que fazem referência a DBFS root e as montagens falham, a menos que a configuração seja revertida.

• A opção " DBFS " não está mais acessível a partir de recursos comuns como:

  • Bibliotecas de cluster
  • entrega de e- log s em grupo
  • MLflow acompanhamento/registro de modelo (não UC)
  • Experimentos com AutoML
  • Pipelines DLT

• A incorporação de arquivos do Notebook estático usando /files falha com um erro 500. Consulte Incorporar imagens estáticas no Notebook.

• As operações de montagem/unmount estão bloqueadas.

• As operações do FileStore estão bloqueadas.

• Desativar o " DBFS root " e as montagens em " workspace " também desativa o "Databricks Runtime " nas versões anteriores à 13.3 LTS.

O que não é afetado?

O esquema URI dbfs: continua sendo fundamental para Databricks, e desativar as montagens DBFS root e DBFS não desativa o próprio URI dbfs:. O seguinte continua funcionando conforme o esperado:

• Volumes do Unity Catalog : Os volumes permanecem acessíveis usando o prefixo dbfs:/Volumes e o caminho /Volumes no estilo POSIX. Consulte Preciso fornecer um esquema URI para acessar os dados? e O que são volumes Unity Catalog? para obter mais informações. Consulte Conectar-se a um local externo DBFS root (legado).
• Caminhos do sistema : os dados somente leitura permanecem acessíveis usando dbfs:/databricks-datasets/ e outros caminhos do sistema Databricks, como os caminhos de recursos MLflow.
• Dados do sistema interno workspace : Isso inclui conteúdo gerado automaticamente por Databricks, como revisões do Notebook, detalhes de execução de tarefas, resultados de comandos e Spark logs. Consulte os buckets de armazenamento da área de trabalho.

nota

Os dados pré-existentes em DBFS root e mounts não são excluídos. Se DBFS root e as montagens forem reativadas usando a configuração workspace-level Disable DBFS root e mounts, os dados ficarão acessíveis novamente.

A seguir, apresentamos alguns exemplos de caminhos que permanecem acessíveis e não são afetados pela desativação do " DBFS root " e das montagens:

Categoria	Caminho	Descrição
Unity Catalog Volumes	dbfs:/Volumes/<catalog>/<schema>/<volume>/<path>/<file_name>	Reservado para volumes da UC e acessível apenas por meio de APIs específicas da UC e sujeito às regras de governança da UC. Para obter mais informações, consulte Qual caminho é utilizado para acessar arquivos em um volume?
Caminho do sistema	dbfs:/databricks/mlflow-registry dbfs:/databricks/mlflow-tracking	Caminhos somente leitura que apontam para o conteúdo gravado pelo APIs interno do Databricks nos dados do sistema do espaço de trabalho.
Caminho do sistema	dbfs:/databricks-datasets/	Uma coleção somente leitura de conjuntos de dados montada por default em um espaço de trabalho Databricks. Consulte o conjunto de dados DBFS montado em Databricks.

O prefixo dbfs: (esquema de URI) é opcional e pode ser omitido na maioria dos casos. Consulte Preciso fornecer um esquema de URI para acessar os dados?.

Quando é possível desativar o DBFS root e as montagens?

É possível desativar o DBFS a qualquer momento. No entanto, se o fluxo de trabalho existente ainda depender dele, poderá ocorrer uma falha. Databricks Recomenda-se desativar o DBFS root e as montagens em ambientes não críticos somente após:

• Você migrou todos os fluxos de trabalho que dependem de DBFS root ou montagens para volumes Unity Catalog, locais externos ou arquivos workspace.
• Você atualizou todos os trabalhos e clustering para o Databricks Runtime 13.3 LTS ou superior.

nota

Antes de prosseguir, é possível utilizar os scripts de observabilidade para verificar se há DBFS root e uso de montagens restantes.

Desativar o " DBFS root " e as montagens

nota

Se a configuração “Desativar DBFS root e montagens” estiver ausente, o administrador do account deverá ativar a configuração “Unity Catalog: Desativar recurso legado” em “Visualizações” no console account.

É possível desativar o " DBFS root " e as montagens tanto na área de trabalho existente quanto na nova.

Como administrador do workspace, siga estas etapas para desativar o DBFS root e as montagens:

1. Faça login no seu espaço de trabalho do Databricks.

2. Clique no ícone do seu perfil de usuário no canto superior direito e selecione Configurações.

3. Navegue até a administração do espaço de trabalho e clique em Segurança .

4. Defina “ DBFS root ” como desativado e as montagens como “Disabled”: DBFS root e as montagens não poderão ser utilizadas.

5. Aguarde até 20 minutos para que a configuração entre em vigor.

6. Reinicie todos os clusters em execução.

   • Atraso na propagação : pode levar até 20 minutos para que a desativação do DBFS root e das montagens seja propagada completamente.
   • reinício do agrupamento : Qualquer armazém compute e SQL multifuncional em execução deve ser reiniciado MANUALMENTE . Isso deve ser feito após o tempo de propagação de 20 minutos para que as alterações tenham efeito. Caso não sejam reiniciados, esses clusters continuarão acessando DBFS root e as montagens.

   Consulte o exemplo “Notebook ” (Encontrar processos em execução de longa duração): Encontre processos em execução de longa duração compute para obter um exemplo de como identificar e reiniciar processos em execução de longa duração compute.