O que é DBFS?

O termo DBFS é usado para descrever duas partes da plataforma:

  • DBFS root

  • Montagens DBFS

O armazenamento e o acesso a montagens de uso de dados DBFS root ou DBFS é um padrão obsoleto e não é recomendado por Databricks. Para obter recomendações sobre como trabalhar com arquivos, consulte Trabalhar com arquivos no Databricks.

O que é o sistema de arquivos Databricks?

O termo DBFS vem de Databricks File System, que descreve o sistema de arquivos distribuído usado por Databricks para interagir com o armazenamento baseado em cloud.

A tecnologia subjacente associada ao DBFS ainda faz parte da plataforma Databricks. Por exemplo, dbfs:/ é um esquema opcional ao interagir com volumes do Unity Catalog.

Os avisos e advertências anteriores e atuais sobre DBFS se aplicam somente às montagens DBFS root ou DBFS.

Como o DBFS funciona com o Unity Catalog?

A Databricks recomenda o uso do Unity Catalog para gerenciar o acesso a todos os dados.

Unity Catalog adiciona os conceitos de locais externos, credenciais de armazenamento e volumes para ajudar as organizações a fornecer o acesso menos privilegiado aos dados no armazenamento de objetos cloud.

Algumas configurações de segurança fornecem acesso direto a Unity Catalog-gerenciar recurso e DBFS, principalmente para organizações que concluíram migrações ou migraram parcialmente para Unity Catalog. Consulte Práticas recomendadas para DBFS e Unity Catalog.

O que é o DBFS root?

O DBFS root é um provisionamento de local de armazenamento durante a criação do workspace na cloud account contendo o Databricks workspace. Para obter detalhes sobre a configuração e a implementação da raiz Databricks Filesystem, consulte Criar um bucket S3 para a implementação workspace .

Databricks não recomenda o armazenamento de dados de produção, biblioteca ou scripts em DBFS root. Consulte Recomendações para trabalhar com DBFS root.

Montar armazenamento de objetos

Observação

As montagens DBFS estão obsoletas. A Databricks recomenda o uso de volumes do Unity Catalog. Consulte O que são volumes do Unity Catalog?

A montagem do armazenamento de objetos no DBFS permite que o senhor acesse os objetos no armazenamento de objetos como se estivessem no sistema de arquivos local. As montagens armazenam as configurações do Hadoop necessárias para acessar o armazenamento. Para obter mais informações, consulte Montagem do armazenamento de objetos cloud em Databricks.