Arquivo binário
O Databricks Runtime dá suporte à fonte de dados de arquivo binário , que lê arquivos binários e converte cada arquivo em um único registro que contém o conteúdo bruto e os metadados do arquivo. O arquivo binário fonte de dados produz um DataFrame com as seguintes colunas e possivelmente colunas de partição:
path (StringType)
: O caminho do arquivo.modificationTime (TimestampType)
: A hora da modificação do arquivo. Em algumas implementações do Hadoop FileSystem, esse parâmetro pode estar indisponível e o valor seria definido como um valor default .length (LongType)
: O comprimento do arquivo em bytes.content (BinaryType)
: O conteúdo do arquivo.
Para ler arquivos binários, especifique a fonte de dados format
como binaryFile
.
Imagens
A Databricks recomenda que você use o arquivo binário fonte de dados para carregar dados de imagem.
A função display
do Databricks dá suporte à exibição de dados de imagem carregados usando a fonte de dados binária.
Se todos os arquivos carregados tiverem um nome de arquivo com extensão de imagem, a visualização da imagem será ativada automaticamente:
df = spark.read.format("binaryFile").load("<path-to-image-dir>")
display(df) # image thumbnails are rendered in the "content" column
Como alternativa, você pode forçar a funcionalidade de visualização da imagem usando a opção mimeType
com um valor strings "image/*"
para anotar a coluna binária. As imagens são decodificadas com base em seu formato de informação no conteúdo binário. Os tipos de imagem suportados são bmp
, gif
, jpeg
e png
. Arquivos não suportados aparecem como um ícone de imagem quebrado.
df = spark.read.format("binaryFile").option("mimeType", "image/*").load("<path-to-dir>")
display(df) # unsupported files are displayed as a broken image icon
Consulte Soluções de referência para aplicativos de imagem para obter o fluxo de trabalho recomendado para lidar com dados de imagem.
Opções
Para carregar arquivos com caminhos que correspondam a um determinado padrão glob e ao mesmo tempo manter o comportamento de descoberta de partição, você pode usar a opção pathGlobFilter
. O código a seguir lê todos os arquivos JPG do diretório de entrada com descoberta de partição:
df = spark.read.format("binaryFile").option("pathGlobFilter", "*.jpg").load("<path-to-dir>")
Se você quiser ignorar a descoberta de partição e pesquisar arquivos recursivamente no diretório de entrada, use a opção recursiveFileLookup
. Esta opção pesquisa diretórios aninhados mesmo que seus nomes não sigam um esquema de nomenclatura de partição como date=2019-07-01
. O código a seguir lê todos os arquivos JPG recursivamente do diretório de entrada e ignora a descoberta de partição:
df = spark.read.format("binaryFile") \
.option("pathGlobFilter", "*.jpg") \
.option("recursiveFileLookup", "true") \
.load("<path-to-dir>")
Existem APIs semelhantes para Scala, Java e R.
Observação
Para melhorar o desempenho da leitura quando o senhor carregar os dados de volta, a Databricks recomenda salvar os dados carregados de arquivos binários usando tabelas Delta:
df.write.save("<path-to-table>")