Arquivo compactado LZO

Devido a restrições de licenciamento, o codec de compressão LZO não está disponível por default em clusters Databricks. Para ler um arquivo compactado LZO, você deve usar um init script para instalar o codec em seus clusters no momento da inicialização.

Exemplo Notebook : iniciar arquivos compactados LZO

O seguinte Notebook:

• Constrói o codec LZO.

• Cria um init script que:

  • Instala a biblioteca de compactação LZO e o comando lzop e copia o codec LZO para o caminho de classe adequado.

  • Configura o Spark para usar o codec de compactação LZO.

Notebook de arquivos compactados Init LZO

Abra o bloco de anotações em outra guia Copiar link para importação

Exemplo Notebook : leia arquivos compactados LZO

O seguinte Notebook lê arquivos compactados LZO usando o codec instalado pelo init script:

Leia arquivos compactados LZO Notebook

Abra o bloco de anotações em outra guia Copiar link para importação