LZO圧縮ファイル

ライセンスの制限により、LZO 圧縮コーデックは Databricks クラスターのデフォルトでは使用できません。 LZO 圧縮ファイルを読み取るには、起動時に init スクリプト を使用してクラスターにコーデックをインストールする必要があります。

ノートブックの例: LZO 圧縮ファイルの初期化

次のノートブック:

  • LZOコーデックを構築します。

  • 次のような initスクリプトを作成します。

    • LZO圧縮ライブラリと lzop コマンドをインストールし、LZOコーデックを適切なクラスパスにコピーします。

    • LZO圧縮コーデックを使用するようにSparkを構成します。

LZO 圧縮ファイル ノートブックの初期化

ノートブックを新しいタブで開く

ノートブックの例: LZO 圧縮ファイルの読み取り

次のノートブックは、initスクリプトによってインストールされたコーデックを使用してLZO圧縮ファイルを読み取ります。

LZO 圧縮ファイルの読み取りノートブック

ノートブックを新しいタブで開く