CSV ファイルの読み取りと書き込み

この記事では、Python、Scala、R、および SQL を使用した Databricks での CSV ファイルの読み取りと書き込みの例を示します。

注：

Databricks では、SQL ユーザーが CSV ファイルを読み取るためにread_files テーブル値関数を推奨しています。 read_filesは Databricks Runtime 13.3 LTS 以降で使用できます。

また、一時的なビューを使用することもできます。 一時ビューや read_filesを使用せずに SQL を使用して CSV データを直接読み取る場合は、次の制限が適用されます。

オプション

CSV ファイルのデータソースに対して複数のオプションを構成することができます。サポートされている読み取り／書き込みオプションについては、次の Apache Spark 参照記事をご覧ください。

不正な形式の CSV レコード を操作する

指定されたスキーマを持つ CSV ファイルを読み取る場合、ファイル内のデータがスキーマと一致しない可能性があります。例えば、都市の名前を含むフィールドは整数として解析されません。パーサーが実行されるモードによって結果は異なります。

  • PERMISSIVE （デフォルト）: 正しく解析されなかったフィールドに null が挿入されます

  • DROPMALFORMED: 解析されなかったフィールドを含む行を削除します

  • FAILFAST: 不正な形式のデータが見つかった場合に読み取りを中止します

モードを設定するには、mode オプションを使用します。

diamonds_df = (spark.read
  .format("csv")
  .option("mode", "PERMISSIVE")
  .load("/databricks-datasets/Rdatasets/data-001/csv/ggplot2/diamonds.csv")
)

PERMISSIVE モードでは、次のいずれかの方法を使用して、正しく解析されなかった行を検査することができます。

  • 破損したレコードをファイルに記録するために badRecordsPath オプションにカスタムパスを指定できます。

  • DataFrameReader に提供されたスキーマに列 _corrupt_record を追加して、結果の DataFrame内の破損したレコードを確認できます。

注：

badRecordsPath オプションは _corrupt_recordよりも優先されます。つまり、指定されたパスに書き込まれた不正な形式の行は、結果の DataFrame には表示されません。

不正な形式のレコードに対するデフォルトの動作は、レスキューされたデータ列を使用する場合には変化します。

不正な形式の行の検索ノートブック

ノートブックを新しいタブで開く

レスキューされたデータ列

注：

この機能は、Databricks Runtime 8.3 (サポート対象外) 以降のバージョンでサポートされています。

PERMISSIVE モードを使用する場合、レスキューされたデータ列を有効にして、レコード内の 1 つ以上のフィールドに次のいずれかの問題があるために解析されなかったデータをキャプチャできます。

  • 指定されたスsキーマにはありません。

  • 指定されたスキーマのデータ型と一致しません。

  • 指定されたスキーマのフィールド名と大文字小文字の組み合わせが一致しません。

レスキューされたデータ列は、レスキューされた列とレコードのソースファイルパスを含む JSON ドキュメントとして返されます。 復旧されたデータ列からソースファイルパスを削除するには、SQL構成 spark.conf.set("spark.databricks.sql.rescuedDataColumn.filePath.enabled", "false")を設定します。 復旧されたデータ列を有効にするには、データを読み取るときにオプション rescuedDataColumn を列名に設定します ( _rescued_data with spark.read.option("rescuedDataColumn", "_rescued_data").format("csv").load(<path>)など)。

CSV パーサーは、レコードの解析時に PERMISSIVE、 DROPMALFORMED、および FAILFASTの 3 つのモードで対応します。rescuedDataColumnと組み合わせて使用すると、データ型の不一致によって DROPMALFORMED モードでレコードが削除されたり、 FAILFAST モードでエラーがスローされたりすることはありません。破損したレコード（不完全または不正な形式の CSV）のみが削除されるか、エラーがスローされます。

rescuedDataColumnをPERMISSIVE モードで使用すると、破損したレコードには次の規則が適用されます。

  • ファイルの最初の行 (ヘッダー行またはデータ行) は、予想される行の長さを設定します。

  • 列数が異なる行は不完全と見なされます。

  • データ型の不一致は、破損したレコードとは見なされません。

  • 不完全で不正な形式の CSV レコードのみが破損していると見なされ、 _corrupt_record 列または badRecordsPathに記録されます。

SQL の例: CSV ファイルの読み取り

次の SQL の例では、 read_filesを使用して CSV ファイルを読み取ります。

-- mode "FAILFAST" aborts file parsing with a RuntimeException if malformed lines are encountered
SELECT * FROM read_files(
  's3://<bucket>/<path>/<file>.csv',
  format => 'csv',
  header => true,
  mode => 'FAILFAST')

Scala、R、Python の例: CSV ファイルの読み取り

次のノートブックは、Scala、R、Python を使用して、ファイルの読み取り、サンプル データの表示、データ スキーマの印刷を行う方法を示しています。 このセクションの例では、 ダイヤモンド データセットを使用します。 データセットへのパスと、必要なオプションを指定します。

CSV ファイル ノートブックの読み取り

ノートブックを新しいタブで開く

例: スキーマの指定

CSV ファイルのスキーマがわかっている場合は、 schema オプションを用いて CSV リーダーに目的のスキーマを指定できます。

スキーマによる CSV ファイル ノートブックの読み取り

ノートブックを新しいタブで開く

read_filesを使用したSQLの例:

SELECT * FROM read_files(
  's3://<bucket>/<path>/<file>.csv',
  format => 'csv',
  header => false,
  schema => 'id string, date date, event_time timestamp')

例: 列のサブセットを読み取る場合の落とし穴

CSV パーサーの動作は、読み取られる列のセットによって異なります。指定されたスキーマが正しくない場合、アクセスされる列のサブセットによって結果が大きく異なる可能性があります。次のノートブックは、最も一般的な落とし穴を示しています。

CSV ファイル ノートブックの列のサブセットを読み取る際の注意事項

ノートブックを新しいタブで開く