メインコンテンツまでスキップ

オプション(DataFrameWriterV2)

基となるデータソースへの書き込みオプションを追加します。利用可能なオプションについては、 「オプション」を参照してください。

構文

option(key, value)

パラメーター

パラメーター

Type

説明

key

str

オプションキー。

value

str、int、float、またはbool

オプション値。

オプション

以下の表には、ライター向けのオプションがいくつか記載されています。

Key

フォーマット

説明

arrayElementName

XML

明示的な名前を持たない配列要素の要素名。デフォルト: itemXML (DataFrameWriter)に適用されます。

attributePrefix

XML

XML属性に対応するフィールド名の前に付加される接頭辞。デフォルト: _XML (DataFrameWriter)に適用されます。

avroSchema

AVRO

JSON文字列としての完全なAvroスキーマ。 このオプションを使用して、Spark SQLの型を特定のAvro型に変換します。Avroファイルに適用されます。

charToEscapeQuoteEscaping

CSV

エスケープ文字が引用文字と異なる場合に、エスケープ文字をエスケープするために使用される文字。デフォルト: \0 (無効)。csv (DataFrameWriter)に適用されます。

clusterByAuto

Delta Lake

クエリパターンに基づいてDatabricksがクラスタリング列を選択する自動リキッドクラスタリングを有効にするかどうか。mode("overwrite")の場合のみ有効です。appendモードでは使用できません。デフォルト: false 。Databricks Runtime 16.4以降で利用可能です。テーブルにリキッドクラスタリングを使用するために適用されます。

compression

CSV、JSON、ORC、Parquet、テキスト、XML

書き込み時に使用する圧縮コーデック。有効な値はフォーマットによって異なります。csv (DataFrameWriter)JSON (DataFrameWriter)orc (DataFrameWriter)Parquet (DataFrameWriter)text (DataFrameWriter)xml (DataFrameWriter)に適用されます。

dateFormat

CSV、JSON、XML

日付列の値の書式指定文字列。デフォルト: yyyy-MM-ddcsv (DataFrameWriter)JSON (DataFrameWriter)xml (DataFrameWriter)に適用されます。

declaration

XML

各出力ファイルの先頭に記述されるXML宣言文字列。宣言を抑制するには、空の文字列を設定します。デフォルト: version="1.0" encoding="UTF-8" standalone="yes"XML (DataFrameWriter)に適用されます。

emptyValue

CSV

空の値(null以外の値)に対して書き込まれる文字列。デフォルト: ""csv (DataFrameWriter)に適用されます。

encoding

CSV、JSON、XML

出力ファイルの文字エンコーディング。デフォルト: UTF-8csv (DataFrameWriter)JSON (DataFrameWriter)xml (DataFrameWriter)に適用されます。

escape

CSV

引用符で囲まれた値をエスケープするために使用される文字。デフォルト: \csv (DataFrameWriter)に適用されます。

escapeQuotes

CSV

引用符で囲まれたフィールド値内の引用符文字をエスケープするかどうか。デフォルト: truecsv (DataFrameWriter)に適用されます。

header

CSV

出力の最初の行に列名を表示するかどうか。デフォルト: falsecsv (DataFrameWriter)に適用されます。

ignoreLeadingWhiteSpace

CSV

値を書き込む際に、先頭の空白文字を削除するかどうか。デフォルト: falsecsv (DataFrameWriter)に適用されます。

ignoreNullFields

JSON

JSON出力からnull値を持つフィールドを除外するかどうか。デフォルト値: spark.sql.jsonGenerator.ignoreNullFieldsJSON (DataFrameWriter)に適用されます。

ignoreTrailingWhiteSpace

CSV

値を書き込む際に、末尾の空白文字を削除するかどうか。デフォルト: falsecsv (DataFrameWriter)に適用されます。

lineSep

CSV、JSON、テキスト

レコード間で使用される行区切り文字列。デフォルト: \ncsv (DataFrameWriter)JSON (DataFrameWriter)text (DataFrameWriter)に適用されます。

mergeSchema

Delta Lake

書き込み操作においてスキーマ進化を有効にするかどうか。生成されたDataFrameの新しい列が、ターゲットテーブルのスキーマに追加されます。 バッチ追記とストリーミング追記の両方に適用されます。テーブルスキーマの更新に適用されます。

nullValue

CSV

null値に対して書き込まれた文字列。デフォルト: ""csv (DataFrameWriter)に適用されます。

nullValue

XML

null値に対して書き込まれる文字列。デフォルト: nullnullに設定すると、nullフィールドの属性と子要素は省略されます。XML (DataFrameWriter)に適用されます。

overwriteSchema

Delta Lake

上書き時にテーブルスキーマとパーティショニングを置き換えるかどうか。replaceWhereなしでmode("overwrite")が必要です。partitionOverwriteModeと併用できません。テーブルスキーマの更新に適用されます。

partitionOverwriteMode

Delta Lake

パーティションの上書きモード。新しいデータを含むパーティションのみを上書きし、その他のパーティションは変更しないよう、この値をdynamicに設定してください。レガシーモード。サーバレス コンピュートまたはDatabricks SQLではサポートされていません。 Delta Lake を使用してデータを選択的に上書きする場合に適用されます。

quote

CSV

区切り文字を含むフィールド値を引用するために使用される文字。デフォルト: "csv (DataFrameWriter)に適用されます。

quoteAll

CSV

内容に関わらず、すべてのフィールド値を引用符で囲むかどうか。デフォルト: falsecsv (DataFrameWriter)に適用されます。

recordName

AVRO

出力されるAvroスキーマにおける最上位レコード名。デフォルト: topLevelRecordAvroファイルに適用されます。

recordNamespace

AVRO

出力Avroスキーマにおける最上位レコードの名前空間。デフォルト: ""Avroファイルに適用されます。

replaceWhere

Delta Lake

述語式。述語に一致するレコードのみをアトミックに上書きします。Delta Lake を使用してデータを選択的に上書きする場合に適用されます。

rootTag

XML

出力内のすべての行要素を囲むルート要素タグ。デフォルト: ROWSXML (DataFrameWriter)に適用されます。

rowTag

XML

出力における行を表す要素タグ。デフォルト: ROWXML (DataFrameWriter)に適用されます。

sep

CSV

フィールド区切り文字。デフォルト: ,csv (DataFrameWriter)に適用されます。

timestampFormat

CSV、JSON、XML

タイムスタンプ列の値の書式指定文字列。デフォルト: yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]csv (DataFrameWriter)JSON (DataFrameWriter)xml (DataFrameWriter)に適用されます。

txnAppId

Delta Lake

foreachBatchの操作で冪等書き込みを行うアプリケーションを識別する一意の文字列。複数の Delta Lake テーブルへの書き込みが正確に 1 回のみ行われるようにするには、 txnVersionと併用してください。適用対象:冪等テーブル書き込みにはforeachBatchを使用します

txnVersion

Delta Lake

foreachBatch操作における冪等書き込みのトランザクション バージョンとして使用される、単調増加する数値。複数の Delta Lake テーブルへの書き込みが正確に 1 回のみ行われるようにするには、 txnAppIdと併用してください。適用対象:冪等テーブル書き込みにはforeachBatchを使用します

userMetadata

Delta Lake 、 Apache Iceberg

書き込み操作のコミットメタデータに追加される、ユーザー定義の文字列。DESCRIBE HISTORYの出力に表示されます。カスタムメタデータを使用してテーブルを拡張する場合に適用されます。

validateName

XML

列名が有効な XML 要素識別子でない場合に例外をスローするかどうか。デフォルト: trueXML (DataFrameWriter)に適用されます。

valueTag

XML

属性または子要素を持つXML要素内の文字データに使用されるフィールド名。デフォルト: _VALUEXML (DataFrameWriter)に適用されます。

戻り値

DataFrameWriterV2