オプション(DataFrameWriterV2)
基となるデータソースへの書き込みオプションを追加します。利用可能なオプションについては、 「オプション」を参照してください。
構文
option(key, value)
パラメーター
パラメーター | Type | 説明 |
|---|---|---|
| str | オプションキー。 |
| str、int、float、またはbool | オプション値。 |
オプション
以下の表には、ライター向けのオプションがいくつか記載されています。
Key | フォーマット | 説明 |
|---|---|---|
| XML | 明示的な名前を持たない配列要素の要素名。デフォルト: |
| XML | XML属性に対応するフィールド名の前に付加される接頭辞。デフォルト: |
| AVRO | JSON文字列としての完全なAvroスキーマ。 このオプションを使用して、Spark SQLの型を特定のAvro型に変換します。Avroファイルに適用されます。 |
| CSV | エスケープ文字が引用文字と異なる場合に、エスケープ文字をエスケープするために使用される文字。デフォルト: |
| Delta Lake | クエリパターンに基づいてDatabricksがクラスタリング列を選択する自動リキッドクラスタリングを有効にするかどうか。 |
| CSV、JSON、ORC、Parquet、テキスト、XML | 書き込み時に使用する圧縮コーデック。有効な値はフォーマットによって異なります。csv (DataFrameWriter) 、 JSON (DataFrameWriter) 、 orc (DataFrameWriter) 、 Parquet (DataFrameWriter) 、 text (DataFrameWriter) 、 xml (DataFrameWriter)に適用されます。 |
| CSV、JSON、XML | 日付列の値の書式指定文字列。デフォルト: |
| XML | 各出力ファイルの先頭に記述されるXML宣言文字列。宣言を抑制するには、空の文字列を設定します。デフォルト: |
| CSV | 空の値(null以外の値)に対して書き込まれる文字列。デフォルト: |
| CSV、JSON、XML | 出力ファイルの文字エンコーディング。デフォルト: |
| CSV | 引用符で囲まれた値をエスケープするために使用される文字。デフォルト: |
| CSV | 引用符で囲まれたフィールド値内の引用符文字をエスケープするかどうか。デフォルト: |
| CSV | 出力の最初の行に列名を表示するかどうか。デフォルト: |
| CSV | 値を書き込む際に、先頭の空白文字を削除するかどうか。デフォルト: |
| JSON | JSON出力からnull値を持つフィールドを除外するかどうか。デフォルト値: |
| CSV | 値を書き込む際に、末尾の空白文字を削除するかどうか。デフォルト: |
| CSV、JSON、テキスト | レコード間で使用される行区切り文字列。デフォルト: |
| Delta Lake | 書き込み操作においてスキーマ進化を有効にするかどうか。生成されたDataFrameの新しい列が、ターゲットテーブルのスキーマに追加されます。 バッチ追記とストリーミング追記の両方に適用されます。テーブルスキーマの更新に適用されます。 |
| CSV | null値に対して書き込まれた文字列。デフォルト: |
| XML | null値に対して書き込まれる文字列。デフォルト: |
| Delta Lake | 上書き時にテーブルスキーマとパーティショニングを置き換えるかどうか。 |
| Delta Lake | パーティションの上書きモード。新しいデータを含むパーティションのみを上書きし、その他のパーティションは変更しないよう、この値を |
| CSV | 区切り文字を含むフィールド値を引用するために使用される文字。デフォルト: |
| CSV | 内容に関わらず、すべてのフィールド値を引用符で囲むかどうか。デフォルト: |
| AVRO | 出力されるAvroスキーマにおける最上位レコード名。デフォルト: |
| AVRO | 出力Avroスキーマにおける最上位レコードの名前空間。デフォルト: |
| Delta Lake | 述語式。述語に一致するレコードのみをアトミックに上書きします。Delta Lake を使用してデータを選択的に上書きする場合に適用されます。 |
| XML | 出力内のすべての行要素を囲むルート要素タグ。デフォルト: |
| XML | 出力における行を表す要素タグ。デフォルト: |
| CSV | フィールド区切り文字。デフォルト: |
| CSV、JSON、XML | タイムスタンプ列の値の書式指定文字列。デフォルト: |
| Delta Lake |
|
| Delta Lake |
|
| Delta Lake 、 Apache Iceberg | 書き込み操作のコミットメタデータに追加される、ユーザー定義の文字列。 |
| XML | 列名が有効な XML 要素識別子でない場合に例外をスローするかどうか。デフォルト: |
| XML | 属性または子要素を持つXML要素内の文字データに使用されるフィールド名。デフォルト: |
戻り値
DataFrameWriterV2