to_avro

列をAvro形式のバイナリに変換します。

subjectとschemaRegistryAddress両方が指定された場合、関数は列をSchema Registry Avro形式のバイナリに変換します。入力データスキーマは、スキーマレジストリで指定された対象に登録されている必要があります。登録されていない場合、クエリは失敗します。 。

構文

Python

from pyspark.sql.avro.functions import to_avro

to_avro(data, jsonFormatSchema=None, subject=None, schemaRegistryAddress=None, options=None)

パラメーター

パラメーター	Type	説明
data	pyspark.sql.Column またはstr	シリアル化するデータ列。
jsonFormatSchema	文字列、オプション	JSON文字列形式のユーザー指定の出力Avroスキーマ。
subject	pyspark.sql.Column またはstr、オプション	スキーマレジストリにおける、データが属する主体。
schemaRegistryAddress	文字列、オプション	スキーマレジストリのアドレス（ホスト名とポート番号）。
options	辞書、オプション	Avroレコードのシリアル化方法を制御するオプションと、スキーマレジストリクライアントの設定。

パラメーター	Type	説明
data	pyspark.sql.Column またはstr	シリアル化するデータ列。
jsonFormatSchema	文字列、オプション	JSON文字列形式のユーザー指定の出力Avroスキーマ。
subject	pyspark.sql.Column またはstr、オプション	スキーマレジストリにおける、データが属する主体。
schemaRegistryAddress	文字列、オプション	スキーマレジストリのアドレス（ホスト名とポート番号）。
options	辞書、オプション	Avroレコードのシリアル化方法を制御するオプションと、スキーマレジストリクライアントの設定。

戻り値

pyspark.sql.ColumnAvroエンコードされたバイナリデータを含む新しい列。

例

例1 ：文字列列をAvroバイナリ形式に変換する

Python

from pyspark.sql.avro.functions import to_avro

data = ['SPADES']
df = spark.createDataFrame(data, "string")
df.select(to_avro(df.value).alias("avro")).show(truncate=False)

Output

+--------------------+
|avro                |
+--------------------+
|[00 0C 53 50 41 4...|
+--------------------+

例2 ：カスタムJSONスキーマを使用して文字列列をAvroに変換する

Python

from pyspark.sql.avro.functions import to_avro

data = ['SPADES']
df = spark.createDataFrame(data, "string")
json_format_schema = '''["null", {"type": "enum", "name": "value",
    "symbols": ["SPADES", "HEARTS", "DIAMONDS", "CLUBS"]}]'''
df.select(to_avro(df.value, json_format_schema).alias("avro")).show(truncate=False)

Output

+--------+
|avro    |
+--------+
|[02 00] |
+--------+