ordenar por
Ordena a saída em cada bucket pelas colunas especificadas no sistema de arquivos.
Sintaxe
sortBy(col, *cols)
Parâmetros
Parâmetro | Tipo | Descrição |
|---|---|---|
| string, tupla ou lista | Um nome de coluna ou uma lista de nomes. |
| str, opcional | Nomes de colunas adicionais. Deve estar vazio se |
Devoluções
DataFrameWriter
Exemplos
Escreva um DataFrame em uma tabela ordenada e categorizada, e leia-o de volta.
Python
spark.sql("DROP TABLE IF EXISTS sorted_bucketed_table")
spark.createDataFrame([
(100, "Alice"), (120, "Alice"), (140, "Bob")],
schema=["age", "name"]
).write.bucketBy(1, "name").sortBy("age").mode(
"overwrite").saveAsTable("sorted_bucketed_table")
spark.read.table("sorted_bucketed_table").sort("age").show()
# +---+------------+
# |age| name|
# +---+------------+
# |100|Alice|
# |120|Alice|
# |140| Bob|
# +---+------------+
spark.sql("DROP TABLE sorted_bucketed_table")