Pular para o conteúdo principal

comprimento do bloco do arquivo de entrada

Retorna o comprimento do bloco que está sendo lido ou -1 se não estiver disponível.

Sintaxe

Python
from pyspark.sql import functions as sf

sf.input_file_block_length()

Exemplos

Exemplo 1 : Obter o comprimento do bloco do arquivo de entrada

Python
from pyspark.sql import functions as sf
df = spark.read.text("python/test_support/sql/ages_newlines.csv", lineSep=",")
df.select(sf.input_file_block_length()).show()
Output
+-------------------------+
|input_file_block_length()|
+-------------------------+
| 87|
| 87|
| 87|
| 87|
| 87|
| 87|
| 87|
| 87|
+-------------------------+