contar

Retorna o número de itens em um grupo.

Sintaxe

Python

from pyspark.sql import functions as sf

sf.count(col)

Parâmetros

Parâmetro	Tipo	Descrição
col	pyspark.sql.Column ou nome da coluna	coluna de destino para compute .

Devoluções

pyspark.sql.Column: coluna para resultados de cálculo.

Exemplos

Exemplo 1 : Contar todas as linhas em um DataFrame

Python

from pyspark.sql import functions as sf
df = spark.createDataFrame([(None,), ("a",), ("b",), ("c",)], schema=["alphabets"])
df.select(sf.count(sf.expr("*"))).show()

Output

+--------+
|count(1)|
+--------+
|       4|
+--------+

Exemplo 2 : Contar valores não nulos em uma coluna específica

Python

from pyspark.sql import functions as sf
df.select(sf.count(df.alphabets)).show()

Output

+----------------+
|count(alphabets)|
+----------------+
|               3|
+----------------+

Exemplo 3 : Contar todas as linhas em um DataFrame com múltiplas colunas

Python

from pyspark.sql import functions as sf
df = spark.createDataFrame(
    [(1, "apple"), (2, "banana"), (3, None)], schema=["id", "fruit"])
df.select(sf.count(sf.expr("*"))).show()

Output

+--------+
|count(1)|
+--------+
|       3|
+--------+

Exemplo 4 : Contar valores não nulos em várias colunas

Python

from pyspark.sql import functions as sf
df.select(sf.count(df.id), sf.count(df.fruit)).show()

Output

+---------+------------+
|count(id)|count(fruit)|
+---------+------------+
|        3|           2|
+---------+------------+