SparkSession

Le point d'entrée pour la programmation Spark avec l'API Dataset et DataFrame. Une SparkSession peut être utilisée pour créer des DataFrames, enregistrer des DataFrames comme tables, exécuter des requêtes SQL sur des tables, mettre en cache des tables et lire des fichiers Parquet.

Syntaxe

Python

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()

Propriétés

Propriété	Description
builder	Interface de création de la configuration de session.
catalog	Interface par laquelle l'utilisateur peut créer, supprimer, modifier ou query les bases de données, tables, fonctions sous-jacentes, etc.
client	Donne accès au client Spark Connect. Spark Connect uniquement.
conf	Interface de configuration Runtime pour Spark.
dataSource	Renvoie une DataSourceRegistration pour l'enregistrement de la source de données.
profile	Renvoie un Profile pour l'analyse des performances et de la mémoire.
read	Renvoie un DataFrameReader qui peut être utilisé pour lire des données en tant que DataFrame.
readStream	Renvoie un DataStreamReader qui peut être utilisé pour lire des flux de données sous la forme d'un DataFrame en streaming.
sparkContext	Renvoie le SparkContext sous-jacent. Mode classique uniquement.
streams	Renvoie un StreamingQueryManager qui permet de gérer toutes les requêtes de streaming actives.
tvf	Renvoie une TableValuedFunction pour l'appel de fonctions à valeur de table (TVF).
udf	Renvoie un UDFRegistration pour l'enregistrement UDF.
udtf	Renvoie une UDTFRegistration pour l'enregistrement UDTF.
version	La version de Spark sur laquelle cette application est exécutée.

Propriété	Description
builder	Interface de création de la configuration de session.
catalog	Interface par laquelle l'utilisateur peut créer, supprimer, modifier ou query les bases de données, tables, fonctions sous-jacentes, etc.
client	Donne accès au client Spark Connect. Spark Connect uniquement.
conf	Interface de configuration Runtime pour Spark.
dataSource	Renvoie une DataSourceRegistration pour l'enregistrement de la source de données.
profile	Renvoie un Profile pour l'analyse des performances et de la mémoire.
read	Renvoie un DataFrameReader qui peut être utilisé pour lire des données en tant que DataFrame.
readStream	Renvoie un DataStreamReader qui peut être utilisé pour lire des flux de données sous la forme d'un DataFrame en streaming.
sparkContext	Renvoie le SparkContext sous-jacent. Mode classique uniquement.
streams	Renvoie un StreamingQueryManager qui permet de gérer toutes les requêtes de streaming actives.
tvf	Renvoie une TableValuedFunction pour l'appel de fonctions à valeur de table (TVF).
udf	Renvoie un UDFRegistration pour l'enregistrement UDF.
udtf	Renvoie une UDTFRegistration pour l'enregistrement UDTF.
version	La version de Spark sur laquelle cette application est exécutée.

Méthodes

Méthode	Description
createDataFrame(data, schema, samplingRatio, verifySchema)	Crée un DataFrame à partir d'un RDD, d'une liste, d'un DataFrame pandas, d'un ndarray numpy ou d'une Table pyarrow.
sql(sqlQuery, args, **kwargs)	Retourne un DataFrame représentant le résultat de la query donnée.
table(tableName)	Renvoie la table spécifiée en tant que DataFrame.
range(start, end, step, numPartitions)	Crée un DataFrame avec une seule colonne de type LongType nommée id, contenant des éléments dans une plage.
newSession()	Renvoie une nouvelle SparkSession avec des SQLConf, des vues temporaires enregistrées et des UDF séparées, mais un SparkContext et un cache de table partagés. Mode classique uniquement.
getActiveSession()	Renvoie la SparkSession active pour le thread actuel.
active()	Renvoie la SparkSession active ou par default pour le thread actuel.
stop()	Arrête le SparkContext sous-jacent.
addArtifacts(*path, pyfile, archive, file)	Ajoute des artefacts à la session client.
interruptAll()	Interrompt toutes les opérations de cette session en cours d'exécution sur le serveur.
interruptTag(tag)	Interrompt toutes les opérations de cette session avec le tag donné.
interruptOperation(op_id)	Interrompt une opération de cette session avec l'operationId donné.
addTag(tag)	Ajoute un tag à attribuer à toutes les opérations démarrées par ce fil dans cette session.
removeTag(tag)	Supprime une balise précédemment ajoutée pour les opérations lancées par ce fil.
getTags()	Récupère les tags actuellement définis à attribuer à toutes les Opérations start initiées par ce fil.
clearTags()	Efface les tags d'opération du thread actuel.

Méthode	Description
createDataFrame(data, schema, samplingRatio, verifySchema)	Crée un DataFrame à partir d'un RDD, d'une liste, d'un DataFrame pandas, d'un ndarray numpy ou d'une Table pyarrow.
sql(sqlQuery, args, **kwargs)	Retourne un DataFrame représentant le résultat de la query donnée.
table(tableName)	Renvoie la table spécifiée en tant que DataFrame.
range(start, end, step, numPartitions)	Crée un DataFrame avec une seule colonne de type LongType nommée id, contenant des éléments dans une plage.
newSession()	Renvoie une nouvelle SparkSession avec des SQLConf, des vues temporaires enregistrées et des UDF séparées, mais un SparkContext et un cache de table partagés. Mode classique uniquement.
getActiveSession()	Renvoie la SparkSession active pour le thread actuel.
active()	Renvoie la SparkSession active ou par default pour le thread actuel.
stop()	Arrête le SparkContext sous-jacent.
addArtifacts(*path, pyfile, archive, file)	Ajoute des artefacts à la session client.
interruptAll()	Interrompt toutes les opérations de cette session en cours d'exécution sur le serveur.
interruptTag(tag)	Interrompt toutes les opérations de cette session avec le tag donné.
interruptOperation(op_id)	Interrompt une opération de cette session avec l'operationId donné.
addTag(tag)	Ajoute un tag à attribuer à toutes les opérations démarrées par ce fil dans cette session.
removeTag(tag)	Supprime une balise précédemment ajoutée pour les opérations lancées par ce fil.
getTags()	Récupère les tags actuellement définis à attribuer à toutes les Opérations start initiées par ce fil.
clearTags()	Efface les tags d'opération du thread actuel.