start (DataStreamWriter)

Stream le contenu du DataFrame vers une source de données et renvoie un objet StreamingQuery.

Syntaxe

start(path=None, format=None, outputMode=None, partitionBy=None, queryName=None, **options)

parameter

parameter	Type	Description
path	str, facultatif	Chemin dans un système de fichiers pris en charge par Hadoop.
format	str, facultatif	Le format utilisé pour enregistrer.
outputMode	str, facultatif	Comment les données sont écrites dans le récepteur : append, complete, ou update.
partitionBy	chaîne ou liste, facultatif	Noms des colonnes de partitionnement.
queryName	str, facultatif	Nom unique pour la query.
**options	-	Toutes les autres options de chaîne. Fournissez checkpointLocation pour la plupart des streams ; non requis pour un stream memory.

parameter	Type	Description
path	str, facultatif	Chemin dans un système de fichiers pris en charge par Hadoop.
format	str, facultatif	Le format utilisé pour enregistrer.
outputMode	str, facultatif	Comment les données sont écrites dans le récepteur : append, complete, ou update.
partitionBy	chaîne ou liste, facultatif	Noms des colonnes de partitionnement.
queryName	str, facultatif	Nom unique pour la query.
**options	-	Toutes les autres options de chaîne. Fournissez checkpointLocation pour la plupart des streams ; non requis pour un stream memory.

Renvoie

StreamingQuery

Exemples

Python

df = spark.readStream.format("rate").load()

Exemple basique :

Python

q = df.writeStream.format('memory').queryName('this_query').start()
q.isActive
# True
q.name
# 'this_query'
q.stop()
q.isActive
# False

Avec un Trigger et des parameters supplémentaires :

Python

q = df.writeStream.trigger(processingTime='5 seconds').start(
    queryName='that_query', outputMode="append", format='memory')
q.name
# 'that_query'
q.isActive
# True
q.stop()