parse_url

Extrait une partie spécifiée d'une URL. Si une clé est fournie, elle renvoie la valeur du paramètre de query associée.

Syntaxe

Python

from pyspark.sql import functions as sf

sf.parse_url(url, partToExtract, key=None)

parameter

parameter	Type	Description
url	pyspark.sql.Column ou str	Une colonne de chaînes, chacune représentant une URL.
partToExtract	pyspark.sql.Column ou str	Une colonne de chaînes de caractères, chacune représentant la partie à extraire de l’URL.
key	pyspark.sql.Column ou str, facultatif	Une colonne de chaînes, chacune représentant la clé d'un parameter de query dans l'URL.

parameter	Type	Description
url	pyspark.sql.Column ou str	Une colonne de chaînes, chacune représentant une URL.
partToExtract	pyspark.sql.Column ou str	Une colonne de chaînes de caractères, chacune représentant la partie à extraire de l’URL.
key	pyspark.sql.Column ou str, facultatif	Une colonne de chaînes, chacune représentant la clé d'un parameter de query dans l'URL.

Renvoie

pyspark.sql.Column: Une nouvelle colonne de chaînes, chacune représentant la valeur de la partie extraite de l'URL.

Exemples

Exemple 1 : Extraction de la partie requête d'une URL

Python

from pyspark.sql import functions as sf
df = spark.createDataFrame(
  [("https://spark.apache.org/path?query=1", "QUERY")],
  ["url", "part"]
)
df.select(sf.parse_url(df.url, df.part)).show()

Output

+--------------------+
|parse_url(url, part)|
+--------------------+
|             query=1|
+--------------------+

Exemple 2 : Extraction de la valeur d’un paramètre de query spécifique à partir d’une URL

Python

from pyspark.sql import functions as sf
df = spark.createDataFrame(
  [("https://spark.apache.org/path?query=1", "QUERY", "query")],
  ["url", "part", "key"]
)
df.select(sf.parse_url(df.url, df.part, df.key)).show()

Output

+-------------------------+
|parse_url(url, part, key)|
+-------------------------+
|                        1|
+-------------------------+

Exemple 3 : Extraction de la partie protocole d'une URL

Python

from pyspark.sql import functions as sf
df = spark.createDataFrame(
  [("https://spark.apache.org/path?query=1", "PROTOCOL")],
  ["url", "part"]
)
df.select(sf.parse_url(df.url, df.part)).show()

Output

+--------------------+
|parse_url(url, part)|
+--------------------+
|               https|
+--------------------+

Exemple 4 : extraction de la partie hôte d'une URL

Python

from pyspark.sql import functions as sf
df = spark.createDataFrame(
  [("https://spark.apache.org/path?query=1", "HOST")],
  ["url", "part"]
)
df.select(sf.parse_url(df.url, df.part)).show()

Output

+--------------------+
|parse_url(url, part)|
+--------------------+
|    spark.apache.org|
+--------------------+

Exemple 5 : Extraction de la partie chemin d'une URL

Python

from pyspark.sql import functions as sf
df = spark.createDataFrame(
  [("https://spark.apache.org/path?query=1", "PATH")],
  ["url", "part"]
)
df.select(sf.parse_url(df.url, df.part)).show()

Output

+--------------------+
|parse_url(url, part)|
+--------------------+
|               /path|
+--------------------+