analisar_url

Extrai uma parte específica de uma URL. Se uma key for fornecida, ela retorna o valor do parâmetro de consulta associado.

Sintaxe

Python

from pyspark.sql import functions as sf

sf.parse_url(url, partToExtract, key=None)

Parâmetros

Parâmetro	Tipo	Descrição
url	pyspark.sql.Column ou str	Uma coluna de strings, cada uma representando um URL.
partToExtract	pyspark.sql.Column ou str	Uma coluna de strings, cada uma representando a parte a ser extraída da URL.
key	pyspark.sql.Column ou str, opcional	Uma coluna de strings, cada uma representando a key de um parâmetro de consulta na URL.

Devoluções

pyspark.sql.ColumnUma nova coluna de strings, cada uma representando o valor da parte extraída da URL.

Exemplos

Exemplo 1 : Extraindo a parte da consulta de uma URL

Python

from pyspark.sql import functions as sf
df = spark.createDataFrame(
  [("https://spark.apache.org/path?query=1", "QUERY")],
  ["url", "part"]
)
df.select(sf.parse_url(df.url, df.part)).show()

Output

+--------------------+
|parse_url(url, part)|
+--------------------+
|             query=1|
+--------------------+

Exemplo 2 : Extraindo o valor de um parâmetro de consulta específico de uma URL

Python

from pyspark.sql import functions as sf
df = spark.createDataFrame(
  [("https://spark.apache.org/path?query=1", "QUERY", "query")],
  ["url", "part", "key"]
)
df.select(sf.parse_url(df.url, df.part, df.key)).show()

Output

+-------------------------+
|parse_url(url, part, key)|
+-------------------------+
|                        1|
+-------------------------+

Exemplo 3 : Extraindo a parte do protocolo de uma URL

Python

from pyspark.sql import functions as sf
df = spark.createDataFrame(
  [("https://spark.apache.org/path?query=1", "PROTOCOL")],
  ["url", "part"]
)
df.select(sf.parse_url(df.url, df.part)).show()

Output

+--------------------+
|parse_url(url, part)|
+--------------------+
|               https|
+--------------------+

Exemplo 4 : Extraindo a parte do host de uma URL

Python

from pyspark.sql import functions as sf
df = spark.createDataFrame(
  [("https://spark.apache.org/path?query=1", "HOST")],
  ["url", "part"]
)
df.select(sf.parse_url(df.url, df.part)).show()

Output

+--------------------+
|parse_url(url, part)|
+--------------------+
|    spark.apache.org|
+--------------------+

Exemplo 5 : Extraindo a parte do caminho de uma URL

Python

from pyspark.sql import functions as sf
df = spark.createDataFrame(
  [("https://spark.apache.org/path?query=1", "PATH")],
  ["url", "part"]
)
df.select(sf.parse_url(df.url, df.part)).show()

Output

+--------------------+
|parse_url(url, part)|
+--------------------+
|               /path|
+--------------------+