Transformar tipos de dados complexos

Ao trabalhar com tipos de dados aninhados, o Databricks otimiza certas transformações prontas para uso. Os exemplos de código a seguir demonstram padrões para trabalhar com tipos de dados complexos e aninhados na Databricks.

Notação de ponto para acessar dados aninhados

O senhor pode usar a notação de ponto (.) para acessar um campo aninhado.

df.select("column_name.nested_field")
SELECT column_name.nested_field FROM table_name

Selecionar todos os campos aninhados

Use o operador estrela (*) para selecionar todos os campos dentro de um determinado campo.

Observação

Isso só descompacta os campos aninhados na profundidade especificada.

df.select("column_name.*")
SELECT column_name.* FROM table_name

Criar um novo campo aninhado

Use a função struct() para criar um novo campo aninhado.

from pyspark.sql.functions import struct, col

df.select(struct(col("field_to_nest").alias("nested_field")).alias("column_name"))
SELECT struct(field_to_nest AS nested_field) AS column_name FROM table_name

Agrupar todos os campos em uma coluna

Use o operador estrela (*) para agrupar todos os campos de uma fonte de dados em uma única coluna.

from pyspark.sql.functions import struct

df.select(struct("*").alias("column_name"))
SELECT struct(*) AS column_name FROM table_name

Selecionar um campo nomeado em uma coluna aninhada

Use colchetes [] para selecionar campos aninhados de uma coluna.

from pyspark.sql.functions import col

df.select(col("column_name")["field_name"])
SELECT column_name["field_name"] FROM table_name

Explodir elementos aninhados de um mapa ou matriz

Use a função explode() para descompactar valores das colunas do tipo ARRAY e MAP.

ARRAY armazenam valores como uma lista. Quando descompactado com explode(), cada valor se torna uma linha na saída.

from pyspark.sql.functions import explode

df.select(explode("array_name").alias("column_name"))
SELECT explode(array_name) AS column_name FROM table_name

MAP As colunas armazenam valores como par ordenado key-value. Quando descompactado com explode(), cada key se torna uma coluna e os valores se tornam linhas.

from pyspark.sql.functions import explode

df.select(explode("map_name").alias("column1_name", "column2_name"))
SELECT explode(map_name) AS (column1_name, column2_name) FROM table_name

Criar uma matriz a partir de uma lista ou conjunto

Use as funções collect_list() ou collect_set() para transformar os valores de uma coluna em uma matriz. collect_list() coleta todos os valores da coluna, enquanto collect_set() coleta apenas os valores exclusivos.

Observação

O Spark não garante a ordem dos itens no array resultante de nenhuma das operações.

from pyspark.sql.functions import collect_list, collect_set

df.select(collect_list("column_name").alias("array_name"))
df.select(collect_set("column_name").alias("set_name"))
SELECT collect_list(column_name) AS array_name FROM table_name;
SELECT collect_set(column_name) AS set_name FROM table_name;

Selecionar uma coluna de um mapa em uma matriz

O senhor também pode usar a notação de ponto (.) para acessar campos em mapas que estão contidos em uma matriz. Isso retorna uma matriz de todos os valores do campo especificado.

Considere a seguinte estrutura de dados:

{
  "column_name": [
    {"field1": 1, "field2":"a"},
    {"field1": 2, "field2":"b"}
  ]
}

O senhor pode retornar os valores de field1 como uma matriz com a seguinte consulta:

df.select("column_name.field1")
SELECT column_name.field1 FROM table_name

Transformar dados aninhados em JSON

Use a função to_json para converter um tipo de dados complexo em JSON.

from pyspark.sql.functions import to_json

df.select(to_json("column_name").alias("json_name"))
SELECT to_json(column_name) AS json_name FROM table_name

Para codificar todo o conteúdo de uma consulta ou DataFrame, combine isso com struct(*).

from pyspark.sql.functions import to_json, struct

df.select(to_json(struct("*")).alias("json_name"))
SELECT to_json(struct(*)) AS json_name FROM table_name

Observação

A Databricks também oferece suporte a to_avro e to_protobuf para transformar tipos de dados complexos para interoperabilidade com sistemas integrados.

Transformar dados JSON em dados complexos

Use a função from_json para converter dados JSON em tipos de dados complexos nativos.

Observação

O senhor deve especificar o esquema para os dados JSON.

from pyspark.sql.functions import from_json

schema = "column1 STRING, column2 DOUBLE"

df.select(from_json("json_name", schema).alias("column_name"))
SELECT from_json(json_name, "column1 STRING, column2 DOUBLE") AS column_name FROM table_name

Notebook: transformar tipos de dados complexos

O Notebook a seguir fornece exemplos de como trabalhar com tipos de dados complexos para Python, Scala e SQL.

Transformação de tipos de dados complexos Python Notebook

Abra o bloco de anotações em outra guia

Transformação de tipos de dados complexos Scala Notebook

Abra o bloco de anotações em outra guia

Transformação de tipos de dados complexos SQL Notebook

Abra o bloco de anotações em outra guia