ai_extract

Extrai dados estruturados de uma coluna de documento usando AI/LLM.

Para a função correspondente do Databricks SQL, consulte funçãoai_extract.

Sintaxe

Python
from pyspark.sql import functions as dbf

dbf.ai_extract(col=<col>, schema=<schema>, options=<options>)

Parâmetro	Tipo	Descrição
`col`	`pyspark.sql.Column` ou `str`	Uma coluna que contém o conteúdo do documento de onde extrair.
`schema`	`dict` ou `list`	Um dicionário Python (nome do campo para `{"type": ..., "description": ...}`) ou uma lista de strings de nome de campo. Serializado para um literal JSON automaticamente.
`options`	`dict`, opcional	Um dicionário de opções para controlar o comportamento de extração.

pyspark.sql.Column: Uma nova coluna de VariantType contendo os campos extraídos.

Python
df.select(ai_extract("text", {"name": {"type": "string", "description": "Name"}}))
df.select(ai_extract("text", ["name", "age"]))