Fonctions PySpark
Cette page fournit une liste de fonctions SQL PySpark disponibles sur Databricks avec des liens vers la documentation de référence correspondante.
Fonctions normales
Fonction | Description |
|---|---|
Marque un DataFrame comme suffisamment petit pour être utilisé dans les jointures de broadcast. | |
Appeler une fonction SQL. | |
Renvoie une colonne basée sur le nom de colonne donné. | |
Crée une colonne de valeur littérale. | |
Analyse la chaîne d'expression dans la colonne qu'elle représente. |
Fonctions de tri
Fonction | Description |
|---|---|
Renvoie une expression de tri pour la colonne cible par ordre croissant. | |
Renvoie une expression de tri basée sur l'ordre croissant du nom de colonne donné, et les valeurs nulles sont renvoyées avant les valeurs non nulles. | |
Renvoie une expression de tri basée sur l'ordre croissant du nom de colonne donné, et les valeurs nulles apparaissent après les valeurs non nulles. | |
Renvoie une expression de tri pour la colonne cible par ordre décroissant. | |
Renvoie une expression de tri basée sur l'ordre décroissant du nom de colonne donné, et les valeurs nulles apparaissent avant les valeurs non nulles. | |
Renvoie une expression de tri basée sur l'ordre décroissant du nom de colonne donné, et les valeurs nulles apparaissent après les valeurs non nulles. |
Fonctions conditionnelles
Fonction | Description |
|---|---|
Renvoie la première colonne qui n'est pas nulle. | |
Renvoie col2 si col1 est nul, ou col1 dans le cas contraire. | |
Renvoie col1 si elle n'est pas NaN, ou col2 si col1 est NaN. | |
Retourne NULL si col1 est égal à col2, ou col1 sinon. | |
Retourne nul si col est égal à zéro, ou col dans le cas contraire. | |
Renvoie col2 si col1 est nul, ou col1 dans le cas contraire. | |
Renvoie la colonne 2 si la colonne 1 n'est pas nulle, ou la colonne 3 sinon. | |
Évalue une liste de conditions et renvoie l'une des multiples expressions de résultat possibles. | |
Retourne zéro si la colonne est nulle, ou la colonne sinon. |
Fonctions de correspondance de modèles
Fonction | Description |
|---|---|
Renvoie le même résultat que l'opérateur ÉGAL(=) pour les opérandes non nuls, mais renvoie vrai si les deux sont nuls, faux si l'un d'entre eux est nul. | |
Renvoie true si str correspond au motif avec échappement, sans distinction de casse, null si l’un des arguments est null, false sinon. | |
Une expression qui renvoie la valeur « true » si la colonne est NaN. | |
Renvoie vrai si la colonne n'est pas nulle, ou faux dans le cas contraire. | |
Une expression qui renvoie la valeur true si la colonne est nulle. | |
Retourne vrai si la chaîne correspond au motif avec échappement, NULL si l'un des arguments est nul, sinon faux. | |
Renvoie vrai si la chaîne correspond à l'expression régulière Java regexp, ou faux sinon. | |
Renvoie vrai si la chaîne correspond à l'expression régulière Java regexp, ou faux sinon. | |
Renvoie vrai si la chaîne correspond à l'expression régulière Java regexp, ou faux sinon. |
Fonctions mathématiques
Fonction | Description |
|---|---|
Calcule la valeur absolue de la colonne ou de l'expression donnée. | |
Calcule le cosinus inverse (également appelé arccosinus) de la colonne ou de l'expression donnée. | |
Calcule le cosinus hyperbolique inverse (également appelé arcosh) de la colonne ou de l'expression donnée. | |
Calcule le sinus inverse de la colonne d'entrée. | |
Calcule le sinus hyperbolique inverse de la colonne d'entrée. | |
Compute la tangente inverse de la colonne d'entrée. | |
Calculez l'angle en radians entre l'axe des x positif d'un plan et le point donné par les coordonnées. | |
Calcule la tangente hyperbolique inverse de la colonne d'entrée. | |
Retourne la représentation sous forme de chaîne de la valeur binaire de la colonne donnée. | |
Arrondir la valeur donnée à l'échelle des décimales en utilisant le mode d'arrondi HALF_EVEN si l'échelle est supérieure ou égale à 0 ou à la partie entière lorsque l'échelle est inférieure à 0. | |
Calcule la racine cubique de la valeur donnée. | |
Calcule le plafond de la valeur donnée. | |
Calcule le plafond de la valeur donnée. | |
Convertir un nombre dans une colonne de chaîne d'une base à une autre. | |
Calcule le cosinus de la colonne d'entrée. | |
Calcule le cosinus hyperbolique de la colonne d'entrée. | |
Calcule la cotangente de la colonne d'entrée. | |
Calcule la cosécante de la colonne d'entrée. | |
Convertit un angle mesuré en radians en un angle approximativement équivalent mesuré en degrés. | |
Renvoie le nombre d'Euler. | |
Calcule l'exponentielle de la valeur donnée. | |
Calcule l'exponentielle de la valeur donnée moins un. | |
Calcule la factorielle de la valeur donnée. | |
Calcule la partie entière inférieure de la valeur donnée. | |
Renvoie la plus grande valeur de la liste des noms de colonnes, en ignorant les valeurs nulles. | |
Calcule la valeur hexadécimale de la colonne donnée, qui peut être StringType, BinaryType, IntegerType ou LongType. | |
Calcule | |
Renvoie la valeur minimale de la liste de noms de colonnes, en ignorant les valeurs nulles. | |
Retourne le logarithme naturel de l'argument. | |
Renvoie le logarithme du deuxième argument basé sur le premier argument. | |
Calcule le logarithme de la valeur donnée en base 10. | |
Calcule le logarithme naturel de la valeur donnée plus un. | |
Renvoie le logarithme en base 2 de l'argument. | |
Renvoie la valeur négative. | |
Renvoie la valeur négative. | |
Renvoie Pi. | |
Renvoie la valeur positive du dividende modulo le diviseur. | |
Renvoie la valeur. | |
Retourne la valeur du premier argument élevé à la puissance du second argument. | |
Convertit un angle mesuré en degrés en un angle approximativement équivalent mesuré en radians. | |
Génère une colonne aléatoire avec des échantillons indépendants et identiquement distribués (i.i.d.) uniformément répartis dans [0.0, 1.0). | |
Génère une colonne aléatoire avec des échantillons indépendants et identiquement distribués (i.i.d.) issus de la distribution normale standard. | |
Renvoie la valeur double la plus proche de l'argument et égale à un entier mathématique. | |
Arrondir la valeur donnée avec une précision de l'échelle de décimales en utilisant le mode d'arrondi HALF_UP si l'échelle >= 0 ou à la partie entière lorsque l'échelle < 0. | |
Calcule la sécante de la colonne d'entrée. | |
Calcule le signe de la valeur donnée. | |
Calcule le signe de la valeur donnée. | |
Calcule le sinus de la colonne d'entrée. | |
Calcule le sinus hyperbolique de la colonne d'entrée. | |
Calcule la racine carrée de la valeur flottante spécifiée. | |
Calcule la tangente de la colonne d'entrée. | |
Calcule la tangente hyperbolique de la colonne d'entrée. | |
Retourne la somme de gauche et de droite et le résultat est nul en cas de dépassement. | |
Renvoie dividend/divisor. | |
Renvoie le reste après dividende/diviseur. | |
Retourne la valeur de gauche multipliée par la valeur de droite, le résultat étant nul en cas de dépassement de capacité. | |
Renvoie la gauche moins la droite et le résultat est nul en cas de dépassement de capacité. | |
Inverse de HEX. | |
Renvoie une valeur aléatoire avec des valeurs indépendantes et identiquement distribuées (i.i.d.) dans la plage de nombres spécifiée. | |
Renvoie le numéro de compartiment dans lequel la valeur de cette expression tomberait après avoir été évaluée. |
Fonctions de chaîne
Fonction | Description |
|---|---|
Calcule la valeur numérique du premier caractère de la colonne de chaîne. | |
Calcule l'encodage BASE64 d'une colonne binaire et le renvoie sous forme de colonne de chaîne de caractères. | |
Calcule la longueur en bits pour la colonne de chaîne spécifiée. | |
Supprimez les caractères de rognure de début et de fin de la chaîne. | |
Renvoie le caractère ASCII dont l'équivalent binaire est col. | |
Renvoie la longueur de caractère des données de chaîne ou le nombre d'octets des données binaires. | |
Renvoie la longueur de caractère des données de chaîne ou le nombre d'octets des données binaires. | |
Renvoie le caractère ASCII ayant l'équivalent binaire de n. | |
Marque une colonne donnée avec le classement spécifié. | |
Renvoie le nom de classement d'une colonne donnée. | |
Concatène plusieurs colonnes de chaînes d'entrée en une seule colonne de chaînes, en utilisant le séparateur donné. | |
Renvoie un booléen. | |
Calcule le premier argument en une chaîne à partir d'un binaire en utilisant le jeu de caractères fourni (l'un des suivants : | |
Renvoie la n-ième entrée ; par ex., renvoie input2 lorsque n est 2. | |
Calcule le premier argument en binaire à partir d'une chaîne en utilisant le jeu de caractères fourni (l'un de | |
Renvoie un booléen. | |
Renvoie l'index (base 1) de la chaîne donnée (str) dans la liste délimitée par des virgules (strArray). | |
Formate le nombre X à un format tel que | |
Formate les arguments de type printf et renvoie le résultat sous forme de colonne de chaîne. | |
Mettez la première lettre de chaque mot en majuscule dans la phrase. | |
Localisez la position de la première occurrence de la colonne substr dans la chaîne donnée. | |
Renvoie la valeur true si l'entrée est une chaîne UTF-8 valide, sinon renvoie la valeur false. | |
Renvoie une chaîne avec tous les caractères convertis en minuscules. | |
Renvoie les len caractères les plus à gauche de la chaîne str (len peut être de type chaîne) ; si len est inférieur ou égal à 0, le résultat est une chaîne vide. | |
Calcule la longueur de chaîne des données ou le nombre d'octets des données binaires. | |
Calcule la distance de Levenshtein des deux chaînes de caractères données. | |
Localisez la position de la première occurrence de la sous-chaîne dans une colonne de chaîne, après la position pos. | |
Convertit une expression de chaîne de caractères en minuscules. | |
Renseignez la colonne de chaînes à gauche jusqu’à la largeur len avec pad. | |
Supprimez les espaces de l'extrémité gauche pour la valeur de chaîne spécifiée. | |
Renvoie une nouvelle chaîne dans laquelle toutes les séquences d'octets UTF-8 non valides, le cas échéant, sont remplacées par le caractère de remplacement Unicode (U+FFFD). | |
Masque la valeur de chaîne donnée. | |
Calcule la longueur en octets de la colonne de chaîne spécifiée. | |
Superposez la portion spécifiée de src avec le remplacement, en commençant par la position d'octet pos de src et en continuant sur len octets. | |
Renvoie la position de la première occurrence de substr dans str après la position start. | |
Formate les arguments de type printf et renvoie le résultat sous forme de colonne de chaîne. | |
Renvoie | |
Renvoie une chaîne de la longueur spécifiée dont les caractères sont choisis uniformément au hasard dans le Pool de caractères suivant : 0-9, a-z, A-Z. | |
Renvoie le nombre de fois où le motif d'expression régulière Java regexp est mis en correspondance dans la chaîne str. | |
Extrait un groupe spécifique mis en correspondance par l'expression régulière Java {regexp}, à partir de la colonne de chaîne spécifiée. | |
Extrayez toutes les chaînes dans le str qui correspondent à l'expression régulière Java regexp et qui correspondent à l'index du groupe de l'expression régulière. | |
Renvoie la position de la première sous-chaîne dans la chaîne qui correspond à l'expression régulière Java regexp et à l'index du groupe de l'expression régulière. | |
Remplacez toutes les sous-chaînes de la valeur de chaîne spécifiée qui correspondent à l’expression régulière par le remplacement. | |
Renvoie la première sous-chaîne qui correspond à l'expression régulière Java regexp dans la chaîne str. | |
Répète une colonne de chaîne n fois, et la renvoie comme nouvelle colonne de chaîne. | |
Remplace toutes les occurrences de la recherche par un remplacement. | |
Renvoie les caractères les plus à droite de longueur (la longueur peut être de type chaîne) de la chaîne str; si la longueur est inférieure ou égale à 0, le résultat est une chaîne vide. | |
Compléter à droite la colonne de chaînes à la largeur len avec pad. | |
Supprimer les espaces à l'extrémité droite pour la valeur de chaîne spécifiée. | |
Divise une chaîne en tableaux de phrases, où chaque phrase est un tableau de mots. | |
Renvoie l'encodage SoundEx d'une chaîne | |
Divise la chaîne en fonction des correspondances du motif donné. | |
Divise la chaîne de caractères (str) par le délimiteur et renvoie la partie demandée de la division (basé sur 1). | |
Renvoie un booléen. | |
Renvoie la sous-chaîne de str qui start à pos et a une longueur de len, ou la tranche du tableau d'octets qui start à pos et a une longueur de len. | |
La sous-chaîne start à la position pos et a une longueur len lorsque str est de type String ou renvoie la tranche du tableau d'octets qui start à la position pos en octets et a une longueur len lorsque str est de type Binaire. | |
Renvoie la sous-chaîne de la chaîne str avant le nombre d'occurrences du délimiteur delim. | |
Convertit la colonne d'entrée en une valeur binaire en fonction du format fourni. | |
Convertissez la colonne en chaîne en fonction du format. | |
Convertissez la chaîne 'col' en un nombre basé sur le format de chaîne 'format'. | |
Convertissez la colonne en chaîne en fonction du format. | |
Traduire n'importe quel caractère dans la srcCol par un caractère correspondant. | |
Supprimez les espaces aux deux extrémités pour la colonne de chaîne de caractères spécifiée. | |
Essayez d'effectuer l'opération | |
Convertir la chaîne | |
Renvoie la valeur d'entrée si elle correspond à une chaîne UTF-8 valide, ou NULL sinon. | |
Renvoie str avec tous les caractères en majuscules. | |
Décode une colonne de chaîne encodée en BASE64 et la renvoie comme colonne binaire. | |
Convertit une expression de chaîne en majuscules. | |
Renvoie la valeur d'entrée si elle correspond à une chaîne UTF-8 valide, ou génère une erreur dans le cas contraire. |
Fonctions au niveau du bit
Fonction | Description |
|---|---|
Renvoie le nombre de bits définis dans l'argument expr en tant qu'entier non signé de 64 bits, ou NULL si l'argument est NULL. | |
Renvoie la valeur du bit (0 ou 1) à la position spécifiée. | |
Calcule le complément binaire. | |
Renvoie la valeur du bit (0 ou 1) à la position spécifiée. | |
Décaler la valeur numBits donnée vers la gauche. | |
(Signé) décaler la valeur donnée numBits vers la droite. | |
Décaler la valeur donnée de numBits vers la droite (non signé). |
Fonctions de date/heure
Fonction | Description |
|---|---|
Renvoie la date qui est des mois après le start. | |
Convertit le Timestamp sans fuseau horaire sourceTs du fuseau horaire sourceTz vers targetTz. | |
Renvoie la date actuelle au start de l’évaluation de la query en tant que colonne DateType. | |
Renvoie la date actuelle au start de l’évaluation de la query en tant que colonne DateType. | |
Renvoie l'heure actuelle au start de l'évaluation de la requête, sous forme de colonne de type Time. Tous les appels de current_time au sein de la même query renvoient la même valeur. | |
Renvoie l'horodatage actuel au start de l'évaluation de la query sous forme de colonne de type Timestamp. | |
Renvoie le fuseau horaire local de la session actuelle. | |
Renvoie la date qui est days jours après le start. | |
Renvoie le nombre de jours du start à la fin. | |
Convertit une date/un timestamp/une chaîne de caractères en une valeur de chaîne de caractères au format spécifié par le format de date donné par le deuxième argument. | |
Créez une date à partir du nombre de jours depuis le 1970-01-01. | |
Extrait une partie de la date/du Timestamp ou de la source d'intervalle. | |
Renvoie la date qui est des jours avant le start. | |
Renvoie le Timestamp tronqué à l'unité spécifiée par le format. | |
Renvoie la date qui est days jours après le start. | |
Renvoie le nombre de jours du start à la fin. | |
Extrait une partie de la date/du Timestamp ou de la source d'intervalle. | |
Extrayez le jour du mois d'une date/timestamp donnée en tant qu'entier. | |
Fonction de transformation de partition : Une transformation pour les Timestamp et les dates afin de partitionner les données en jours. | |
Renvoie le nom de jour abrégé à trois lettres à partir de la date donnée. | |
Extrayez le jour du mois d'une date/timestamp donnée en tant qu'entier. | |
Extrayez le jour de la semaine d'une date/timestamp donnée sous forme d'entier. | |
Extrait le jour de l'année d'une date/Timestamp donnée sous forme d'entier. | |
Extrait une partie de la date/du Timestamp ou de la source d'intervalle. | |
Convertit le nombre de secondes de l’époque Unix (1970-01-01 00:00:00 UTC) en une chaîne représentant le Timestamp de ce moment dans le fuseau horaire système actuel, dans le format donné. | |
Ceci est une fonction courante pour les bases de données prenant en charge TIMESTAMP WITHOUT TIMEZONE. | |
Extraire les heures d'un Timestamp donné sous forme d'entier. | |
Renvoie le dernier jour du mois auquel appartient la date donnée. | |
Renvoie le Timestamp actuel sans fuseau horaire au start de l'évaluation de la query en tant que colonne de Timestamp sans fuseau horaire. | |
Fonction de transformation de partition : une transformation pour les Timestamp afin de partitionner les données par heure. | |
Renvoie une colonne avec une date construite à partir des colonnes d'année, de mois et de jour. | |
Créer une durée DayTimeIntervalType à partir de jours, heures, minutes et secondes. | |
Créer un intervalle à partir des années, mois, semaines, jours, heures, minutes et secondes. | |
Créer une heure à partir des champs d'heure, de minute et de seconde. Pour les entrées non valides, une erreur sera générée. | |
Créez un Timestamp à partir des champs années, mois, jours, heures, minutes, secondes et fuseau horaire. | |
Créez le Timestamp actuel avec le fuseau horaire local à partir des champs Années, Mois, Jours, Heures, Minutes, Secondes et Fuseau horaire. | |
Créez une date-heure locale à partir des champs années, mois, jours, heures, minutes, secondes. | |
Créez un intervalle année-mois à partir des années et des mois. | |
Extrayez les minutes d'un Timestamp donné sous forme d'entier. | |
Extrayez le mois d'une date/timestamp donnée en tant qu'entier. | |
Renvoie le nom du mois abrégé à trois lettres à partir de la date donnée. | |
Fonction de transformation de partition : une transformation pour les Timestamp et les dates afin de partitionner les données en mois. | |
Renvoie le nombre de mois entre les dates date1 et date2. | |
Renvoie la 1re date qui est postérieure à la valeur de la colonne de date en fonction du 2e argument du jour de la semaine. | |
Renvoie le Timestamp actuel au start de l'évaluation de la query. | |
Extraire le trimestre d'une date/Timestamp donnée sous forme d'entier. | |
Extraire les secondes d'une date donnée sous forme d'entier. | |
Génère une fenêtre de session étant donné une colonne spécifiant le Timestamp. | |
Renvoie la différence entre deux temps, mesurée en unités spécifiées. | |
Crée une valeur TEMPS à partir des microsecondes depuis minuit. | |
Crée une valeur TIME à partir des millisecondes depuis minuit. | |
Crée une valeur de TEMPS à partir des secondes depuis minuit (prend en charge les secondes fractionnées). | |
Extrait les microsecondes de la valeur TIME. | |
Extrait les millisecondes de la valeur HEURE. | |
Extrait les secondes de la valeur TIME. | |
Renvoie le temps tronqué à l'unité. | |
Obtient la différence entre les horodatages dans les unités spécifiées en tronquant la partie fractionnaire. | |
Obtient la différence entre les horodatages dans les unités spécifiées en tronquant la partie fractionnaire. | |
Crée un Timestamp à partir du nombre de microsecondes depuis l'époque UTC. | |
Crée un timestamp à partir du nombre de millisecondes depuis l'époque UTC. | |
Convertit le nombre de secondes de l'époque Unix (1970-01-01T00:00:00Z) en Timestamp. | |
Convertit une colonne en pyspark.sql.types.DateType à l'aide du format spécifié en option. | |
Convertit une colonne en TimeType en utilisant le format spécifié en option. | |
Convertit une colonne en pyspark.sql.types.TimestampType en utilisant le format spécifié en option. | |
Analyse le Timestamp avec le format en un Timestamp avec fuseau horaire. | |
Analyse le Timestamp avec le format en un Timestamp sans fuseau horaire. | |
Renvoie le Timestamp UNIX de l'heure donnée. | |
Ceci est une fonction courante pour les bases de données prenant en charge TIMESTAMP WITHOUT TIMEZONE. | |
Renvoie la date tronquée à l'unité spécifiée par le format. | |
Tentez d’effectuer une opération | |
Essayez de créer un timestamp à partir des champs années, mois, jours, heures, minutes, secondes et fuseau horaire. | |
Essayez de créer le Timestamp actuel avec le fuseau horaire local à partir des champs années, mois, jours, heures, minutes, secondes et fuseau horaire. | |
Essayez de créer une date et heure locale à partir des champs années, mois, jours, heures, minutes, secondes. | |
Convertit une colonne en un DateType en utilisant le format spécifié facultativement, renvoyant NULL au lieu de lever une erreur si la conversion ne peut pas être effectuée. | |
Convertit une colonne en TimeType en utilisant le format spécifié en option. | |
Analyse la colonne avec le format en un Timestamp. | |
Renvoie le nombre de jours depuis le 1970-01-01. | |
Renvoie le nombre de microsecondes depuis le 01.01.1970 00:00:00 UTC. | |
Renvoie le nombre de millisecondes depuis le 01.01.1970 à 00:00:00 UTC. | |
Renvoie le nombre de secondes depuis le 1er janvier 1970 à 00:00:00 UTC. | |
Convertir la chaîne de temps avec le modèle donné ('yyyy-MM-dd HH:mm', default) à l'horodatage Unix (en secondes), en utilisant le fuseau horaire default et les paramètres régionaux default, renvoie nul si échoué. | |
Renvoie le jour de la semaine pour la date/Timestamp (0 = lundi, 1 = mardi, ..., 6 = dimanche). | |
Extraire le numéro de semaine d'une date donnée en tant que nombre entier. | |
Regroupez les lignes dans une ou plusieurs fenêtres temporelles à l'aide d'une colonne spécifiant le Timestamp. | |
Compute l'heure de l'événement à partir d'une colonne de fenêtre. | |
Extrayez l'année d'une date/timestamp donnée sous forme d'entier. | |
Fonction de transformation de partition : une transformation pour les Timestamp et les dates afin de partitionner les données par années. |
Fonctions de hachage
Fonction | Description |
|---|---|
Calcule la valeur de contrôle de redondance cyclique (CRC32) d'une colonne binaire et renvoie la valeur sous forme de bigint. | |
Calcule le code de hachage des colonnes données et renvoie le résultat sous forme de colonne d’entiers. | |
Calcule le condensat MD5 et renvoie la valeur sous forme de chaîne hexadécimale de 32 caractères. | |
Renvoie une valeur de hachage sha1 sous forme de chaîne hexadécimale de la colonne. | |
Renvoie le résultat de la chaîne hexadécimale SHA-1. | |
Renvoie la chaîne hexadécimale résultant des fonctions de hachage de la famille SHA-2 (SHA-224, SHA-256, SHA-384 et SHA-512). | |
Calcule le code de hachage des colonnes données en utilisant la variante 64 bits de l'algorithme xxHash, et renvoie le résultat sous forme de colonne de type long. |
Fonctions de collecte
Fonction | Description |
|---|---|
Applique un opérateur binaire à un état initial et à tous les éléments du tableau, et le réduit à un seul état. | |
Renvoie la longueur du tableau ou de la carte stocké dans la colonne. | |
Concatène plusieurs colonnes d'entrée en une seule colonne. | |
Renvoie l'élément du tableau à l'index donné (basé sur 1). | |
Indique si un prédicat est vrai pour un ou plusieurs éléments du tableau. | |
Renvoie un tableau d'éléments pour lesquels un prédicat est vrai dans un tableau donné. | |
Indique si un prédicat est vrai pour chaque élément du tableau. | |
Renvoie une nouvelle colonne de carte dont les paires clé-valeur satisfont une fonction de prédicat donnée. | |
Merge deux mappages donnés en un seul mappage en appliquant une fonction aux paires clé-valeur. | |
Applique un opérateur binaire à un état initial et à tous les éléments du tableau, et le réduit à un seul état. | |
Retourne une chaîne inversée ou un tableau avec des éléments en ordre inverse. | |
Renvoie la longueur du tableau ou de la carte stocké dans la colonne. | |
Renvoie un tableau d'éléments après avoir appliqué une transformation à chaque élément du tableau d'entrée. | |
Applique une fonction à chaque paire clé-valeur d'une map et renvoie une map avec les résultats de ces applications comme nouvelles clés pour les paires. | |
Applique une fonction à chaque paire clé-valeur dans une map et renvoie une map avec les résultats de ces applications comme nouvelles valeurs pour les paires. | |
Renvoie l’élément du tableau à l’indice donné (commençant à 1). | |
Merge deux tableaux donnés, élément par élément, en un seul tableau à l'aide d'une fonction. |
Fonctions de tableau
Fonction | Description |
|---|---|
Crée une nouvelle colonne de tableau à partir des colonnes d'entrée ou des noms de colonne. | |
Renvoie une nouvelle colonne de tableau en ajoutant une valeur à la colonne de tableau existante. | |
Supprime les valeurs nulles du tableau. | |
Renvoie une valeur booléenne indiquant si le tableau contient la valeur donnée : null si le tableau est null, true si le tableau contient la valeur donnée, et false sinon. | |
Supprime les valeurs en double du tableau. | |
Renvoie un nouveau tableau contenant les éléments présents dans col1 mais pas dans col2, sans doublons. | |
Insère un élément dans un tableau donné à un index de tableau spécifié. | |
Renvoie un nouveau tableau contenant l'intersection des éléments de col1 et col2, sans doublons. | |
Renvoie une colonne de chaîne en concaténant les éléments de la colonne de tableau d'entrée à l'aide du délimiteur. | |
Renvoie la valeur maximale du tableau. | |
Renvoie la valeur minimale du tableau. | |
Localise la position de la première occurrence de la valeur donnée dans le tableau donné. | |
Renvoie un tableau contenant l'élément donné comme premier élément et le reste des éléments du tableau d'origine. | |
Supprimer tous les éléments égaux à l'élément du tableau donné. | |
Crée un tableau contenant une colonne répétée X fois. | |
Renvoie le nombre total d'éléments dans le tableau. | |
Trie le tableau d'entrée par ordre croissant. | |
Retourne un nouveau tableau contenant l'union des éléments de col1 et col2, sans doublons. | |
Retourne une colonne booléenne indiquant si les tableaux d'entrée ont des éléments non nuls communs, retournant vrai s'ils en ont, nul si les tableaux ne contiennent pas d'éléments communs mais ne sont pas vides et qu'au moins l'un d'entre eux contient un élément nul, et faux autrement. | |
Renvoie un tableau fusionné de structures dans lequel la Nième structure contient toutes les Nièmes valeurs des tableaux d'entrée. | |
Crée un tableau unique à partir d'un tableau de tableaux. | |
Renvoie l’élément d’un tableau à l’index donné (base zéro). | |
Générer une séquence d'entiers du start jusqu'à la fin, en incrémentant par pas. | |
Génère une permutation aléatoire du tableau donné. | |
Renvoie une nouvelle colonne de tableau en découpant la colonne de tableau d'entrée d'un index de start à une longueur spécifique. | |
Trie le tableau d'entrée par ordre croissant ou décroissant selon l'ordre naturel des éléments du tableau. |
Fonctions de structure
Fonction | Description |
|---|---|
Crée une structure avec les noms et les valeurs de champ donnés. | |
Crée une nouvelle colonne struct. |
Fonctions Map
Fonction | Description |
|---|---|
Crée une nouvelle colonne de carte à partir d'un nombre pair de colonnes d'entrée ou de références de colonnes. | |
Renvoie l'union de toutes les cartes données. | |
Renvoie true si la carte contient la clé. | |
Renvoie un tableau non ordonné de toutes les entrées de la carte donnée. | |
Crée une nouvelle carte à partir de deux tableaux. | |
Transforme un tableau d'entrées de paires clé-valeur (structures avec deux champs) en une carte. | |
Renvoie un tableau non ordonné contenant les clés de la carte. | |
Renvoie un tableau non ordonné contenant les valeurs de la carte. | |
Convertit une chaîne en map après avoir séparé le texte en paires clé/valeur à l’aide de délimiteurs. |
Fonctions d'agrégation
Fonction | Description |
|---|---|
Renvoie une certaine valeur de col pour un groupe de lignes. | |
Renvoie une nouvelle colonne qui estime le nombre approximatif d'éléments distincts dans une colonne spécifiée ou un groupe de colonnes. | |
Renvoie le percentile approximatif de la colonne numérique col, qui est la plus petite valeur parmi les valeurs triées de col (classées de la plus petite à la plus grande) de sorte qu'au plus un certain pourcentage des valeurs de col est inférieur ou égal à cette valeur. | |
Renvoie les k valeurs d'éléments les plus fréquemment rencontrées dans une colonne de chaîne, booléenne, de date, Timestamp ou numérique, ainsi que leurs comptages approximatifs. | |
Renvoie une liste d'objets avec des doublons. | |
Renvoie la moyenne des valeurs d'un groupe. | |
Renvoie le ET binaire de toutes les valeurs d'entrée non nulles, ou null si aucune. | |
Renvoie le OU bit à bit de toutes les valeurs d'entrée non nulles, ou null si aucune. | |
Renvoie le XOR bit à bit de toutes les valeurs d'entrée non nulles, ou null si aucune n'est présente. | |
Renvoie un bitmap avec les positions des bits définis à partir de toutes les valeurs de la colonne d'entrée. | |
Renvoie un bitmap qui est le OU bit à bit de tous les bitmaps de la colonne d'entrée. | |
Renvoie vrai si toutes les valeurs de col sont vraies. | |
Renvoie true si au moins une valeur de col est true. | |
Collecte les valeurs d'une colonne dans une liste, en conservant les doublons, et renvoie cette liste d'objets. | |
Recueille les valeurs d'une colonne dans un ensemble, en éliminant les doublons, et renvoie cet ensemble d'objets. | |
Renvoie une nouvelle colonne pour le coefficient de corrélation de Pearson pour col1 et col2. | |
Renvoie le nombre d'éléments d'un groupe. | |
Renvoie une nouvelle colonne pour le nombre distinct d'une ou plusieurs colonnes. | |
Renvoie le nombre de valeurs TRUE pour la colonne. | |
Renvoie un sketch count-min d'une colonne avec l'esp, la confiance et le seed donnés. | |
Renvoie une nouvelle colonne pour la covariance de la population de col1 et col2. | |
Renvoie une nouvelle colonne pour la covariance échantillon de col1 et col2. | |
Renvoie vrai si toutes les valeurs de col sont vraies. | |
Renvoie la première valeur d'un groupe. | |
Renvoie la première valeur de la colonne pour un groupe de lignes. | |
Indique si une colonne spécifiée dans une liste GROUP BY est agrégée ou non, renvoie 1 pour agrégée ou 0 pour non agrégée dans le jeu de résultats. | |
Renvoie le niveau de regroupement, égal à | |
Calcule un histogramme sur la colonne numérique 'col' en utilisant nb bacs. | |
Retourne la représentation binaire modifiable du Datasketches HllSketch configuré avec l'argument lgConfigK. | |
Renvoie la représentation binaire actualisable de Datasketches HllSketch, générée en fusionnant des instances Datasketches HllSketch précédemment créées via une instance Datasketches Union. | |
Retourne l'aplatissement des valeurs d'un groupe. | |
Renvoie la dernière valeur dans un groupe. | |
Renvoie la dernière valeur de la colonne pour un groupe de lignes. | |
Renvoie la concaténation des valeurs d’entrée non nulles, séparées par le délimiteur. | |
Renvoie la concaténation des valeurs d'entrée distinctes non nulles, séparées par le délimiteur. | |
Renvoie la valeur maximale de l'expression dans un groupe. | |
Renvoie la valeur du parameter col qui est associée à la valeur maximale du parameter ord. | |
Renvoie la moyenne des valeurs d'un groupe. | |
Retourne la médiane des valeurs d'un groupe. | |
Renvoie la valeur minimale de l'expression dans un groupe. | |
Renvoie la valeur du paramètre col associée à la valeur minimale du paramètre ord. | |
Renvoie la valeur la plus fréquente dans un groupe. | |
Renvoie le ou les percentile(s) exact(s) de l'expression de colonne numérique au(x) pourcentage(s) donné(s) avec une plage de valeurs comprise entre [0,0, 1,0]. | |
Renvoie le percentile approximatif de la colonne numérique col, qui est la plus petite valeur parmi les valeurs triées de col (classées de la plus petite à la plus grande) de sorte qu'au plus un certain pourcentage des valeurs de col est inférieur ou égal à cette valeur. | |
Renvoie le produit des valeurs d'un groupe. | |
Renvoie la moyenne de la variable indépendante pour les paires non nulles d'un groupe, où y est la variable dépendante et x la variable indépendante. | |
Renvoie la moyenne de la variable dépendante pour les paires non nulles d’un groupe, où y est la variable dépendante et x est la variable indépendante. | |
Retourne le nombre de paires de nombres non nuls dans un groupe, où y est la variable dépendante et x est la variable indépendante. | |
Renvoie l'ordonnée à l'origine de la ligne de régression linéaire univariée pour les paires non nulles d'un groupe, où y est la variable dépendante et x est la variable indépendante. | |
Renvoie le coefficient de détermination pour les paires non nulles d'un groupe, où y est la variable dépendante et x la variable indépendante. | |
Renvoie la pente de la ligne de régression linéaire pour les paires non nulles dans un groupe, où y est la variable dépendante et x est la variable indépendante. | |
Renvoie REGR_COUNT(y, x) * VAR_POP(x) pour les paires non nulles dans un groupe, où y est la variable dépendante et x est la variable indépendante. | |
Retourne REGR_COUNT(y, x) * COVAR_POP(y, x) pour les paires non nulles dans un groupe, où y est la variable dépendante et x est la variable indépendante. | |
Renvoie REGR_COUNT(y, x) * VAR_POP(y) pour les paires non nulles dans un groupe, où y est la variable dépendante et x est la variable indépendante. | |
Renvoie l’asymétrie des valeurs d’un groupe. | |
Renvoie true si au moins une valeur de col est true. | |
Alias de | |
Alias de | |
Retourne l'écart type de la population de l'expression dans un groupe. | |
Retourne l'écart-type d'échantillon non biaisé de l'expression dans un groupe. | |
Renvoie la concaténation des valeurs d’entrée non nulles, séparées par le délimiteur. | |
Renvoie la concaténation des valeurs d'entrée distinctes non nulles, séparées par le délimiteur. | |
Renvoie la somme de toutes les valeurs dans l'expression. | |
Renvoie la somme des valeurs distinctes dans l'expression. | |
Renvoie la moyenne calculée à partir des valeurs d'un groupe et le résultat est nul en cas de dépassement. | |
Retourne la somme calculée à partir des valeurs d'un groupe et le résultat est nul en cas de dépassement. | |
Retourne la variance de la population des valeurs d'un groupe. | |
Renvoie la variance d'échantillon non biaisée des valeurs d'un groupe. | |
Alias pour |
Fonctions de fenêtre
Fonction | Description |
|---|---|
Renvoie la distribution cumulative des valeurs au sein d'une partition de fenêtre, c'est-à-dire la fraction des lignes inférieures à la ligne actuelle. | |
Renvoie le classement des lignes dans une partition de fenêtre, sans aucun écart. | |
Renvoie la valeur qui est de {offset} lignes avant la ligne actuelle, et default s'il y a moins de {offset} lignes avant la ligne actuelle. | |
Renvoie la valeur des lignes décalées après la ligne actuelle, et default s'il y a moins de lignes décalées après la ligne actuelle. | |
Renvoie la valeur correspondant à la ligne d'index {offset} du cadre de fenêtre (à partir de 1), et null si la taille du cadre de fenêtre est inférieure à {offset} lignes. | |
Renvoie l'ID du groupe ntile (de 1 à n inclus) dans une partition de fenêtre ordonnée. | |
Renvoie le classement relatif (c.-à-d. | |
Renvoie le rang des lignes au sein d’une partition de fenêtre. | |
Renvoie un numéro séquentiel commençant à 1 dans une partition de fenêtre. |
Fonctions génératrices
Fonction | Description |
|---|---|
Renvoie une nouvelle ligne pour chaque élément du tableau ou de la carte donné. | |
Renvoie une nouvelle ligne pour chaque élément du tableau ou de la carte donné. | |
Décompose un tableau de structs en une table. | |
Décompose un tableau de structs en une table. | |
Renvoie une nouvelle ligne pour chaque élément avec sa position dans le tableau ou la carte donné(e). | |
Renvoie une nouvelle ligne pour chaque élément avec sa position dans le tableau ou la carte donné(e). | |
Sépare col1, ..., colk en n lignes. |
Fonctions de transformation de partition
Fonction | Description |
|---|---|
Fonction de transformation de partition : une transformation pour tout type qui partitionne par un hachage de la colonne d'entrée. | |
Une transformation pour les Timestamp et les dates afin de partitionner les données en années. | |
Une transformation pour les Timestamp et les dates afin de partitionner les données en mois. | |
Une transformation pour les Timestamp et les dates afin de partitionner les données en jours. | |
Une transformation pour les Timestamps afin de partitionner les données par heure. | |
Une transformation pour tout type qui partitionne par un hachage de la colonne d'entrée. |
Fonctions géospatiales H3
Fonction | Description |
|---|---|
Renvoie la limite d'une cellule H3 au format GeoJSON. | |
Renvoie la limite d'une cellule H3 au format WKB. | |
Renvoie la limite d'une cellule H3 au format WKT. | |
Retourne le centre d'une cellule H3 au format GeoJSON. | |
Renvoie le centre d'une cellule H3 au format WKB | |
Renvoie le centre d'une cellule H3 au format WKT. | |
Compacte au mieux l'ensemble d'entrée des ID de cellules H3. | |
Renvoie un tableau d'identifiants de cellule représentés sous forme d'entiers longs, correspondant aux hexagones ou pentagones de la résolution spécifiée qui couvrent au minimum la géographie linéaire ou surfacique d'entrée. | |
Renvoie un tableau d'identifiants de cellule représentés sous forme de chaînes de caractères, correspondant à des hexagones ou des pentagones de la résolution spécifiée qui couvrent au minimum la géographie linéaire ou surfacique d'entrée. | |
Retourne la distance de la grille entre deux ID de cellule H3 | |
Convertit un ID de cellule H3 en une chaîne de caractères représentant l’ID de cellule sous forme de chaîne hexadécimale. | |
Renvoie un tableau d'identifiants de cellule H3 qui forment un anneau hexagonal creux centré sur la cellule H3 d'origine et qui sont à une distance de grille k de la cellule H3 d'origine | |
Retourne | |
Renvoie | |
Renvoie | |
Renvoie les identifiants de cellule H3 qui se trouvent à une distance (de grille) k de l'identifiant de cellule d'origine. | |
Renvoie tous les ID de cellule H3 (représentés sous forme d'entiers longs ou de chaînes) à une distance de grille k de l'ID de cellule H3 d'origine, ainsi que leur distance par rapport à l'ID de cellule H3 d'origine. | |
Renvoie l'ID de cellule H3 (en tant que BIGINT) correspondant à la longitude et à la latitude fournies à la résolution spécifiée. | |
Renvoie l'ID de cellule H3 (sous forme de chaîne de caractères) correspondant à la longitude et à la latitude fournies à la résolution spécifiée | |
Renvoie l'enfant de valeur maximale de la cellule H3 d'entrée à la résolution spécifiée. | |
Renvoie l'enfant de la valeur minimale de la cellule H3 d'entrée à la résolution spécifiée | |
Renvoie l'ID de cellule H3 (en tant que BIGINT) correspondant au point fourni à la résolution spécifiée. | |
Renvoie l'ID de cellule H3 (sous forme de chaîne) correspondant au point fourni à la résolution spécifiée | |
Renvoie un tableau d'identifiants de cellule représentés sous forme d'entiers longs, correspondant à des hexagones ou des pentagones de la résolution spécifiée, contenus dans la géographie de zone d'entrée | |
Renvoie un tableau d'identifiants de cellule représentés sous forme de chaînes, correspondant aux hexagones ou pentagones de la résolution spécifiée qui sont contenus par la géographie zonale d'entrée. | |
Renvoie la résolution de l'ID de cellule H3 | |
Convertit la représentation de chaîne d'ID de cellule H3 en sa représentation grand entier | |
Renvoie un tableau de structures représentant les puces couvrant la géographie à la résolution spécifiée. | |
Renvoie les ID de cellules H3 enfants de l'ID de cellule H3 d'entrée à la résolution spécifiée | |
Renvoie l'ID de cellule H3 parent de l'ID de cellule H3 d'entrée à la résolution spécifiée | |
Renvoie un tableau d'identifiants de cellule représentés sous forme d'entiers longs, correspondant aux hexagones ou pentagones de la résolution spécifiée qui couvrent au minimum la géographie linéaire ou surfacique d'entrée. | |
Renvoie un tableau d'identifiants de cellule représentés sous forme de chaînes de caractères, correspondant à des hexagones ou des pentagones de la résolution spécifiée qui couvrent au minimum la géographie linéaire ou surfacique d'entrée. | |
Renvoie la distance de grille entre deux IDs de cellule H3 de même résolution, ou | |
Renvoie un tableau d'identifiants de cellule représentés sous forme d'entiers longs, correspondant à des hexagones ou des pentagones de la résolution spécifiée, contenus dans la géographie de zone d'entrée | |
Renvoie un tableau d'identifiants de cellule représentés sous forme de chaînes, correspondant aux hexagones ou pentagones de la résolution spécifiée qui sont contenus par la géographie zonale d'entrée. | |
Renvoie un tableau de structs représentant les puces couvrant la zone géographique à la résolution spécifiée, ou null si la géométrie est non valide | |
Renvoie la valeur d'entrée si c'est une cellule H3 valide ou None dans le cas contraire. | |
Décompresse l'ensemble d'entrée des ID de cellules H3 à la résolution spécifiée | |
Retourne la valeur d'entrée s'il s'agit d'une cellule H3 valide ou génère une erreur dans le cas contraire. |
Fonctions géospatiales ST
Fonction | Description |
|---|---|
Ajoute un nouveau point à la n-ième position dans la linestring d’entrée Geography ou Geometry | |
Renvoie la superficie de la géographie ou de la géométrie d'entrée | |
Renvoie l'azimut basé sur le nord du premier point au second en radians dans | |
Renvoie la valeur Geography ou Geometry d'entrée au format WKB | |
Renvoie la valeur Géométrie d'entrée au format EWKB. | |
Renvoie la valeur Geography ou Geometry d’entrée au format EWKT. | |
Renvoie la valeur Géographie ou Géométrie d'entrée au format GeoJSON | |
Renvoie la valeur Geography ou Geometry en entrée au format WKT | |
Renvoie la valeur Geography ou Geometry d'entrée au format WKB | |
Renvoie la valeur Geography ou Geometry en entrée au format WKT | |
Renvoie le tampon de la géométrie d'entrée en utilisant le rayon spécifié. | |
Retourne la limite de la géométrie d'entrée en tant que géométrie | |
Renvoie le centroïde de la géométrie d'entrée sous forme de géométrie ponctuelle 2D | |
Renvoie la projection 2D d'un point sur la première géométrie, la plus proche de la seconde géométrie | |
Collecte un tableau de valeurs Géographie ou Géométrie en un seul multipoint, multiligne, multipolygone ou collection de géométries. | |
Renvoie l’enveloppe concave de la géométrie d’entrée en tant que géométrie en utilisant le rapport de longueur spécifié. | |
Renvoie | |
Renvoie l'enveloppe convexe de la géométrie d'entrée sous forme de géométrie | |
Renvoie | |
Retourne la différence ensembliste de points des deux géométries d'entrée comme une géométrie 2D. | |
Renvoie la dimension topologique de la projection 2D de la géométrie d'entrée. | |
Renvoie | |
Renvoie la distance cartésienne 2D entre les deux géométries d’entrée | |
Renvoie la distance sphérique (en mètres) entre deux géométries de points, mesurée sur une sphère dont le rayon est le rayon moyen de l'ellipsoïde WGS84 | |
Renvoie la distance géodésique (en mètres) entre deux géométries de point sur l'ellipsoïde WGS84 | |
Renvoie un tableau contenant les géométries uniques dans la géométrie d'entrée | |
Renvoie | |
Renvoie le dernier point du linestring d'entrée, ou | |
Renvoie la boîte englobante minimale (enveloppe) alignée sur les axes cartésiens 2D de la géométrie non vide d'entrée, en tant que géométrie. | |
Renvoie l'enveloppe de toutes les géométries de la colonne, ou | |
Retourne | |
Renvoie le meilleur identifiant de référence spatiale projeté (SRID) pour le centre de la boîte englobante de la valeur d'entrée Geometry | |
Renvoie l’anneau extérieur (Shell), sous forme de Linestring, de la valeur Geography ou Geometry représentant un polygone. | |
Échange les coordonnées X et Y de la géométrie d'entrée. | |
Renvoie la projection 2D de la valeur d'objet géographique ou de géométrie en entrée | |
Analyse la description GeoJSON et renvoie la valeur Geography correspondante. | |
Analyse la description WKT et renvoie la valeur Géographie correspondante. | |
Analyse la description WKB d'entrée et renvoie la valeur Geography correspondante | |
Analyse une description EWKT (Extended Well-Known Text) et renvoie la valeur Géographie correspondante. | |
Analyse la description WKT et renvoie la valeur Géographie correspondante. | |
Renvoie le géohash de la géométried'entrée | |
Renvoie le nième élément basé sur 1 de la multi-géométrie d'entrée, ou | |
Renvoie le type de la valeur d'entrée Géographie ou Géométrie sous forme de chaîne. | |
Analyse la description EWKB d'entrée et renvoie la valeur de géométrie correspondante | |
Analyse une description Extended Well-Known Text (EWKT) et renvoie la valeur Géométrie correspondante | |
Renvoie la boîte de grille geohash correspondant à la valeur geohash d'entrée sous forme de géométrie de polygone 2D. | |
Analyse la description GeoJSON et renvoie la valeur Géométrie correspondante ; | |
Analyse la description WKT et renvoie la valeur Geometry correspondante. | |
Analyse la description WKB d'entrée et renvoie la valeur Géométrie correspondante | |
Analyse la description WKT et renvoie la valeur Geometry correspondante. | |
Renvoie l'intersection ensembliste de points des deux géométries d'entrée sous forme de géométrie 2D. | |
Retourne | |
Renvoie le n-ième anneau intérieur du polygone d'entrée sous forme de linestring | |
Renvoie | |
Retourne | |
Renvoie la longueur de la valeur de géométrie ou de géographie d’entrée | |
Renvoie la coordonnée M de la géométrie ponctuelle d'entrée, ou | |
Renvoie une Géométrie représentant l'enveloppe alignée sur les axes 2D (boîte englobante minimale) définie par les deux coordonnées des angles | |
Renvoie une géométrie de ligne dont les points sont les points non vides des géométries dans le tableau d'entrée de géométries, qui sont censées être des points, des lignes ou des multi-points | |
Renvoie une valeur de géométrie ponctuelle avec les coordonnées données | |
Construit un polygone à partir de la limite extérieure d'entrée et d'un tableau facultatif de limites intérieures, représenté par des chaînes de lignes fermées. | |
Retourne la valeur d'entrée Géographie ou Géométrie comme une valeur multi géospatiale équivalente, en conservant le SRID d'origine | |
Renvoie la dimension des coordonnées de la valeur d'entrée Geography ou Geometry | |
Renvoie le nombre de points non vides dans la valeur d'entrée Geography ou Geometry | |
Renvoie le nombre total d'anneaux du polygone ou du multipolygone d'entrée Geography ou Geometry. | |
Renvoie le nombre de géométries dans la géométrie d'entrée. | |
Renvoie le nombre d'anneaux intérieurs du polygone d'entrée | |
Renvoie le nombre de points non vides dans la valeur d'entrée Geography ou Geometry | |
Retourne le périmètre de la géographie ou de la géométrie d'entrée | |
Renvoie un point 2D Geometry avec les coordonnées x et y données et la valeur SRID | |
Renvoie le centre de la boîte de grille geohash correspondant à la valeur geohash d'entrée sous forme de géométrie de point 2D | |
Retourne le n-ième point basé sur 1 de la linestring d'entrée, ou | |
Renvoie un point qui est garanti d'être sur ou à l'intérieur de la valeur Geometry d'entrée. | |
Supprime le nième point de la linestring d'entrée Géographie ou Géométrie | |
Inverse l’ordre des sommets dans la valeur d’entrée Geography ou Geometry. | |
Effectue une rotation de la géométrie d’entrée autour de l’axe Z selon l’angle de rotation donné (en radians) | |
Met à l'échelle la géométrie d'entrée dans les directions X, Y et Z (facultatif) à l'aide des facteurs donnés | |
Définit le n-ième point dans la linestring d'entrée Geography ou Geometry | |
Renvoie une nouvelle valeur Geometry dont le SRID est la valeur SRID spécifiée | |
Simplifie la géométrie d'entrée à l'aide de l'algorithme de Douglas-Peucker. | |
Retourne le SRID de la valeur géospatiale d'entrée | |
Retourne le premier point de la chaîne de lignes d'entrée, ou | |
Renvoie | |
Transforme les coordonnées X et Y de la géométrie d'entrée en système de référence de coordonnées (SRC) décrit par la valeur SRID fournie | |
Traduit la géométrie d'entrée dans les directions X, Y et Z (facultatif) à l'aide des décalages fournis. | |
Renvoie l'union d'ensembles de points des deux géométries d'entrée comme une géométrie 2D | |
Renvoie l’union point par point de toutes les géométries de la colonne, ou | |
Renvoie | |
Renvoie la coordonnée X de la géométrie de point d'entrée, ou | |
Renvoie la coordonnée X maximale de la géométrie d'entrée, ou | |
Renvoie la coordonnée X minimale de la géométrie d'entrée, ou | |
Renvoie la coordonnée Y de la géométrie du point d'entrée, ou | |
Retourne la coordonnée Y maximale de la géométrie d'entrée, ou | |
Renvoie la coordonnée Y minimale de la géométrie d'entrée, ou | |
Retourne la coordonnée Z de la géométrie de point d'entrée, ou | |
Retourne la coordonnée Z maximale de la géométrie d'entrée, ou | |
Renvoie la coordonnée Z minimale de la géométrie d'entrée, ou | |
Analyse la valeur BINARY ou de chaîne d’entrée et renvoie la valeur Géographie correspondante. | |
Analyse la valeur binaire ou chaîne d'entrée et renvoie la valeur Geometry correspondante | |
Analyse la valeur binaire ou de chaîne d'entrée et renvoie la valeur Géographie correspondante, ou | |
Analyse la valeur BINARY ou de chaîne d'entrée et renvoie la valeur géométrique correspondante, ou |
Fonctions IP
Fonction | Description |
|---|---|
Renvoie la représentation binaire canonique d'une adresse IP ou d'un bloc CIDR. | |
Renvoie la représentation de chaîne canonique d'une adresse IP ou d'un bloc CIDR. | |
Renvoie la représentation canonique d’un bloc CIDR IPv4 ou IPv6. | |
Retourne | |
Renvoie la représentation canonique d'une adresse IPv4 ou IPv6. | |
Retourne la partie réseau d'un bloc CIDR sous sa forme canonique. | |
Alias de | |
Retourne la dernière adresse d'un bloc CIDR sous sa forme canonique. | |
Renvoie la longueur de préfixe d'un bloc CIDR. | |
Renvoie la version IP (4 ou 6) à partir d'une adresse IP ou d'un bloc CIDR. | |
Retourne la représentation binaire canonique d'une adresse IP ou d'un bloc CIDR, ou | |
Renvoie la représentation de chaîne canonique d'une adresse IP ou d'un bloc CIDR, ou | |
Renvoie la représentation canonique d'un bloc CIDR IPv4 ou IPv6, ou | |
Retourne la représentation canonique d'une adresse IPv4 ou IPv6, ou |
Fonctions CSV
Fonction | Description |
|---|---|
Analyse une colonne contenant une chaîne CSV en une ligne avec le schéma spécifié. | |
Analyse une chaîne CSV et en déduit son schéma au format DDL. | |
Convertit une colonne contenant un StructType en une chaîne CSV. |
Fonctions JSON
Fonction | Description |
|---|---|
Analyse une colonne contenant une chaîne JSON en un MapType avec StringType comme type de clé, StructType ou ArrayType avec le schéma spécifié. | |
Extrait l'objet JSON d'une chaîne JSON en fonction du chemin JSON spécifié, et renvoie la chaîne JSON de l'objet JSON extrait. | |
Retourne le nombre d'éléments dans le tableau JSON le plus externe. | |
Renvoie toutes les clés de l'objet JSON le plus externe sous forme de tableau. | |
Crée une nouvelle ligne pour une colonne JSON en fonction des noms de champs donnés. | |
Analyse une chaîne JSON et en déduit son schéma au format DDL. | |
Convertit une colonne contenant un StructType, un ArrayType ou un MapType en une chaîne JSON. |
Fonctions IA
Fonction | Description |
|---|---|
Classe le contenu des documents dans l'une des étiquettes fournies à l'aide de l'IA/LLM. | |
Extrait des données structurées d'une colonne de document à l'aide de l'IA/LLM. | |
Analyse une colonne contenant des données binaires (blob) et renvoie un VariantType. Lance une exception si l'objet blob d'entrée n'est pas valide. | |
Appelle un Endpoint de Model Serving Databricks et retourne la réponse. | |
Fonction d'agrégation : renvoie la moyenne élément par élément des vecteurs flottants dans un groupe. | |
Renvoie la similarité cosinus entre deux vecteurs flottants. | |
Retourne le produit interne (produit scalaire) entre deux vecteurs de nombres à virgule flottante. | |
Retourne la distance euclidienne (L2) entre deux vecteurs flottants. | |
Renvoie la norme Lp d'un vecteur de flottants en utilisant le degré spécifié. | |
Normalise un vecteur flottant à la longueur unitaire en utilisant le degré de norme spécifié. | |
Fonction d'agrégation : renvoie la somme élément par élément des vecteurs flottants dans un groupe. |
Fonctions de variante
Fonction | Description |
|---|---|
Vérifier si une valeur de variante est une valeur nulle de variante. | |
Analyse une colonne contenant une chaîne JSON en VariantType. | |
Renvoie le schéma au format SQL d'un variant. | |
Renvoie le schéma fusionné au format SQL d'une colonne de variante. | |
Extrait un sous-variant de v selon le chemin, puis convertit le sous-variant en type cible. | |
Extrait un sous-variant de v selon le chemin, puis convertit le sous-variant en type cible. | |
Analyse une colonne contenant une chaîne JSON en VariantType. | |
Convertit une colonne contenant des entrées imbriquées (array/map/struct) en variantes où les maps et les structs sont convertis en objets variantes qui sont non ordonnés, contrairement aux structs SQL. |
Fonctions XML
Fonction | Description |
|---|---|
Analyse une colonne contenant une chaîne XML en une ligne avec le schéma spécifié. | |
Analyse une chaîne XML et en déduit le schéma au format DDL. | |
Convertit une colonne de type StructType en chaîne XML. | |
Renvoie un tableau de chaînes de valeurs au sein des nœuds XML qui correspondent à l'expression XPath. | |
Renvoie vrai si l'expression XPath est évaluée comme vraie, ou si un nœud correspondant est trouvé. | |
Renvoie une valeur double, la valeur zéro si aucune correspondance n'est trouvée, ou NaN si une correspondance est trouvée mais que la valeur n'est pas numérique. | |
Renvoie une valeur à virgule flottante, la valeur zéro si aucune correspondance n'est trouvée, ou NaN si une correspondance est trouvée mais que la valeur n'est pas numérique. | |
Retourne une valeur entière, ou la valeur zéro si aucune correspondance n’est trouvée, ou si une correspondance est trouvée mais que la valeur n’est pas numérique. | |
Renvoie une valeur entière longue, ou la valeur zéro si aucune correspondance n'est trouvée, ou si une correspondance est trouvée mais que la valeur est non numérique. | |
Renvoie une valeur double, la valeur zéro si aucune correspondance n'est trouvée, ou NaN si une correspondance est trouvée mais que la valeur n'est pas numérique. | |
Renvoie une valeur entière courte, ou zéro si aucune correspondance n'est trouvée, ou si une correspondance est trouvée mais que la valeur n'est pas numérique. | |
Renvoie le contenu textuel du premier nœud XML qui correspond à l'expression XPath. |
Fonctions URL
Fonction | Description |
|---|---|
Extrait une partie spécifiée d'une URL. | |
Essayez d'effectuer l'opération | |
Décode une chaîne encodée en URL au format | |
Encode une chaîne en une chaîne encodée en URL au format « application/x-www-form-urlencoded ». | |
Essayez d'effectuer l'opération |
Fonctions diverses
Fonction | Description |
|---|---|
Renvoie une valeur décryptée de l'entrée en utilisant AES en mode avec remplissage. | |
Renvoie une valeur chiffrée de l'entrée à l'aide d'AES en mode donné avec le remplissage spécifié. | |
Renvoie la valeur null si la colonne d'entrée est true ; sinon, lève une exception avec le message d'erreur fourni. | |
Renvoie un bitmap qui est le ET binaire de tous les bitmaps de la colonne d'entrée. | |
Renvoie la position de bit pour la colonne d'entrée donnée. | |
Renvoie le numéro de compartiment pour la colonne d'entrée donnée. | |
Renvoie le nombre de bits positionnés dans le bitmap d'entrée. | |
Renvoie le catalogue actuel. | |
Renvoie la base de données actuelle. | |
Renvoie le schéma actuel. | |
Renvoie l'utilisateur actuel. | |
Retourne le nombre estimé de valeurs uniques étant donnée la représentation binaire d'un Datasketches HllSketch. | |
Merge deux représentations binaires d'objets Datasketches HllSketch, à l'aide d'un objet Datasketches Union. | |
Renvoie la longueur du bloc lu, ou -1 s'il n'est pas disponible. | |
Renvoie le décalage de start du bloc en cours de lecture, ou -1 si non disponible. | |
Crée une colonne de chaîne pour le nom de fichier de la tâche Spark actuelle. | |
Appelle une méthode par réflexion. | |
Fonction d'agrégation : Merge les représentations binaires KllLongsSketch et renvoie le sketch Merge. | |
Fonction d'agrégation : Merge les représentations binaires KllDoublesSketch et renvoie le croquis fusionné. | |
Fonction d’agrégation : Merge les représentations binaires KllFloatsSketch et renvoie l’esquisse fusionnée. | |
Fonction d’agrégation : renvoie la représentation binaire compacte du Datasketches KllLongsSketch construit avec les valeurs de la colonne d’entrée. | |
Fonction d'agrégation : renvoie la représentation binaire compacte du Datasketches KllDoublesSketch construit avec les valeurs de la colonne d'entrée. | |
Fonction d'agrégation : renvoie la représentation binaire compacte du Datasketches KllFloatsSketch construit avec les valeurs de la colonne d'entrée. | |
Retourne le nombre d'éléments collectés dans le KLL bigint sketch. | |
Renvoie le nombre d’éléments collectés dans l’esquisse double KLL. | |
Renvoie le nombre d'éléments collectés dans l'esquisse KLL float. | |
Extrait une valeur de quantile d'un croquis KLL bigint étant donné une valeur de rang d'entrée. | |
Extrait une valeur de quantile d'un croquis double KLL étant donné une valeur de rang d'entrée. | |
Extrait une valeur de quantile d'un croquis flottant KLL étant donné une valeur de rang d'entrée. | |
Extrait une valeur de rang d'une esquisse KLL bigint étant donnée une valeur de quantile d'entrée. | |
Extrait une valeur de rang d'un sketch double KLL étant donné une valeur de quantile d'entrée. | |
Extrait une valeur de rang d'un croquis flottant KLL étant donnée une valeur de quantile d'entrée. | |
Merge deux tampons d'esquisse KLL bigint en un seul. | |
Merge deux tampons de croquis doubles KLL en un seul. | |
Merge deux tampons KLL float sketch en un seul. | |
Renvoie une chaîne avec des informations récapitulatives lisibles par l'homme concernant l'esquisse KLL bigint. | |
Renvoie une chaîne avec des informations récapitulatives lisibles par l'homme sur l'esquisse double KLL. | |
Renvoie une chaîne avec des informations sommaires lisibles par l'humain sur l'esquisse de flottement KLL. | |
Génère des entiers de 64 bits strictement croissants. | |
Lance une exception avec le message d'erreur fourni. | |
Appelle une méthode par réflexion. | |
Renvoie le nom d'utilisateur du contexte d'exécution actuel. | |
Une colonne pour l'ID de partition. | |
Renvoie la différence d'ensemble de deux représentations binaires d'objets Datasketches Theta Sketch (éléments dans le premier croquis mais pas dans le second), à l'aide d'un objet Datasketches ANotB. | |
Renvoie l'intersection de deux représentations binaires d'objets Datasketches Theta Sketch, à l'aide d'un objet Intersection Datasketches. | |
Fonction d’agrégation : retourne la représentation binaire compacte du Datasketches Theta Sketch qui est l’intersection des Theta sketches dans la colonne d’entrée. | |
Fonction d'agrégation : renvoie la représentation binaire compacte du Datasketches Theta Sketch avec les valeurs de la colonne d'entrée configurées avec des entrées nominales lgNomEntries. | |
Renvoie le nombre estimé de valeurs uniques étant donné la représentation binaire d'un Datasketches Theta Sketch. | |
Fusionne deux représentations binaires d'objets Datasketches Theta Sketch, à l'aide d'un objet Datasketches Union. | |
Fonction d'agrégation : retourne la représentation binaire compacte du Datasketches Theta Sketch qui est l'union des Theta sketches dans la colonne d'entrée. | |
Essayez d'effectuer l'opération | |
Essayez d'effectuer une opération | |
Renvoie la chaîne de type formatée DDL pour le type de données de l'entrée. | |
Renvoie l'utilisateur actuel. | |
Renvoie une chaîne d'identificateur universellement unique (UUID). | |
Renvoie la version de Spark. |
Fonctions UDF, UDTF, UDT
Fonction | Description |
|---|---|
Crée une fonction de table définie par l’utilisateur native PyArrow (UDTF). Cette fonction fournit une interface native PyArrow pour les UDTF, où la méthode `eval` reçoit des RecordBatches PyArrow ou des tableaux et renvoie un itérateur de Tables PyArrow ou de RecordBatches. Cela permet un véritable calcul vectorisé sans la surcharge de traitement ligne par ligne. | |
Appeler une fonction définie par l'utilisateur. | |
Crée une fonction définie par l'utilisateur pandas (a.k.a. | |
Crée une fonction définie par l'utilisateur (UDF). | |
Crée une fonction de table définie par l'utilisateur (UDTF). | |
Désenvelopper la colonne de type de données UDT dans son type sous-jacent. |
Fonctions à valeur de table
Fonction | Description |
|---|---|
Obtenez toutes les interclassements de chaînes Spark SQL. | |
Renvoie un DataFrame contenant une nouvelle ligne pour chaque élément du tableau ou de la carte donné. | |
Renvoie un DataFrame contenant une nouvelle ligne pour chaque élément avec sa position dans le tableau ou la carte donné(e). | |
Décompose un tableau de structs en une table. | |
Décompose un tableau de structs en une table. | |
Crée une nouvelle ligne pour une colonne JSON en fonction des noms de champs donnés. | |
Renvoie un DataFrame contenant une nouvelle ligne pour chaque élément avec sa position dans le tableau ou la carte donné(e). | |
Renvoie un DataFrame contenant une nouvelle ligne pour chaque élément avec sa position dans le tableau ou la carte donné(e). | |
Renvoie un DataFrame de Logs collectés à partir de Workers Python. | |
Créer un DataFrame avec une seule colonne de type pyspark.sql.types.LongType nommée id, contenant des éléments dans une plage de start à end (exclusif) avec une valeur de pas step. | |
Obtenir les mots-clés Spark SQL. | |
Sépare col1, ..., colk en n lignes. | |
Sépare un objet/tableau variant en plusieurs lignes contenant ses champs/éléments. | |
Sépare un objet/tableau variant en plusieurs lignes contenant ses champs/éléments. |
Fonctions Avro
Fonction | Description |
|---|---|
| Convertit une colonne binaire au format Avro en sa valeur de catalyseur correspondante. |
| Convertit une colonne en binaire au format Avro. |
Fonctions de compression
Fonction | Description |
|---|---|
Tente de renvoyer la valeur décompressée de l'expression en utilisant Zstandard. Prend en charge les données compressées à la fois en mode passe unique et en mode streaming. En cas d'échec de la décompression, elle renvoie NULL. | |
Renvoie une valeur compressée de l'expression expr à l'aide de Zstandard avec le niveau de compression spécifié. Le niveau default est 3. Utilise le mode passe unique par default. | |
Renvoie la valeur décompressée de l'expression en utilisant Zstandard. Prend en charge les données compressées à la fois en mode passe unique et en mode streaming. En cas d'échec de la décompression, une exception est levée. |