groupe de commandesfeature-engineering
L'utilisation de Databricks CLI est soumise à la licence Databricks et à la politique de confidentialité Databricks, y compris toutes les dispositions relatives aux données d'utilisation.
Le groupe de commandes feature-engineering au sein de la Databricks CLI vous permet de gérer les fonctionnalités dans votre Magasin de fonctionnalités Databricks.
databricks feature-engineering create-feature
Créer une fonctionnalité.
databricks feature-engineering create-feature FULL_NAME SOURCE INPUTS FUNCTION TIME_WINDOW [flags]
Arguments
FULL_NAME
Le nom complet en trois parties (catalogue, schéma, nom) de la fonctionnalité.
SOURCE
La source de données de la fonctionnalité.
INPUTS
Les colonnes d'entrée à partir desquelles la fonctionnalité est calculée.
FUNCTION
La fonction par laquelle la fonctionnalité est calculée.
TIME_WINDOW
La fenêtre temporelle dans laquelle la fonctionnalité est calculée.
Options
--description string
La description de la fonctionnalité.
--json JSON
La chaîne JSON en ligne ou le @chemin vers le fichier JSON avec le corps de la requête.
Exemples
L'exemple suivant crée une fonctionnalité :
databricks feature-engineering create-feature my_catalog.my_schema.my_feature my_source my_inputs my_function my_time_window --description "My feature description"
databricks feature-Data Engineering create-Kafka-config
Créer une configuration Kafka.
databricks feature-engineering create-kafka-config NAME BOOTSTRAP_SERVERS SUBSCRIPTION_MODE AUTH_CONFIG [flags]
Arguments
NAME
Nom qui identifie de manière unique cette configuration Kafka au sein du métastore. Il s'agira de l'identifiant utilisé à partir de l'objet Feature pour référencer ces configurations pour une fonctionnalité. Peut être distinct du nom du sujet.
BOOTSTRAP_SERVERS
Une liste de paires hôte/port séparées par des virgules pointant vers le cluster Kafka.
SUBSCRIPTION_MODE
Options permettant de configurer les sujets Kafka à partir desquels extraire des données.
AUTH_CONFIG
Configuration de l’authentification pour la connexion aux rubriques.
Options
--json JSON
La chaîne JSON en ligne ou le @chemin vers le fichier JSON avec le corps de la requête.
databricks feature-Data Engineering create-materialized-feature
Créer une feature matérialisée.
databricks feature-engineering create-materialized-feature FEATURE_NAME [flags]
Arguments
FEATURE_NAME
Le nom complet de la fonctionnalité dans Unity Catalog.
Options
--cron-schedule string
L’expression cron Quartz qui définit le calendrier du pipeline de matérialisation.
--json JSON
La chaîne JSON en ligne ou le @chemin vers le fichier JSON avec le corps de la requête.
--materialized-feature-id string
Identifiant unique assigné par le serveur pour la feature matérialisée.
--pipeline-schedule-state MaterializedFeaturePipelineScheduleState
L'état du calendrier du pipeline de matérialisation. Valeurs prises en charge : ACTIVE, PAUSED, SNAPSHOT.
databricks feature-Data Engineering create-Stream
Créer un Stream.
databricks feature-engineering create-stream NAME SOURCE_CONFIG CONNECTION_CONFIG SCHEMA_CONFIG INGESTION_CONFIG [flags]
Arguments
NAME
Nom complet en trois parties (catalog.schema.Stream) nom du Stream.
SOURCE_CONFIG
Configuration spécifique à la source. Détermine la source de la plateforme de streaming.
CONNECTION_CONFIG
Spécifie comment se connecter et s’authentifier à la plateforme de stream.
SCHEMA_CONFIG
Définitions de schéma pour le Stream. Actuellement, seuls les schémas directs sont pris en charge. Dans une étape future, nous prendrons en charge les registres de schémas via une connexion UC.
INGESTION_CONFIG
Configuration pour l’ingestion de données en streaming : la table gérée stockant une copie hors ligne des données de remplissage vers l’avant et le remplissage historique optionnel.
Options
--description string
Description fournie par l'utilisateur.
--json JSON
La chaîne JSON en ligne ou le @chemin vers le fichier JSON avec le corps de la requête.
databricks ingénierie-des-fonctionnalités supprimer-fonctionnalité
Supprimer une fonctionnalité.
databricks feature-engineering delete-feature FULL_NAME [flags]
Arguments
FULL_NAME
Nom de la fonctionnalité à supprimer.
Exemples
L'exemple suivant supprime une fonctionnalité :
databricks feature-engineering delete-feature my_catalog.my_schema.my_feature
databricks feature-Data Engineering delete-Kafka-config
Supprimer une configuration Kafka.
databricks feature-engineering delete-kafka-config NAME [flags]
Arguments
NAME
Nom de la configuration Kafka à supprimer.
databricks feature-Data Engineering delete-materialized-feature
Supprimer une fonctionnalité matérialisée.
databricks feature-engineering delete-materialized-feature MATERIALIZED_FEATURE_ID [flags]
Arguments
MATERIALIZED_FEATURE_ID
L’ID de la fonctionnalité matérialisée à supprimer.
databricks feature-Data Engineering delete-Stream
Supprimer un Stream.
databricks feature-engineering delete-stream NAME [flags]
Arguments
NAME
Nom complet en trois parties (catalog.schema.stream) du Stream à supprimer.
Databricks engineering des fonctionnalités get-feature
Obtenir une fonctionnalité.
databricks feature-engineering get-feature FULL_NAME [flags]
Arguments
FULL_NAME
Nom de la fonctionnalité à obtenir.
Exemples
L'exemple suivant obtient une fonctionnalité :
databricks feature-engineering get-feature my_catalog.my_schema.my_feature
databricks feature-Data Engineering get-Kafka-config
Obtenir une configuration Kafka.
databricks feature-engineering get-kafka-config NAME [flags]
Arguments
NAME
Nom de la configuration Kafka à obtenir.
databricks feature-Data Engineering get-materialized-feature
Obtenir une fonctionnalité matérialisée.
databricks feature-engineering get-materialized-feature MATERIALIZED_FEATURE_ID [flags]
Arguments
MATERIALIZED_FEATURE_ID
L'ID de la fonctionnalité matérialisée.
databricks feature-Data Engineering get-Stream
Obtenir un Stream.
databricks feature-engineering get-stream NAME [flags]
Arguments
NAME
Nom complet en trois parties (catalog.schema.stream) du Stream à récupérer.
databricks feature-engineering list-features
Répertorier les fonctionnalités.
databricks feature-engineering list-features [flags]
Options
--page-size int
Le nombre maximal de résultats à retourner.
--page-token string
Jeton de pagination pour passer à la page suivante, basé sur une query précédente.
Exemples
L’exemple suivant liste toutes les fonctionnalités :
databricks feature-engineering list-features
databricks feature-Data Engineering list-Kafka-configs
Lister les configurations Kafka.
databricks feature-engineering list-kafka-configs [flags]
Options
--limit int
Nombre maximal de résultats à renvoyer.
--page-size int
Le nombre maximal de résultats à retourner.
databricks feature-Data Engineering list-materialized-features
Lister les features matérialisées.
databricks feature-engineering list-materialized-features [flags]
Options
--feature-name string
Filtrer par nom de fonctionnalité.
--limit int
Nombre maximal de résultats à renvoyer.
--page-size int
Le nombre maximal de résultats à retourner.
databricks feature-Data Engineering list-Stream
Lister les Stream.
databricks feature-engineering list-streams [flags]
Options
--limit int
Nombre maximal de résultats à renvoyer.
--page-size int
Le nombre maximal de résultats à retourner.
--parent string
Nom en deux parties (catalog.schema) du parent sous lequel répertorier les Streams.
databricks engineering des fonctionnalités mettre à jour la fonctionnalité
Mettre à jour la description d'une fonctionnalité (tous les autres champs sont immuables).
databricks feature-engineering update-feature FULL_NAME UPDATE_MASK SOURCE INPUTS FUNCTION TIME_WINDOW [flags]
Arguments
FULL_NAME
Le nom complet en trois parties (catalogue, schéma, nom) de la fonctionnalité.
UPDATE_MASK
La liste des champs à mettre à jour.
SOURCE
La source de données de la fonctionnalité.
INPUTS
Les colonnes d'entrée à partir desquelles la fonctionnalité est calculée.
FUNCTION
La fonction par laquelle la fonctionnalité est calculée.
TIME_WINDOW
La fenêtre temporelle dans laquelle la fonctionnalité est calculée.
Options
--description string
La description de la fonctionnalité.
--json JSON
La chaîne JSON en ligne ou le @chemin vers le fichier JSON avec le corps de la requête.
Exemples
L'exemple suivant met à jour la description d'une fonctionnalité :
databricks feature-engineering update-feature my_catalog.my_schema.my_feature description my_source my_inputs my_function my_time_window --description "Updated description"
databricks feature-Data Engineering update-Kafka-config
Mettre à jour une configuration Kafka.
databricks feature-engineering update-kafka-config NAME UPDATE_MASK BOOTSTRAP_SERVERS SUBSCRIPTION_MODE AUTH_CONFIG [flags]
Arguments
NAME
Nom qui identifie de manière unique cette configuration Kafka au sein du métastore. Il s'agira de l'identifiant utilisé à partir de l'objet Feature pour référencer ces configurations pour une fonctionnalité. Peut être distinct du nom du sujet.
UPDATE_MASK
La liste des champs à mettre à jour.
BOOTSTRAP_SERVERS
Une liste de paires hôte/port séparées par des virgules pointant vers le cluster Kafka.
SUBSCRIPTION_MODE
Options permettant de configurer les sujets Kafka à partir desquels extraire des données.
AUTH_CONFIG
Configuration de l’authentification pour la connexion aux rubriques.
Options
--json JSON
La chaîne JSON en ligne ou le @chemin vers le fichier JSON avec le corps de la requête.
databricks feature-Data Engineering update-materialized-feature
Mettre à jour une fonctionnalité matérialisée.
databricks feature-engineering update-materialized-feature MATERIALIZED_FEATURE_ID UPDATE_MASK FEATURE_NAME [flags]
Arguments
MATERIALIZED_FEATURE_ID
Identifiant unique assigné par le serveur pour la feature matérialisée.
UPDATE_MASK
Fournissez les champs de fonctionnalité de matérialisation qui doivent être mis à jour. Actuellement, seul le champ pipeline_state peut être mis à jour.
FEATURE_NAME
Le nom complet de la fonctionnalité dans Unity Catalog.
Options
--cron-schedule string
L’expression cron Quartz qui définit le calendrier du pipeline de matérialisation.
--json JSON
La chaîne JSON en ligne ou le @chemin vers le fichier JSON avec le corps de la requête.
--materialized-feature-id string
Identifiant unique assigné par le serveur pour la feature matérialisée.
--pipeline-schedule-state MaterializedFeaturePipelineScheduleState
L'état du calendrier du pipeline de matérialisation. Valeurs prises en charge : ACTIVE, PAUSED, SNAPSHOT.
databricks feature-Data Engineering update-Stream
Mettre à jour un Stream.
databricks feature-engineering update-stream NAME UPDATE_MASK SOURCE_CONFIG CONNECTION_CONFIG SCHEMA_CONFIG INGESTION_CONFIG [flags]
Arguments
NAME
Nom complet en trois parties (catalog.schema.Stream) nom du Stream.
UPDATE_MASK
La liste des champs à mettre à jour.
SOURCE_CONFIG
Configuration spécifique à la source. Détermine la source de la plateforme de streaming.
CONNECTION_CONFIG
Spécifie comment se connecter et s’authentifier à la plateforme de stream.
SCHEMA_CONFIG
Définitions de schéma pour le Stream. Actuellement, seuls les schémas directs sont pris en charge. Dans une étape future, nous prendrons en charge les registres de schémas via une connexion UC.
INGESTION_CONFIG
Configuration pour l’ingestion de données en streaming : la table gérée stockant une copie hors ligne des données de remplissage vers l’avant et le remplissage historique optionnel.
Options
--description string
Description fournie par l'utilisateur.
--json JSON
La chaîne JSON en ligne ou le @chemin vers le fichier JSON avec le corps de la requête.
Drapeaux globaux
--debug
Activer ou non la journalisation de débogage.
-h OU --help
Afficher l'aide de Databricks CLI ou du groupe de commandes associé ou de la commande associée.
--log-file chaîne
Une chaîne représentant le fichier dans lequel écrire les logs de sortie. Si cet indicateur n'est pas spécifié, la default est d'écrire les logs de sortie dans stderr.
--log-format Format
Le type de format de log, text ou json. La valeur par default est text.
--log-level chaîne
Une chaîne représentant le niveau de format du log. S'il n'est pas spécifié, le niveau de format du log est désactivé.
-o, --output Type
Le type de sortie de commande, text ou json. La valeur par default est text.
-p, --profile chaîne
Nom du profil dans le fichier ~/.databrickscfg à utiliser pour exécuter la commande. Si cet indicateur n'est pas spécifié, alors s'il existe, le profil nommé DEFAULT est utilisé.
--progress-format Format
Le format pour afficher les logs de progression : default, append, inplace ou json
-t, --target chaîne
Le cas échéant, la cible de bundle à utiliser