feature-engineering grupo de comandos
O uso CLI Databricks está sujeito à LicençaDatabricks e ao Aviso de PrivacidadeDatabricks, incluindo qualquer fornecimento de Dados de Uso.
O grupo de comandos feature-engineering na CLIDatabricks permite gerenciar recursos em seu repositório de recursos Databricks .
databricks recurso-engenharia create-recurso
Criar um recurso.
databricks feature-engineering create-feature FULL_NAME SOURCE INPUTS FUNCTION TIME_WINDOW [flags]
Argumentos
FULL_NAME
O nome completo do recurso, composto por três partes (catálogo, esquema, nome).
SOURCE
A fonte de dados do recurso.
INPUTS
As colunas de entrada a partir das quais o recurso é calculado.
FUNCTION
A função pela qual o recurso é calculado.
TIME_WINDOW
O intervalo de tempo em que o recurso é computado.
Opções
--description string
Descrição do recurso.
--json JSON
As strings JSON embutidas ou o @caminho para o arquivo JSON com o corpo da requisição.
Exemplos
O exemplo a seguir cria um recurso:
databricks feature-engineering create-feature my_catalog.my_schema.my_feature my_source my_inputs my_function my_time_window --description "My feature description"
databricks recurso-engenharia create-Kafka-config
Criar uma configuração do Kafka.
databricks feature-engineering create-kafka-config NAME BOOTSTRAP_SERVERS SUBSCRIPTION_MODE AUTH_CONFIG [flags]
Argumentos
NAME
Nome que identifica exclusivamente esta configuração do Kafka dentro do metastore. Este será o identificador usado a partir do objeto Feature para referenciar estas configurações para um recurso. Pode ser distinto do nome do tópico.
BOOTSTRAP_SERVERS
Uma lista separada por vírgulas de pares de host/porta apontando para o cluster Kafka.
SUBSCRIPTION_MODE
Opções para configurar de quais tópicos do Kafka extrair dados.
AUTH_CONFIG
Configuração de autenticação para conexão com tópicos.
Opções
--json JSON
As strings JSON embutidas ou o @caminho para o arquivo JSON com o corpo da requisição.
databricks recurso-engenharia create-materialized-recurso
Criar um recurso materializado.
databricks feature-engineering create-materialized-feature FEATURE_NAME [flags]
Argumentos
FEATURE_NAME
O nome completo do recurso no Unity Catalog.
Opções
--cron-schedule string
A expressão quartz cron que define programar do pipeline de materialização.
--json JSON
As strings JSON embutidas ou o @caminho para o arquivo JSON com o corpo da requisição.
--materialized-feature-id string
Identificador exclusivo atribuído pelo servidor para o recurso materializado.
--pipeline-schedule-state MaterializedFeaturePipelineScheduleState
O estado do cronograma do pipeline de materialização. Valores suportados: ACTIVE, PAUSED, SNAPSHOT.
databricks recurso-engenharia create-transmissão
Criar uma transmissão.
databricks feature-engineering create-stream NAME SOURCE_CONFIG CONNECTION_CONFIG SCHEMA_CONFIG INGESTION_CONFIG [flags]
Argumentos
NAME
Três partes completas (catalog.schema.transmissão) nome da transmissão.
SOURCE_CONFIG
Configuração específica da origem. Determina a origem da plataforma de transmissão.
CONNECTION_CONFIG
Especifica como se conectar e autenticar na plataforma de transmissão.
SCHEMA_CONFIG
Definições de esquema para a transmissão. Atualmente, apenas esquemas diretos são suportados. Em um marco futuro, ofereceremos suporte a registros de esquema por meio de uma Conexão do UC.
INGESTION_CONFIG
Configuração para ingestão de dados de transmissão: a tabela gerenciada que armazena uma cópia offline de dados de preenchimento direto e preenchimento histórico opcional.
Opções
--description string
Descrição fornecida pelo usuário.
--json JSON
As strings JSON embutidas ou o @caminho para o arquivo JSON com o corpo da requisição.
databricks recurso-engenharia delete-recurso
Excluir um recurso.
databricks feature-engineering delete-feature FULL_NAME [flags]
Argumentos
FULL_NAME
Nome do recurso a ser excluído.
Exemplos
O exemplo a seguir exclui um recurso:
databricks feature-engineering delete-feature my_catalog.my_schema.my_feature
databricks recurso-engenharia delete-Kafka-config
Exclua uma configuração do Kafka.
databricks feature-engineering delete-kafka-config NAME [flags]
Argumentos
NAME
Nome da configuração do Kafka a ser excluída.
databricks engenharia delete-materialized-recurso
Excluir um recurso materializado.
databricks feature-engineering delete-materialized-feature MATERIALIZED_FEATURE_ID [flags]
Argumentos
MATERIALIZED_FEATURE_ID
O ID do recurso materializado a ser excluído.
databricks recurso-engenharia delete-transmissão
Excluir uma transmissão.
databricks feature-engineering delete-stream NAME [flags]
Argumentos
NAME
Nome completo de três partes (catalog.schema.transmissão) da transmissão a ser excluída.
databricks recurso-engenharia get-recurso
Obtenha um recurso.
databricks feature-engineering get-feature FULL_NAME [flags]
Argumentos
FULL_NAME
Nome do recurso a ser obtido.
Exemplos
O exemplo a seguir obtém um recurso:
databricks feature-engineering get-feature my_catalog.my_schema.my_feature
databricks recurso-engenharia get-Kafka-config
Obtenha uma configuração do Kafka.
databricks feature-engineering get-kafka-config NAME [flags]
Argumentos
NAME
Nome da configuração do Kafka a ser obtida.
databricks engenharia get-materialized-recurso
Obtenha um recurso materializado.
databricks feature-engineering get-materialized-feature MATERIALIZED_FEATURE_ID [flags]
Argumentos
MATERIALIZED_FEATURE_ID
O ID do recurso materializado.
databricks engenharia-de-recursos obter-transmissão
Obtenha uma transmissão.
databricks feature-engineering get-stream NAME [flags]
Argumentos
NAME
Nome completo de três partes (catalog.schema.transmissão) da transmissão a ser obtida.
databricks recurso-engenharia list-recurso
Lista de recursos.
databricks feature-engineering list-features [flags]
Opções
--page-size int
O número máximo de resultados a serem retornados.
--page-token string
Tokens de paginação para ir para a próxima página com base em uma consulta anterior.
Exemplos
O exemplo a seguir lista todos os recursos:
databricks feature-engineering list-features
databricks recurso-engenharia list-Kafka-configs
Listar configurações do Kafka.
databricks feature-engineering list-kafka-configs [flags]
Opções
--limit int
Número máximo de resultados a retornar.
--page-size int
O número máximo de resultados a serem retornados.
databricks recurso-engenharia list-materialized-features
Listar recursos materializados.
databricks feature-engineering list-materialized-features [flags]
Opções
--feature-name string
Filtrar por nome do recurso.
--limit int
Número máximo de resultados a retornar.
--page-size int
O número máximo de resultados a serem retornados.
databricks recurso-engenharia list-transmissões
Listar transmissões.
databricks feature-engineering list-streams [flags]
Opções
--limit int
Número máximo de resultados a retornar.
--page-size int
O número máximo de resultados a serem retornados.
--parent string
Nome de duas partes (catalog.schema) do pai sob o qual listar as Transmissões.
databricks recurso-engenharia update-recurso
Atualizar a descrição de um recurso (todos os outros campos são imutáveis).
databricks feature-engineering update-feature FULL_NAME UPDATE_MASK SOURCE INPUTS FUNCTION TIME_WINDOW [flags]
Argumentos
FULL_NAME
O nome completo do recurso, composto por três partes (catálogo, esquema, nome).
UPDATE_MASK
Lista de campos a serem atualizados.
SOURCE
A fonte de dados do recurso.
INPUTS
As colunas de entrada a partir das quais o recurso é calculado.
FUNCTION
A função pela qual o recurso é calculado.
TIME_WINDOW
O intervalo de tempo em que o recurso é computado.
Opções
--description string
Descrição do recurso.
--json JSON
As strings JSON embutidas ou o @caminho para o arquivo JSON com o corpo da requisição.
Exemplos
O exemplo a seguir atualiza a descrição de um recurso:
databricks feature-engineering update-feature my_catalog.my_schema.my_feature description my_source my_inputs my_function my_time_window --description "Updated description"
databricks recurso-engenharia update-Kafka-config
Atualize uma configuração do Kafka.
databricks feature-engineering update-kafka-config NAME UPDATE_MASK BOOTSTRAP_SERVERS SUBSCRIPTION_MODE AUTH_CONFIG [flags]
Argumentos
NAME
Nome que identifica exclusivamente esta configuração do Kafka dentro do metastore. Este será o identificador usado a partir do objeto Feature para referenciar estas configurações para um recurso. Pode ser distinto do nome do tópico.
UPDATE_MASK
Lista de campos a serem atualizados.
BOOTSTRAP_SERVERS
Uma lista separada por vírgulas de pares de host/porta apontando para o cluster Kafka.
SUBSCRIPTION_MODE
Opções para configurar de quais tópicos do Kafka extrair dados.
AUTH_CONFIG
Configuração de autenticação para conexão com tópicos.
Opções
--json JSON
As strings JSON embutidas ou o @caminho para o arquivo JSON com o corpo da requisição.
databricks engenharia-recurso update-materialized-recurso
Atualize um recurso materializado.
databricks feature-engineering update-materialized-feature MATERIALIZED_FEATURE_ID UPDATE_MASK FEATURE_NAME [flags]
Argumentos
MATERIALIZED_FEATURE_ID
Identificador exclusivo atribuído pelo servidor para o recurso materializado.
UPDATE_MASK
Forneça os campos de recurso de materialização que devem ser atualizados. Atualmente, apenas o campo pipeline_state pode ser atualizado.
FEATURE_NAME
O nome completo do recurso no Unity Catalog.
Opções
--cron-schedule string
A expressão quartz cron que define programar do pipeline de materialização.
--json JSON
As strings JSON embutidas ou o @caminho para o arquivo JSON com o corpo da requisição.
--materialized-feature-id string
Identificador exclusivo atribuído pelo servidor para o recurso materializado.
--pipeline-schedule-state MaterializedFeaturePipelineScheduleState
O estado do cronograma do pipeline de materialização. Valores suportados: ACTIVE, PAUSED, SNAPSHOT.
databricks recurso-engenharia update-transmissão
Atualize uma transmissão.
databricks feature-engineering update-stream NAME UPDATE_MASK SOURCE_CONFIG CONNECTION_CONFIG SCHEMA_CONFIG INGESTION_CONFIG [flags]
Argumentos
NAME
Três partes completas (catalog.schema.transmissão) nome da transmissão.
UPDATE_MASK
Lista de campos a serem atualizados.
SOURCE_CONFIG
Configuração específica da origem. Determina a origem da plataforma de transmissão.
CONNECTION_CONFIG
Especifica como se conectar e autenticar na plataforma de transmissão.
SCHEMA_CONFIG
Definições de esquema para a transmissão. Atualmente, apenas esquemas diretos são suportados. Em um marco futuro, ofereceremos suporte a registros de esquema por meio de uma Conexão do UC.
INGESTION_CONFIG
Configuração para ingestão de dados de transmissão: a tabela gerenciada que armazena uma cópia offline de dados de preenchimento direto e preenchimento histórico opcional.
Opções
--description string
Descrição fornecida pelo usuário.
--json JSON
As strings JSON embutidas ou o @caminho para o arquivo JSON com o corpo da requisição.
Bandeiras globais
--debug
Ativar ou não o registro de depuração.
-h ou --help
Exibir ajuda para a CLI Databricks , o grupo de comandos relacionado ou o comando específico.
--log-file string
Uma sequência de caracteres representando o arquivo no qual logs de saída serão gravados. Se essa opção não for especificada, o default é gravar logs de saída em stderr.
--log-format Formato
O tipo de formato de log, text ou json. O valor default é text.
--log-level string
Uma sequência de caracteres representando o nível de formato log . Caso não seja especificado, o nível de formato log será desativado.
-o, --output Tipo
O tipo de saída do comando, text ou json. O valor default é text.
-p, --profile string
O nome do perfil no arquivo ~/.databrickscfg a ser usado para executar o comando. Se este sinalizador não for especificado, então, se existir, o perfil denominado DEFAULT será usado.
--progress-format Formato
O formato para exibir logs progresso é: default, append, inplace ou json
-t, --target string
Se aplicável, o pacote de destino a ser usado.