recurso engenharia e espaço de trabalho recurso Store Python API
Esta página fornece links para a documentação Python API do Databricks recurso engenharia e Databricks do espaço de trabalho legado recurso Store, além de informações sobre o pacote cliente databricks-feature-engineering e databricks-feature-store.
A partir da versão 0.17.0, databricks-feature-store foi descontinuado. Todos os módulos existentes desse pacote estão agora disponíveis em databricks-feature-engineering versão 0.2.0 e posteriores. Para obter informações sobre a migração para databricks-feature-engineering, consulte Migrate to databricks-recurso-engenharia.
Matriz de compatibilidade
O pacote e o cliente que o senhor deve usar dependem da localização das tabelas de recursos e da versão do site Databricks Runtime ML que está sendo executada, conforme mostrado na tabela a seguir.
Para identificar a versão do pacote que está integrada à sua versão Databricks Runtime ML , consulte a matriz de compatibilidade de engenharia de recursos.
Versão do Databricks Runtime | Para tabelas de recursos em | Usar pacote | Usar o cliente Python |
|---|---|---|---|
Databricks Runtime 14.3 ML e acima | Unity Catalog |
|
|
Databricks Runtime 14.3 ML e acima | Workspace |
|
|
Databricks Runtime 14.2 ML e abaixo | Unity Catalog |
|
|
Databricks Runtime 14.2 ML e abaixo | Workspace |
|
|
databricks-feature-engineering<=0.7.0não é compatível commlflow>=2.18.0. Para usardatabricks-feature-engineeringcom MLflow 2.18.0 e acima, atualize paradatabricks-feature-engineeringversão 0.8.0 ou acima.
notas sobre a versão
Consulte as notas sobre a versão para Databricks recurso engenharia e legacy workspace recurso Store.
recurso engenharia Python API referência
Consulte a referência do recurso engenharia.Python API
workspace recurso Store Python API reference (deprecated)
- A partir da versão 0.17.0,
databricks-feature-storefoi descontinuado. Todos os módulos existentes desse pacote estão agora disponíveis emdatabricks-feature-engineeringversão 0.2.0 e posteriores.
Para a versão databricks-feature-store v0.17.0, consulte Databricks FeatureStoreClient em recurso engenharia Python API reference para obter a referência mais recente do recurso Recurso Store API.
Para a v0.16.3 e abaixo, use os links na tabela para download ou exiba a referência Recurso Store Python API . Para determinar a versão pré-instalada da sua versão do Databricks Runtime ML, consulte a matriz de compatibilidade.
Versão | baixar PDF | Referência de API on-line |
|---|---|---|
v0.3.5 a v0.16.3 | ||
v0.3.5 e abaixo | Referência de API on-line não disponível |
Python pacote
Esta seção descreve como instalar o pacote Python para usar o Databricks recurso engenharia e o Databricks Workspace recurso Store.
recurso engenharia
- A partir da versão 0.2.0,
databricks-feature-engineeringcontém módulos para trabalhar com tabelas de recurso no Unity Catalog e no workspace recurso Store.databricks-feature-engineeringabaixo da versão 0.2.0 só funciona com tabelas de recurso em Unity Catalog.
O Databricks recurso engenharia APIs está disponível por meio do Python cliente pacote databricks-feature-engineering. O cliente está disponível em PyPI e está pré-instalado em Databricks Runtime 13.3 LTS ML e acima.
Para obter uma referência de qual versão do cliente corresponde a qual versão do tempo de execução, consulte a matriz de compatibilidade.
Para instalar o cliente no Databricks Runtime:
%pip install databricks-feature-engineering
Para instalar o cliente em um ambiente Python local:
pip install databricks-feature-engineering
workspace recurso Store (obsoleto)
- A partir da versão 0.17.0,
databricks-feature-storefoi descontinuado. Todos os módulos existentes desse pacote estão agora disponíveis emdatabricks-feature-engineering, versão 0.2.0 e posteriores. - Consulte Migrar para databricks-recurso-engenharia para obter mais informações.
O Databricks recurso Store APIs está disponível por meio do Python cliente pacote databricks-feature-store. O cliente está disponível no PyPI e é pré-instalado no Databricks Runtime for Machine Learning. Para obter uma referência de qual tempo de execução inclui qual versão do cliente, consulte a matriz de compatibilidade.
Para instalar o cliente no Databricks Runtime:
%pip install databricks-feature-store
Para instalar o cliente em um ambiente Python local:
pip install databricks-feature-store
Migrar para databricks-feature-engineering
Para instalar o pacote databricks-feature-engineering, use pip install databricks-feature-engineering em vez de pip install databricks-feature-store. Todos os módulos em databricks-feature-store foram movidos para databricks-feature-engineering, então você não precisa alterar nenhum código. Declarações de importação como from databricks.feature_store import FeatureStoreClient continuarão funcionando após a instalação do databricks-feature-engineering.
Para trabalhar com tabelas de recursos em Unity Catalog, use FeatureEngineeringClient. Para usar o espaço de trabalho recurso Store, o senhor deve usar FeatureStoreClient.
Cenários compatíveis
No Databricks, incluindo o Databricks Runtime e o Databricks Runtime for Machine Learning, o senhor pode:
- Criar, ler e gravar tabelas de recurso.
- Treinar modelos e pontuação em dados de recursos.
- Publique as tabelas de recursos nas lojas on-line para que o tempo real de serviço seja cumprido.
A partir de um ambiente local ou de um ambiente externo à Databricks, o senhor pode:
- Desenvolva código com suporte de IDE local.
- Teste de unidade usando estruturas simuladas.
- Escreva testes de integração para serem executados em Databricks.
Limitações
A biblioteca do cliente só pode ser executada em Databricks, incluindo Databricks Runtime e Databricks Runtime para Machine Learning. Ele não suporta a chamada de recurso engenharia em Unity Catalog ou recurso Store APIs de um ambiente local ou de um ambiente diferente de Databricks.
Use os clientes para testes unitários
O senhor pode instalar o recurso engenharia em Unity Catalog client ou o recurso Store client localmente para ajudar na execução de testes de unidade.
Por exemplo, para validar que um método update_customer_features chama corretamente
FeatureEngineeringClient.write_table (ou para o espaço de trabalho recurso Store,
FeatureStoreClient.write_table), o senhor poderia escrever:
from unittest.mock import MagicMock, patch
from my_feature_update_module import update_customer_features
from databricks.feature_engineering import FeatureEngineeringClient
@patch.object(FeatureEngineeringClient, "write_table")
@patch("my_feature_update_module.compute_customer_features")
def test_something(compute_customer_features, mock_write_table):
customer_features_df = MagicMock()
compute_customer_features.return_value = customer_features_df
update_customer_features() # Function being tested
mock_write_table.assert_called_once_with(
name='ml.recommender_system.customer_features',
df=customer_features_df,
mode='merge'
)
Use os clientes para testes de integração
O senhor pode executar testes de integração com o recurso engenharia no cliente Unity Catalog ou com o recurso Store client em Databricks. Para obter detalhes, consulte Ferramentas e orientações para desenvolvedores: Use CI/CD.