Pular para o conteúdo principal
Última atualização em

Gerenciamento de custos da Feature Store

Esta página descreve como o Databricks Feature Store cobra pelo compute e como monitorar e otimizar esses custos. O Feature Store é cobrado pelo custo: você paga pelo compute serverless subjacente, armazenamento online e infraestrutura de serviço sem nenhum custo premium adicional.

  • A materialização de recursos é executada como compute serverless e aparece na cobrança sob o produto FEATURE_STORE, cobrada à mesma taxa que os jobs serverless e os pipelines do Lakeflow Spark Declarative Pipelines.
  • Os endpoints do Feature Serving são cobrados da SKU do Model Serving.
  • **Lojas online** são cobradas em relação ao Lakebase compute, com base na unidade de capacidade (CU) e no número de réplicas.
nota

Inicialmente, durante a Prévia Pública, os pipelines de materialização de recursos não são cobrados. Após a habilitação da cobrança, eles incorrerão em custos contínuos de compute serverless. Outros encargos, incluindo endpoint de Feature Serving e lojas online, aplicam-se durante a prévia. Planeje os custos de compute de materialização ao mover cargas de trabalho para a produção.

Como a Feature Store é faturada​

Materialização de recursos​

info

Pré-lançamento público

A materialização de recursos faz parte do Recurso Views, que está em Prévia Pública.

Ao materializar as Visões de Recursos, o Databricks executa um pipeline serverless para computar e gravar valores de recursos em destinos offline e online. Isso inclui jobs de materialização em lote, pipelines de transmissão e ingestão do Kafka. Esses pipelines estão em execução em compute serverless e são cobrados pelo custo, com um multiplicador de 1x e sem acréscimo sobre a plataforma serverless subjacente.

Na tabela do sistema de uso faturável, o uso de materialização aparece com billing_origin_product definido como FEATURE_STORE e uma SKU de compute serverless (JOBS_SERVERLESS_COMPUTE, prefixada pelo seu nível de workspace e região). O uso é is_serverless e is_photon, e usage_metadata inclui data_source (DELTA_TABLE_SOURCE ou KAFKA_SOURCE) e operation (FEATURE_MATERIALIZATION ou KAFKA_INGESTION) para que você possa fatiar o custo por cargas de trabalho em lotes versus transmissão.

Para reduzir o custo de compute, agrupe os recursos que compartilham um destino offline, um destino online e um gatilho em uma única chamada materialize_features para que sejam realizados em uma execução de pipeline. Consulte Materializar Visões de Recursos. Para saber mais sobre como o compute serverless é cobrado, consulte Executar seus trabalhos do Lakeflow com compute serverless para fluxos de trabalho.

endpoint de Feature Serving​

endpoint de Feature Serving servem recursos pré-computados e sob demanda para aplicativos em tempo real. Eles são executados no Model Serving e são cobrados da SKU de Model Serving (SERVERLESS_REAL_TIME_INFERENCE), o mesmo que endpoints de servindo modelo personalizados. As cobranças escalam com o compute que o endpoint faz o provisionamento para lidar com o tráfego de requisições. Consulte endpoints de Feature Serving e a página de preços de Model Serving.

Lojas online​

Armazenamentos online disponibilizam recursos com baixa latência para inferência online. Um armazenamento online da Databricks é alimentado por Lakebase e é cobrado do compute do Lakebase, com base nas unidades de capacidade (CUs) e réplicas de leitura para as quais ele realiza o provisionamento. Cada unidade de capacidade aloca compute, memória e armazenamento para a instância, e é possível adicionar réplicas de leitura para maior disponibilidade e taxa de transferência de leitura. Consulte Repositórios de recursos online da Databricks para obter orientação sobre dimensionamento, Gerenciar computes para saber como as unidades de capacidade são mapeadas para o compute, e a página de preços do Lakebase.

Monitorar o uso e os custos​

Você pode monitorar os custos da Feature Store usando a tabela do sistema de uso faturável, system.billing.usage. O uso da materialização é identificado por billing_origin_product = 'FEATURE_STORE':

SQL
SELECT
  usage_date,
  usage_metadata.data_source,
  usage_metadata.operation,
  usage_metadata.job_id,
  usage_metadata.dlt_pipeline_id,
  identity_metadata.run_as,
  sum(usage_quantity) AS dbus,
  usage_unit
FROM system.billing.usage
WHERE billing_origin_product = 'FEATURE_STORE'
GROUP BY ALL;

Use usage_metadata.data_source e operation para detalhar os custos por lotes versus transmissão. Os campos usage_metadata.job_id e usage_metadata.dlt_pipeline_id identificam o Job ou pipeline de materialização específico que produziu cada linha de custo, para que seja possível agrupá-los para atribuição por pipeline.

Os custos de Feature Serving e armazenamento online são rastreados separadamente:

  • Os endpoints do Feature Serving aparecem na SKU do Model Serving. Consulte Monitorar os custos de servindo modelo.
  • O compute do armazenamento online aparece sob o SKU serverless do Lakebase (banco de dados).

Para obter detalhes sobre a tabela de uso faturável e como consultá-la, consulte Referência da tabela do sistema de uso faturável.

Melhores práticas de otimização de custos​

  • **Agrupe recursos em pipelines de materialização compartilhados**: Recursos que compartilham um destino offline, destino online e gatilho podem se materializar juntos em um único pipeline, o que reduz o número de pipelines pelos quais você paga.
  • Reutilizar armazenamentos online : você pode publicar múltiplas tabelas de recursos em um único armazenamento online. Para desenvolvimento, teste e treinamento, compartilhe um armazenamento online entre projetos em vez de criar armazenamentos separados.
  • Redimensione a capacidade do armazenamento online : comece com uma pequena unidade de capacidade para teste e aumente ou diminua a escala com base no desempenho e no custo.
  • Exclua os recursos que não estão em uso : As lojas online geram custos continuamente. Exclua as lojas online e os pipelines de materialização que não são mais necessários.
  • Escolha um acionador de materialização apropriado : acionadores agendados menos frequentes custam menos do que a rematerialização contínua ou frequente. Corresponda o acionador à atualização que seus recursos precisam ter.

Recursos adicionais​

Nesta página