Databricks Recurso Store

Esta página é uma visão geral dos recursos disponíveis quando o senhor usa o Databricks recurso Store com Unity Catalog.

O Databricks recurso Store fornece um registro central para os recursos usados nos modelos AI e ML. As tabelas e os modelos de recurso são registrados em Unity Catalog, fornecendo governança integrada, linhagem e compartilhamento e descoberta de recurso entreworkspace. Com a Databricks, todo o fluxo de trabalho de treinamento de modelos ocorre em uma única plataforma, incluindo:

• pipeline de dados que ingerem dados brutos, criam tabelas de recursos, treinam modelos e realizam inferência de lotes.
• Modelo e endpoint Feature Serving que estão disponíveis com um único clique e que fornecem milissegundos de latência.
• Monitoramento de dados e modelos.

Ao usar recursos do Databricks Feature Store para treinar modelos, o modelo rastreia automaticamente a linhagem até os recursos que foram usados no treinamento. No momento da inferência, o modelo busca automaticamente os valores de recurso mais recentes. Databricks Feature Store também oferece computação sob demanda de recursos para aplicações temporais, lidando com todas as tarefas de computação de recursos. Isso elimina a distorção entre treinamento e distribuição, garantindo que os cálculos de recursos usados na inferência sejam os mesmos usados durante o treinamento do modelo. Isso também simplifica significativamente o código do lado do cliente, já que todas as pesquisas e cálculos de recursos são gerenciados pelo Databricks Feature Store.

nota

Esta página descreve Databricks Feature Store para espaços de trabalho habilitados para Unity Catalog. Se o seu workspace não estiver habilitado para Unity Catalog, consulte Feature Store do espaço de trabalho (obsoleto).

Visão geral conceitual

Para uma visão geral de como o Databricks Feature Store funciona e um glossário de termos, consulte Visão geral e glossário do Feature Store.

Desenvolver recurso

Recurso	Descrição
tabelas de recursos	Criar e trabalhar com tabelas de recursos.
Recurso declarativo	Defina e compute recursos de agregação com janelas de tempo usando APIs declarativas.
Materializar recurso declarativo	Materializar recurso declarativo para treinamento offline ou atendimento online.

Descubra e compartilhe recursos

Recurso	Descrição
Explorar recurso em Unity Catalog	Explore e gerencie tabelas de recurso usando o Catalog Explorer e a UI de recurso.
Use tags com recurso tables e recurso in Unity Catalog	Use o par simples key-value para categorizar e gerenciar suas tabelas de recursos e recursos.

Usar recurso no treinamento fluxo de trabalho

Recurso	Descrição
Ensinando modelos com tabelas de recursos	Usar recurso para treinar modelos.
Junção de recurso point-in-time	Use a correção point-in-time para criar um treinamento dataset que reflita os valores do recurso no momento em que uma observação de rótulo foi registrada.
API do Python	Referência da API do Python

Servir recurso

Recurso	Descrição
Databricks Lojas de recursos on-line	Fornece dados de recurso para aplicativos on-line e tempo real modelo do aprendizado de máquina. Desenvolvido pelo Databricks Lakebase.
servindo modelo com pesquisa automática de recurso	Busca automática de valores de recurso em um armazenamento on-line.
Feature Serving ponto final	Servir de recurso para modelos e aplicativos fora do site Databricks.
Cálculo de recursos sob demanda	Calcular valores de recurso no momento da inferência.

recurso governança e linhagem

Recurso	Descrição
recurso governança e linhagem	Use Unity Catalog para controlar o acesso a tabelas de recurso e view a linhagem de uma tabela, modelo ou função de recurso.

tutorial

Tutorial	Descrição
Exemplo de Notebook para obter o começar	Caderno básico . Mostra como criar uma tabela de recursos, usá-la para treinar um modelo e executar lotes de pontuação usando a pesquisa automática de recursos. Também mostra a UI do recurso engenharia para pesquisar o recurso e view lineage. Exemplo de táxi Notebook . Mostra o processo de criação de recursos, atualizando-os e usando-os para treinamento de modelos e inferência de lotes.
Exemplo: implantado e consultar o site Feature Serving endpoint	Tutorial e exemplo de Notebook mostrando como implantar e consultar um Feature Serving endpoint.
Exemplo: usar recurso com aplicativos RAG estruturados	Tutorial que mostra como usar as tabelas on-line Databricks e o ponto de extremidade Feature Serving para aplicativos de geração aumentada de recuperação (RAG).

Requisitos

Para usar Databricks Feature Store, seu workspace deve estar habilitado para Unity Catalog. Se o seu workspace não estiver habilitado para Unity Catalog, consulte Feature Store do espaço de trabalho (obsoleto).

Tipos de dados compatíveis

Databricks Feature Store e Feature Store de espaço de trabalho legado suportam os seguintes tipos de dadosPySpark:

• IntegerType
• FloatType
• BooleanType
• StringType
• DoubleType
• LongType
• TimestampType
• DateType
• ShortType
• ArrayType
• BinaryType [1]
• DecimalType [1]
• MapType [1]
• StructType [2]

[1] BinaryType, DecimalType e MapType são suportados em todas as versões do recurso engenharia em Unity Catalog e no espaço de trabalho recurso Store v0.3.5 ou acima. [2] O site StructType é compatível com o recurso engenharia v0.6.0 ou superior.

Os tipos de dados listados acima suportam tipos de recurso que são comuns em aplicativos de aprendizado de máquina. Por exemplo:

• Você pode armazenar vetores densos, tensores e incorporações como ArrayType.
• Você pode armazenar vetores esparsos, tensores e incorporações como MapType.
• Você pode armazenar texto como StringType.

Quando publicados em lojas on-line, os recursos ArrayType e MapType são armazenados no formato JSON.

A UI do recurso Store exibe metadados sobre os tipos de dados do recurso:

Mais informações

Para obter mais informações sobre as práticas recomendadas, acesse download The Comprehensive guia to recurso Stores.