Databricks Recurso Store
O Databricks Feature Store é um registro central para os recursos usados em seus modelos de AI e ML. Ao registrar recursos e modelos no Unity Catalog, você obtém governança integrada, linhagem, joins pontuais e compartilhamento e descoberta de recursos entre workspaces.
Você pode criar recursos usando duas estratégias.
Ambos produzem recursos governados pelo Unity Catalog que são publicados no Online Feature Store. Consulte Escolha uma estratégia de criação.
- Feature Views, que definem recursos de forma declarativa e permitem que o Databricks faça compute e gerencie os pipelines de recursos para você. Este recurso está em Prévia Pública.
- Tabelas de recursos, que você preenche por conta própria gravando valores de recurso em uma tabela Delta.
Com o Databricks, todo o fluxo de trabalho de treinamento de modelos ocorre em uma única plataforma, incluindo:
- pipeline de dados que ingerem dados brutos, criam tabelas de recursos, treinam modelos e realizam inferência de lotes.
- Modelo e endpoint Feature Serving que estão disponíveis com um único clique e que fornecem milissegundos de latência.
- Monitoramento de dados e modelos.
Ao usar recursos do Databricks Feature Store para treinar modelos, o modelo rastreia automaticamente a linhagem até os recursos que foram usados no treinamento. No momento da inferência, o modelo busca automaticamente os valores de recurso mais recentes. Databricks Feature Store também oferece computação sob demanda de recursos para aplicações temporais, lidando com todas as tarefas de computação de recursos. Isso elimina a distorção entre treinamento e distribuição, garantindo que os cálculos de recursos usados na inferência sejam os mesmos usados durante o treinamento do modelo. Isso também simplifica significativamente o código do lado do cliente, já que todas as pesquisas e cálculos de recursos são gerenciados pelo Databricks Feature Store.
Esta página descreve Databricks Feature Store para espaços de trabalho habilitados para Unity Catalog. Se o seu workspace não estiver habilitado para Unity Catalog, consulte Feature Store do espaço de trabalho (obsoleto).
Visão geral conceitual
Para uma visão geral de como a Feature Store do Databricks funciona e um glossário de termos, consulte Visão geral e glossário da Feature Store do Databricks.
Escolha uma estratégia de autoria
O Feature Store suporta duas maneiras de criar recursos. Ambos criam recursos governados pelo Unity Catalog e ambos podem publicar na Feature Store Online. Em geral, as Feature Views são recomendadas para a maioria dos novos casos, embora as tabelas de recursos sejam a melhor opção para cargas de trabalho em lote flexíveis e de vários estágios.
Estratégia | Melhor para | Como funciona |
|---|---|---|
Recurso views (recomendado) | A maioria dos novos projetos, agregações por janela de tempo e recursos de transmissão. | Defina recursos de forma declarativa como objetos |
tabelas de recursos | Recursos que você processa usando LakeFlow ou Spark Declarative Pipelines, e cargas de trabalho que precisam de Delta Sharing, um armazenamento online de terceiros ou um caminho de criação de disponibilidade geral (GA). | Grave valores de recursos em uma tabela Delta no Unity Catalog que possua uma chave primária. Você é o proprietário do pipeline que preenche e faz o refresh da tabela. |
Desenvolver recurso
Recurso | Descrição |
|---|---|
Defina e calcule recursos de forma declarativa usando Feature Views, incluindo agregações com janela de tempo e recursos de transmissão. | |
Materialize Recurso Views para treinamento offline ou serviço online. | |
Criar e trabalhar com tabelas de recursos. |
Descubra e compartilhe recursos
Recurso | Descrição |
|---|---|
Explore e gerencie tabelas de recurso usando o Catalog Explorer e a UI de recurso. | |
Use o par simples key-value para categorizar e gerenciar suas tabelas de recursos e recursos. | |
Navegar pelas definições da view de recurso e status de materialização na interface do Databricks. |
Usar recurso no treinamento fluxo de trabalho
Recurso | Descrição |
|---|---|
Usar recurso para treinar modelos. | |
Use a correção point-in-time para criar um treinamento dataset que reflita os valores do recurso no momento em que uma observação de rótulo foi registrada. | |
Referência da API do Python |
Servir recurso
Recurso | Descrição |
|---|---|
Fornece dados de recurso para aplicativos on-line e tempo real modelo do aprendizado de máquina. Desenvolvido pelo Databricks Lakebase. | |
Busca automática de valores de recurso em um armazenamento on-line. | |
Servir de recurso para modelos e aplicativos fora do site Databricks. | |
Calcular valores de recurso no momento da inferência. |
recurso governança e linhagem
Recurso | Descrição |
|---|---|
Use Unity Catalog para controlar o acesso a tabelas de recurso e view a linhagem de uma tabela, modelo ou função de recurso. |
tutorial
Tutorial | Descrição |
|---|---|
Caderno básico . Mostra como criar uma tabela de recursos, usá-la para treinar um modelo e executar lotes de pontuação usando a pesquisa automática de recursos. Também mostra a UI do recurso engenharia para pesquisar o recurso e view lineage. Exemplo de táxi Notebook . Mostra o processo de criação de recursos, atualizando-os e usando-os para treinamento de modelos e inferência de lotes. | |
Exemplo: implantado e consultar o site Feature Serving endpoint | Tutorial e exemplo de Notebook mostrando como implantar e consultar um Feature Serving endpoint. |
Tutorial que mostra como usar as tabelas on-line Databricks e o ponto de extremidade Feature Serving para aplicativos de geração aumentada de recuperação (RAG). |
Requisitos
Para usar Databricks Feature Store, seu workspace deve estar habilitado para Unity Catalog. Se o seu workspace não estiver habilitado para Unity Catalog, consulte Feature Store do espaço de trabalho (obsoleto).
Tipos de dados compatíveis
Databricks Feature Store e Feature Store de espaço de trabalho legado suportam os seguintes tipos de dadosPySpark:
IntegerTypeFloatTypeBooleanTypeStringTypeDoubleTypeLongTypeTimestampTypeDateTypeShortTypeArrayTypeBinaryType[1]DecimalType[1]MapType[1]StructType[2]
[1] BinaryType, DecimalType e MapType são suportados em todas as versões do recurso engenharia em Unity Catalog e no espaço de trabalho recurso Store v0.3.5 ou acima.
[2] O site StructType é compatível com o recurso engenharia v0.6.0 ou superior.
Os tipos de dados listados acima suportam tipos de recurso que são comuns em aplicativos de aprendizado de máquina. Por exemplo:
- Você pode armazenar vetores densos, tensores e incorporações como
ArrayType. - Você pode armazenar vetores esparsos, tensores e incorporações como
MapType. - Você pode armazenar texto como
StringType.
Quando publicados em lojas on-line, os recursos ArrayType e MapType são armazenados no formato JSON.
A UI do recurso Store exibe metadados sobre os tipos de dados do recurso:
Mais informações
Para obter mais informações sobre as práticas recomendadas, acesse download The Comprehensive guia to recurso Stores.