Feature Store e modelo de atividade
O repositório de recursos Databricks Online é desenvolvido com escala automática Lakebase . Ao criar um armazenamento online usando o cliente de engenharia de recursos, Databricks provisiona um projeto Lakebase com escalonamento automático como backend de armazenamento subjacente, proporcionando acesso de baixa latência aos dados de recursos para inferência de ML em tempo real.
Casos de uso
- Inferência de modelo em tempo real : Forneça os valores de recurso mais recentes para o endpoint do modelo de serviço com baixa latência. Os modelos treinados com a engenharia de recursos Databricks rastreiam automaticamente a linhagem até seu recurso e usam Unity Catalog para localizar o armazenamento apropriado online no momento da distribuição.
- Ponto de extremidadeFeature Serving : Forneça recursos diretamente para aplicativos e serviços externos sem um modelo, usando o ponto de extremidade Feature Serving .
- Sistemas de recomendação, detecção de fraudes, personalização : Qualquer aplicação que exija pesquisas consistentes e de alta qualidade em tabelas de recursos offline.
Como funciona
Repositório de recursos on-line sincroniza dados de tabelas de recursos off-line Unity Catalog em um projeto de escala automática Lakebase . Você controla a frequência de sincronização de dados usando os modos de publicação:
- ACIONADO (default): Sincronização incremental em um programador ou via API.
- CONTÍNUO : pipeline de transmissão que atualiza o armazenamento online à medida que novos dados são gravados na tabela offline.
- Instantâneo : Cópia completa única, eficiente para atualizações em massa.
Como o armazenamento online é um projeto de escalonamento automático Lakebase , ele se beneficia do escalonamento automático compute , da redução de recursos a zero durante períodos de inatividade e da governança Unity Catalog .
A migração é segura e perfeita
Novos repositórios de recursos online são criados automaticamente como projetos de autoscale do Lakebase. Suas cargas de trabalho existentes do Feature Store e do Model Serving continuam funcionando sem a necessidade de nenhuma ação.
As interfaces create_online_store e update_online_store continuam funcionando para repositórios online que você gerencia por meio do cliente de Engenharia de Recursos, sem a necessidade de ajustes. Observe que update_online_store não é compatível com instâncias de Autoscaling criadas diretamente por meio da API de projetos ou da UI. Para obter detalhes, consulte Limitações.
Endpoints de Feature Serving e Model Serving que buscam recursos de vários repositórios de recursos online continuam funcionando, mas você não pode criar novas configurações como esta no Autoscaling do Lakebase. Para obter detalhes, consulte Limitações.
Se você tem lojas online Lakebase provisionadas existentes, consulte Atualizar para o autoscale para detalhes da migração.
Implementação
Para obter instruções completas de configuração, referência API e exemplos de notebook, consulte repositório de recursosDatabricks Online.