Migre de tabelas on-line antigas e de terceiros

Esta página descreve como migrar suas tabelas online existentes. Você pode migrar para o seguinte:

• Uma loja online de recursos
• Uma tabela sincronizada do Lakebase

importante

As tabelas online do Databricks não são mais suportadas.

Databricks O site Feature Store (desenvolvido pelo Lakebase) é a abordagem recomendada para Feature Serving o site.

Listar todas as tabelas on-line existentes

Para ver todas as tabelas on-line existentes no seu workspace, use uma consulta SQL ou um script Python .

SQL

Substitua <workspace_url> e <workspace_id> pelas informações do seu workspace .

SQL

SELECT
  CONCAT("https://<workspace_url>/pipelines/", usage_metadata.dlt_pipeline_id, "?o=<workspace_id>"),
  SUM(usage_quantity)
FROM
  system.billing.usage
WHERE
  usage_date > DATE_SUB(NOW(), 7)
  AND billing_origin_product = 'ONLINE_TABLES'
GROUP BY
  ALL;

Python

Python

from databricks.sdk import *
from databricks.sdk.service.catalog import *

w = WorkspaceClient()

result = []
for catalog in w.catalogs.list():
    for schema in w.schemas.list(catalog_name=catalog.name):
        for table in w.tables.list(catalog_name=catalog.name, schema_name=schema.name):
            if table.table_type == TableType.FOREIGN and table.data_source_format == DataSourceFormat.MYSQL_FORMAT and table.pipeline_id is not None:
                result.append((table.full_name, table.comment))

print(result)

Migrar tabelas online para o armazenamento de recursos online para o modelo ou o endpoint Feature Serving

info

Após publicar suas tabelas de recursos no Online Feature Store, qualquer alteração subsequente no seu endpoint de serviço - incluindo operações de escalonamento - automaticamente as direcionará para usar o Online Feature Store como fonte default . Certifique-se de que seus sistemas subsequentes estejam preparados para essa alteração antes da publicação.

Passo 1: Crie uma loja online de recursos e publique as tabelas de recursos

Databricks recomenda a criação de um único armazenamento online por workspace para testes e comprovação de conceito. Para casos de uso em produção ou requisitos de isolamento, você pode provisionar armazenamentos adicionais.

Python

from databricks.feature_engineering import FeatureEngineeringClient

fe = FeatureEngineeringClient()

# Create a single online store that can support multiple feature tables
fe.create_online_store(
    name="online-feature-store",
    capacity="CU_1"
)

Para obter detalhes sobre a publicação de tabelas de recursos, consulte repositório de recursosDatabricks Online.

Passo 2: Verifique a migração e limpe suas tabelas online.

Após a próxima alteração endpoint , verifique se o endpoint está usando o novo armazenamento online, verificando se os eventos endpoint contêm mensagens como Linked to Online Feature Store table: "table name". Consulte a seção "Monitorar a qualidade do modelo e a integridade do endpoint".

Após a verificação, exclua suas tabelas online antigas. Consulte Excluir uma tabela online usando a interface do usuário ou Excluir uma tabela online usando APIs.

Migrar tabelas on-line para tabelas sincronizadas para OLTP

info

O provisionamento do Lakebase está disponível nas seguintes regiões: us-east-1, us-east-2, us-west-2, eu-central-1, eu-west-1, ap-south-1, ap-southeast-1, ap-southeast-2.

O provisionamento Lakebase usa compute de provisionamento que você escala manualmente. Para comparação de recursos com o novo dimensionamento automático do Lakebase, consulte a seção "Escolhendo entre versões".

Etapa 1: criar uma instância de banco de dados

Para começar, crie uma instância do banco de dados Lakebase para armazenar suas tabelas sincronizadas. Consulte Criar e gerenciar uma instância de banco de dados.

Opcionalmente, é possível criar um catálogo de banco de dados para utilizar os privilégios do Unity Catalog para gerenciar o acesso aos dados. Consulte o registro do seu banco de dados em Unity Catalog.

Etapa 2: criar uma tabela sincronizada a partir da tabela de origem

Uma tabela sincronizada é uma tabela Postgres somente leitura do Unity Catalog que sincroniza automaticamente os dados de uma tabela do Unity Catalog para sua instância do banco de dados Lakebase.

Para migrar de tabelas on-line para tabelas sincronizadas, crie uma tabela sincronizada a partir da tabela de origem de uma tabela on-line:

1. No Catálogo , selecione a tabela online que você deseja migrar para uma tabela sincronizada.

2. Na Visão geral tab, na seção Descrição , clique no nome da tabela Origem .

3. Crie uma tabela sincronizada a partir da tabela de origem selecionada. Consulte ETL reverso com instâncias do Lakebase.

   • Você pode armazenar a tabela sincronizada no mesmo local do catálogo da tabela on-line existente.
   • É possível compartilhar um pipeline entre tabelas sincronizadas.

4. Depois que sua tabela sincronizada for criada, você poderá se conectar à instância do banco de dados e consultá-la diretamente. Consulte Conectar e consultar.

Etapa 3: limpe suas tabelas on-line

Depois de criar suas tabelas sincronizadas, exclua suas tabelas on-line. Consulte Excluir uma tabela online usando a interface do usuário ou Excluir uma tabela online usando APIs.

Excluir uma tabela online usando a interface do usuário

Na página da tabela online, selecione Excluir da Cardápio de kebabs.

Excluir uma tabela online usando APIs

Databricks SDK - Python

Python

w.online_tables.delete('main.default.my_online_table')

REST API

Bash

curl --request DELETE \
  "https://xxx.databricks.com/api/2.0/online-tables/main.default.my_online_table" \
  --header "Authorization: Bearer xxx"

A exclusão da tabela online interrompe qualquer sincronização de dados em andamento e libera todos os seus recursos.