Pular para o conteúdo principal

Mosaic AI Vector Search: Guia de gerenciamento de custos

Este artigo descreve como gerenciar seus custos de forma eficaz ao usar Mosaic AI Vector Search. Abrange os seguintes tópicos:

  • Noções básicas de índice de pesquisa vetorial e endpoint .
  • Faturamento e monitoramento de uso.
  • Modos de sincronização.
  • Melhores práticas para otimizar custos.

Para identificar e excluir endpoints vazios, consulte Identificar e excluir endpoints de pesquisa vetorial vazios.

Mosaic AI Vector Search é composta por:

  • Índices de pesquisa vetorial: Os índices armazenam seus vetores para pesquisa e recuperação.
  • Ponto de extremidade de pesquisa vetorial: Cada endpoint hospeda um ou mais índices para atender às consultas. É possível ter vários índices servidos por meio de um único endpoint, e um endpoint pode servir até 50 índices. Em muitos casos, é possível combinar cargas de trabalho menores em um único endpoint para reduzir os custos totais.

Como é precificado o mecanismo de busca vetorial​

O Databricks oferece duas opções de endpoint:

  • Ponto final padrão. Uma unidade de busca vetorial abrange até 2 milhões de vetores de dimensão 768 (ou equivalente). Por exemplo, se você tiver 1 milhão de vetores de dimensão 1536, isso também conta como uma unidade.

  • Ponto final otimizado para armazenamento. Uma unidade de busca vetorial abrange até 64 milhões de vetores de dimensão 768 (ou equivalente).

Em ambas as opções, cada endpoint tem um preço base e aumenta automaticamente para corresponder ao tamanho total dos índices que está atendendo.

  • O endpoint padrão não escala automaticamente para um nível inferior. Mesmo que você exclua vetores ou reduza o tamanho de seus índices, você continuará pagando pela maior capacidade até que faça alterações manualmente.
  • O recurso de endpoint otimizado para armazenamento reduz automaticamente o nível de acesso quando um índice é excluído. O tamanho mínimo para um endpoint é uma unidade de busca vetorial.
importante

O endpoint padrão não escala automaticamente para um nível inferior. Se a sua contagem de vetores cair significativamente (por exemplo, de 4 milhões para 1,5 milhão de vetores), você continuará pagando pela capacidade maior (duas unidades de pesquisa de vetores neste exemplo) até excluir o endpoint e criar um novo. Isso só é válido para o endpoint padrão. O endpoint otimizado para armazenamento reduz automaticamente sua escalação.

Como monitorar o uso e os custos​

O Databricks fornece uma tabela de uso faturável, painéis de controle de uso e políticas de orçamento para ajudar você a monitorar o uso e os custos do Vector Search.

Tabela de utilização faturável​

Segue um exemplo de consulta à tabela de utilização faturável:

Python
WITH all_vector_search_usage AS (
  SELECT *,
         CASE WHEN usage_metadata.endpoint_name IS NULL THEN 'ingest'
              WHEN usage_type = "STORAGE_SPACE" THEN 'storage'
              ELSE 'serving'
         END as workload_type
    FROM system.billing.usage
   WHERE billing_origin_product = 'VECTOR_SEARCH'
),

daily_dbus AS (
  SELECT
    workspace_id,
    cloud,
    usage_date,
    workload_type,
    usage_metadata.endpoint_name as vector_search_endpoint,
    CASE WHEN workload_type = 'serving' THEN SUM(usage_quantity)
         WHEN workload_type = 'ingest' THEN SUM(usage_quantity)
         ELSE null
         END as dbus,
    CASE WHEN workload_type = 'storage' THEN SUM(usage_quantity)
         ELSE null
         END as dsus
  FROM all_vector_search_usage
  GROUP BY 1,2,3,4,5
  ORDER BY 1,2,3,4,5 DESC
)
SELECT * FROM daily_dbus;

Para obter mais detalhes sobre a tabela de utilização faturável, consulte a Referência da tabela de utilização faturável do sistema.

Consultas adicionais estão no seguinte exemplo de notebook.

Consultas de tabelas do sistema de busca vetorial Notebook

Open notebook in new tab

Painéis de utilização​

Para obter informações sobre painéis de utilização que você pode importar para obter insights sobre os fatores de custo, incluindo o uso para pesquisa vetorial, consulte Painéis de utilização.

Políticas orçamentárias​

As políticas de orçamento permitem que os administradores agrupem e filtrem registros de faturamento em todos os produtos serverless Databricks e fornecem uma interface de usuário dedicada para o acompanhamento de gastos. Para aprender como aplicar uma política de orçamento a um endpoint de pesquisa vetorial, consulte Mosaic AI Vector Search: Políticas de orçamento. Para informações gerais e detalhes sobre como criar e gerenciar políticas de orçamento, consulte Uso de atributos com políticas de orçamento serverless.

Como gerenciar os custos de sincronização de índices​

Você pode configurar seu índice para ser atualizado de duas maneiras:

  • Sincronização acionada : você chama a API ou o SDK do Python para acionar uma atualização do índice. Esta é a opção mais econômica.
  • Sincronização contínua : o índice é atualizado automaticamente com as alterações da tabela Delta de origem, com latência próxima ao tempo real. Isso custa mais porque um cluster de transmissão é provisionado para lidar com a sincronização. Se atualizações quase em tempo real com latência de segundos não forem críticas, considere usar a Sincronização Acionada para reduzir custos.

Melhores práticas para gestão de custos​

  • Combine cargas de trabalho em um único endpoint : Se você prevê baixa taxa de consultas por segundo (QPS) em todos os índices, pode combiná-los em um único endpoint para evitar custos com vários endpoint base. Consulte o guia de desempenho da Pesquisa Vetorial para obter mais detalhes.
  • Monitore o uso : Utilize as tabelas de faturamento do sistema e os painéis de controle de uso integrados para acompanhar a capacidade, o uso e os custos.
  • Para endpoints padrão, reduza a capacidade manualmente : Conforme explicado acima, para endpoints padrão, você deve excluir o endpoint e recriá-lo se a sua contagem de vetores cair abaixo de um limite de capacidade anterior que você não precisa mais. O recurso de endpoint otimizado para armazenamento reduz automaticamente o nível de acesso quando um índice é excluído.
  • Escolha o modo de sincronização correto : use a Sincronização Acionada em vez da Sincronização Contínua sempre que possível, para reduzir os custos de transmissão.
  • Identificar e excluir endpoints vazios : Consulte Identificar e excluir endpoints de pesquisa vetorial vazios.

Recursos adicionais​

Última atualização em