Práticas recomendadas para o Mosaic AI Vector Search

Este artigo dá algumas dicas de como usar o site Mosaic AI Vector Search de forma mais eficaz.

Recomendações para otimizar a latência

• Use o fluxo de autorização da entidade de serviço para aproveitar as vantagens das rotas otimizadas pela rede.

• Use a versão mais recente do Python SDK.

• Ao testar, comece com uma concorrência de cerca de 16 a 32. alta simultaneidade não produz uma taxa de transferência mais alta.

• Use um modelo servido com provisionamento Taxa de transferência (por exemplo, bge-large-en ou uma versão ajustada), em vez de um modelo de fundação pay-per-tokens.

Quando usar GPUs

• Use CPUs somente para testes básicos e para pequenos conjuntos de dados (até 100s de linhas).

• Para o tipo de GPU compute, o site Databricks recomenda o uso de GPU-small ou GPU-medium.

• Para a GPU compute escala-out, escolher mais simultaneidade pode melhorar os tempos de ingestão, mas isso depende de fatores como o tamanho total do dataset e os metadados do índice.

Trabalhar com imagens, vídeos ou dados não textuais

• Pré-compute os embeddings e use um Delta Sync Index com embeddings autogerenciáveis.

• Não armazene formatos binários, como imagens, como metadados, pois isso afeta negativamente a latência. Em vez disso, armazene o caminho do arquivo como metadados.

Comprimento da sequência de incorporação

• Verifique o comprimento da sequência do modelo de incorporação para garantir que os documentos não estejam sendo truncados. Por exemplo, o BGE suporta um contexto de 512 tokens. Para requisitos de contexto mais longos, use gte-large-en-v1.5.

Use o modo de sincronização acionada para reduzir os custos

• A opção mais econômica para atualizar um índice de pesquisa vetorial é o Triggered. Selecione Continuous somente se o senhor precisar sincronizar o índice de forma incremental com as alterações na tabela de origem com uma latência de segundos. Ambos os modos de sincronização realizam atualizações incrementais - somente os dados que foram alterados desde a última sincronização são processados.