Configuração de infraestrutura

Visualização

Este recurso está na visualização privada. Para experimentar, entre em contato com seu contato do Databricks.

Procurando um documento RAG Studio diferente? Vá para o índice de documentação RAG

Este documento orienta você na configuração da infraestrutura necessária para criar um aplicativo RAG Studio:

  1. Databricks Workspace

  2. <uc> esquema

  3. Vector Search endpoint

  4. access token pessoal salvo no gerenciador de segredos

  5. Modelos generativos de IA

  6. configurações de clusters

O senhor precisará desses valores ao criar seu aplicativo RAG, por isso sugerimos que use um bloco de rascunho, como o que está abaixo, para anotar esses valores à medida que percorre os passos abaixo. Esses valores serão solicitados quando o senhor inicializar o aplicativo.

vector_search_endpoint_name:
unity_catalog_catalog_name:
unity_catalog_schema_name:
secret_scope:
secret_name:
model_serving_endpoint_chat: databricks-llama-2-70b-chat
model_serving_endpoint_embeddings: databricks-bge-large-en

Espaço de trabalho do Databricks

Selecione um Databricks workspace com o Unity Catalog e sem servidor ativado em uma região compatível. Anote o URL do site workspace a ser usado ao configurar o aplicativo, por exemplo, https://workspace-name.cloud.databricks.com.

Esquema Unity Catalog

RAG Studio cria todos os ativos dentro de um esquema do Unity Catalog.

  1. Criar um novo catálogo e/ou um novo esquema ou selecionar um catálogo/esquema existente.

  2. Atribua Data Editor permissões para seu Databricks account ao catálogo/esquema usando o SQL ou o Catalog Explorer

    Observação

    Se o senhor criou um novo catálogo/esquema, já tem as permissões necessárias.

    GRANT
        USE SCHEMA,
        APPLY TAG,
        MODIFY,
        READ VOLUME,
        REFRESH,
        SELECT,
        WRITE VOLUME,
        CREATE FUNCTION,
        CREATE MATERIALIZED VIEW,
        CREATE MODEL,
        CREATE TABLE,
        CREATE VOLUME
    ON SCHEMA my_schema
    TO `user@domain.com`;
    
    editor_dados

Ponto final Vector Search

Crie um novo endpoint usando a UI ou o Python SDK ou selecione um endpoint existente.

access token pessoal salvo no gerenciador de segredos

Aviso

Essa abordagem é uma solução temporária para permitir que a cadeia do seu aplicativo, que está hospedada no servindo modelo, acesse os índices de pesquisa de vetores criados pelo RAG Studio. No futuro, isso não será necessário.

  1. Crie um access token pessoal (PAT) que tenha acesso ao esquema do Unity Catalog que o senhor criou acima.

    • Opção 1: Crie um token PAT para seu usuário account seguindo estes passos. ... observação :: O uso de tokens PAT é sugerido apenas para desenvolvimento. O uso de uma entidade de serviço é altamente recomendado para produção.

    • Se o senhor precisar usar uma entidade de serviço, entre em contato com a equipe do RAG Studio em rag-feedback@databricks.com.

  1. Salve o PAT em um Secret Scope

    Observação

    Estes passos pressupõem que você seguiu o ambiente de desenvolvimento para instalar a CLI do Databricks. Para obter instruções detalhadas, consulte a documentação de gerenciamento de segredos.

    databricks secrets create-scope <scope-name>
    databricks secrets put-secret <scope-name> <secret-name>
    

Modelos generativos de IA

O RAG Studio se integra nativamente ao Databricks servindo de modelo para acessar os modelos fundamentais. Essa integração é usada para 🤖 LLM Judge do RAG Studio e dentro de 🔗 Chain e 🗃️ Data Processor do senhor.

Você precisa de acesso a 2 tipos de modelos:

  1. Modelo de bate-papo seguindo o esquema llm/v1/chat

  2. Modelo de incorporações seguindo llm/v1/embeddings

Observação

Não é necessária nenhuma configuração adicional para usar os modelos LLaMa2-70B-Chat e BGE-Large-EN com código aberto hospedados pela Databricks Foundation Model APIs com pay-per-tokens.

Opcionalmente, o senhor também pode configurar: