Inicialize um aplicativo RAG

Visualização

Este recurso está na visualização privada. Para experimentar, entre em contato com seu contato do Databricks.

Procurando um documento RAG Studio diferente? Vá para o índice de documentação RAG

O guia a seguir orienta você na inicialização de um aplicativo RAG Studio.

Importante

Os passos deste tutorial são feitos uma vez por aplicativo para inicializar a base de código do seu aplicativo. Os passos do restante do tutorial são repetidos durante todo o processo de desenvolvimento, à medida que o senhor repete as versões do aplicativo.

o passo 1: Inicialize seu ambiente de desenvolvimento

  1. Siga as etapas em Configuração do ambiente de desenvolvimento para configurar seu ambiente de desenvolvimento.

  2. Extraia o padrão do RAG Studio ativo Bundle para seu diretório pessoal

    mkdir ~/.rag_studio
    cd ~/.rag_studio
    curl -O <URL to zip file provided by your Databricks contact>
    unzip rag-studio-0.0.0a2.zip
    

    Observação

    Esse passo só é necessário devido ao status Private Preview do produto.

o passo 2: Configure a infraestrutura necessária

Siga as etapas no guia Configuração de infraestrutura para criar a infraestrutura necessária.

Em default, o RAG Studio provisiona novos clusters Job para tarefas como ingestão de dados, criação de cadeias RAG e avaliação. Para obter mais informações sobre os requisitos de clusters, incluindo instruções para usar clusters interativos, consulte Clusters.

o passo 3: Inicialize o aplicativo

  1. Abra o terminal em sua máquina de desenvolvimento e mude para o diretório onde deseja armazenar a base de código do aplicativo

  2. Inicialize o aplicativo de exemplo usando o pacote ativo padrão

    Observação

    Se você tiver vários perfis CLI do Databricks configurados em ~/.databrickscfg, o RAG Studio usará o perfil default para criar seu aplicativo.

    databricks bundle init ~/.rag_studio/rag-studio-0.0.0a2/
    
    > RAG Studio app name (e.g. hr-bot): databricks-docs-bot
    > Existing catalog name: <catalog-name>
    > Existing Unity Catalog schema name: <schema-name>
    > The secret scope used to access vector search endpoint: <secret-scope>
    > The secret key used to access vector search endpoint: <secret-key>
    
    ✨ Your Rag Studio workspace has been created in the 'databricks-docs-bot' directory!
    
    Please refer to the README.md of your project for further instructions on getting started.
    

    Observação

    Leia o documento de referência da estrutura do diretório para entender como a base de código está estruturada.

  3. Mude para a (nova) pasta databricks-docs-bot dentro de ~/rag_studio. A pasta é nomeada com base no nome do aplicativo que você forneceu.

    cd databricks-docs-bot
    
  4. Instale a biblioteca Python necessária

    pip install -r requirements.txt
    
  5. Neste ponto, seu ambiente está configurado e você está pronto para iniciar o desenvolvimento. Antes de continuarmos, vamos entender a interface de linha de comando ./rag - esta interface é usada para executar os diversos fluxos de trabalho e tarefas do RAG Studio. Ao longo do tutorial, mostraremos como usar esses comandos, mas você sempre pode executar ./rag --help ou ./rag name-of-command --help para entender como usar um comando específico.

    ./rag --help
    
    Usage: rag [OPTIONS] COMMAND [ARGS]...
    
    Options:
      -h, --help  Show this message and exit.
    
    Commands:
      create-rag-version  Create and deploy a new version of the RAG chain...
      deploy-chain        Deploy the chain model for a given RAG version
      explore-eval        Run the exploration notebook on the evaluation results
      ingest-data         (Dev environment only) Ingest raw data from data...
      run-offline-eval    Run offline evaluation for a given chain version...
      run-online-eval     Run online evaluation on the currently-logged...
      setup-prod-env      Set up the EnvironmentName.REVIEWERS and...
      start-review        Start the review process for a given chain model...
    

Entendendo como funciona o trabalho de implantação do RAG Studio

Os trabalhos de implantação no RAG Studio são gerenciados com os utilitários de linha de comando ./rag. Quando o senhor começa uma implantação Job, o Job é executado usando o Databricks Jobs em um cluster compute. Em versões futuras, esses passos de implementação não exigirão o provisionamento de um cluster compute.

Aviso

Se o senhor pressionar CTRL+C para encerrar um comando de implementação, se a implementação Job tiver começado, ela permanecerá em execução em segundo plano. Para interromper o Job, acesse o URL impresso no console para interromper o Job na UI do fluxo de trabalho da Databricks.

Observação

Por default, o RAG Studio provisionará um novo compute para cada implantação Job. Se preferir usar um cluster compute existente, o senhor pode passar -c <cluster-id> para qualquer comando ./rag. Como alternativa, o senhor pode definir um cluster_id em config/rag-config.yml em environment_config.development.cluster_id. Observe que isso funciona no desenvolvimento Environment.

Para encontrar <cluster-id> para seu compute, abra os clusters na interface do usuário do Databricks. No URL dos clusters, o <cluster-id> é 0126-194718-ucabc7oi: https://<workspace-url>/?o=123456798#setting/clusters/0126-194718-ucabc7oi/configuration.

Se o senhor optar por usar seu próprio compute, certifique-se de que os clusters estejam usando o tempo de execução MLR 13.3.

o passo 4: Inicialize o Environments

  1. execute o seguinte comando para inicializar estes Environments. Este comando leva cerca de 10 minutos para ser executado.

    ./rag setup-prod-env
    

    Observação

    Consulte Unity Catalog ativo criado pelo RAG Studio para obter detalhes sobre o que é criado em seu workspace e esquema Unity Catalog .

    Importante

    Você pode ignorar com segurança avisos sobre múltiplas versões da CLI do Databricks.

    Databricks CLI v0.212.1 found at /opt/homebrew/bin/databricks

    Your current $PATH prefers running CLI v0.18.0 at /<your env path>/bin/databricks

    Because both are installed and available in $PATH, I assume you are trying to run the newer version. If you want to disable this behavior you can set DATABRICKS_CLI_DO_NOT_EXECUTE_NEWER_VERSION=1.

o passo 5: Ingerir dados de amostra para seu aplicativo

Observação

A default 📥 Data Ingestor downloads a documentação da Databricks. O senhor pode modificar o código em src/notebooks/ingest_data.py para fazer a ingestão de outra fonte ou ajustar config/rag-config.yml para usar dados que já existem em um volume do Unity Catalog. O site default 🗃️ Data Processor que acompanha o RAG Studio é compatível apenas com arquivos HTML. Se o senhor tiver outros tipos de arquivo no volume Unity Catalog, siga os passos em Creating a 🗃️ Data Processor version para ajustar o código 🗃️ Data Processor.

  1. Execute o seguinte comando para iniciar o processo de ingestão de dados. O aplicativo default fará o download da documentação da Databricks para um volume do Unity Catalog em seu esquema UC configurado. Esse passo leva aproximadamente 10 minutos.

    Observação

    O catálogo e o esquema Unity Catalog são aqueles que você configurou na etapa 3.

    ./rag ingest-data -e dev
    
  2. Você verá a seguinte mensagem em seu console quando a ingestão for concluída.

    -------------------------
    Run URL: <URL to the deployment Databricks Job>
    
    <timestamp> "[dev e] [databricks-docs-bot][dev] ingest_data" RUNNING
    <timestamp> "[dev e] [databricks-docs-bot][dev] ingest_data" TERMINATED SUCCESS
    Successfully downloaded and uploaded Databricks documentation articles to UC Volume '`catalog`.`schema`.`raw_databricks_docs`'%
    

Acompanhe o próximo tutorial!

Ingerir ou conectar dados brutos