Produza seu agente de Databricks Apps
Depois de ter criado um agente e o implantado em Databricks Apps, leve-o para a produção nesta ordem:
-
- 1. Configure o CI/CD para o seu agente do Databricks Apps
- Automatize o Databricks Apps implantado do GitHub Actions. Usa federação de identidade de carga de trabalho (sem segredos de longa duração) e um fluxo de trabalho inicial fornecido nos padrões do agente.
-
- 2. Carregue e teste o agente do Databricks Apps.
- Encontre o QPS máximo que seu agente pode sustentar. Execute um teste de carga de rampa para saturação em uma compilação mock-LLM do seu agente para isolar a taxa de transferência da infraestrutura do Databricks Apps da latência do modelo.
-
- 3. Governe o uso de LLM com o Unity AI Gateway
- Direcionar chamadas de LLM por meio do Unity AI Gateway. Centralizar permissões, atribuir custo por aplicativo, fazer swap de modelos e inspecionar ou reproduzir o tráfego sem modificar o código do agente.
Para CI/CD genérico do Databricks Apps que não seja específico do agente, consulte CI/CD para Databricks Apps com GitHub Actions.