implantar um aplicativo rastreado
O rastreamento do MLflow ajuda você a monitorar aplicativos GenAI em produção, capturando detalhes de execução. Você pode implantar aplicativos rastreados de duas maneiras:
- Em Databricks : implantado utilizando Agent Framework ou modelo personalizado com integração total para monitoramento e tabelas de inferência
- Fora do Databricks : implantação em ambientes externos, registrando os rastreamentos de volta para Databricks para monitoramento.
Compare as opções de implantação
A tabela abaixo compara as opções de registro de rastreamento disponíveis para cada local de implantação:
Local de implantação | |||
|---|---|---|---|
Apoiado | Apoiado | Apoiado | |
Apoiado | Apoiado | Não suportado |
Compare as opções de registro de rastreamento.
A tabela de opções de implantação acima lista várias opções para registro de rastreamento. A tabela abaixo compara essas opções de registro de rastreamento:
Opção de registro de rastreamento | Acesso e governança | Latência* | Taxa de transferência | Limites de tamanho* |
|---|---|---|---|---|
Os rastreamentos podem ser visualizados na interface do usuário do experimento MLflow ou consultados programaticamente. O acesso é regido pelas ACLs do experimento MLflow.† | Em tempo real | Máximo de 60 consultas por segundo (QPS) | Suporta traços muito grandes. Máximo de 100 mil traços por experimento. | |
Os registros de rastreamento para tabelas Delta são gerenciados usando privilégiosUnity Catalog. | Atraso de aproximadamente 15 minutos | Máximo de 50 consultas por segundo (QPS) | Suporta traços muito grandes. Máximo de 100 mil traços por experimento. | |
Os registros de rastreamento para tabelas Delta são gerenciados usando privilégiosUnity Catalog. | Atraso de 30 a 90 minutos | Os limites de QPS correspondem aos limites endpoint do modelo de serviço. | Limites no tamanho do traço. Não há limite para o número de traçados por experimento. |
* Consulte os limites de recursos para obter informações sobre outros limites da plataforma, bem como sobre quais limites podem ser aumentados entrando em contato com a equipe da sua account Databricks .
† Para o registro de experimentos do MLflow, os rastreamentos são armazenados como artefatos, para os quais você pode especificar um local de armazenamento personalizado. Por exemplo, se você criar um experimento workspace com artifact_location definido para um volume Unity Catalog , o acesso aos dados de rastreamento será regido pelos privilégios do volumeUnity Catalog.
Próximos passos
Escolha sua abordagem de implantação: